Verwirrt was läuft Flasche??

Kurz zu vor Geschichte der Papa meines Sohnes (10Monate), ist alle 14 Tage und wenn ich mal nichts vor habe auch an meinen Wochenende für den kleinen da. In der Woche ist ihm zu stressig.
Jetzt zur meinem Gedanken gut und meiner Verwirrung.
Vlt könnt ihr mir helfen oder Idee geben wie es besser werden könnte.
Jedes mal wenn ich dann meinen kleinen nach 2 oder 3 Stunden vom Papa wieder kriege, ist er total schlecht drauf , aufgewühlt, manchmal auch sehr aggressiv und total anhänglich mir gegenüber und bei seinen Großeltern wenn ich mal für 2-3 Stunden abgebe, ist er total entspannt, ist er am strahlen und das glückchste Kinder der Welt, er erzählt ( ist noch brabbeln)Freunde strahlend wie sein Tag war.
Warum ist der Unterschied so extrem?? Habt ihr vlt Erfahrung?? Mich macht das jedes mal traurig wenn er so wieder kommt vom Papa
Danke für die Antworten schon mal