Eines kam aber noch gar nicht zur Sprache...

" habe ich Angst, dass er sich über einen längeren Zeitraum verbal nicht im Griff hat und sich dass dann alles vorm Kind entlädt in dieser Dreierkonstellation, das möchte ich gerne verhindern.."

Genau DAS meinte ich. Wenn du dich weigerst und er dann auf die Idee kommt, mit Sohnemann Urlaub bei seinen Eltern zu machen, kannst DU gar nix verhindern.
Der Vater hat ein Recht auf Urlaub mit seinem Sohn, der Sohn umgekehrt natürlich auch. Und wo (sofern es innerhalb D ist) die zwei dann wie lange sind, kannst und darfst du nicht beeinflussen.

Es geht jetzt auch nicht darum, dass ich da irgendwie "Kindeswohlgefährdung" vermute oder dir das irgendwie ausreden will, oder dir zureden will, dass du halt doch selbst fährst.

Es geht mir nur darum: damit musst DU gegebenfalls umgehen können: Dass dein Sohn unter Umständen nachher 1 Woche (oder so) mit dem Vater bei den Großeltern bist und du in dieser Zeit keinerlei Einfluss, Kontrolle, sonstwas hast....