Sohn will nicht zu Vater

Mein Sohn (14) und ich leben seit 3 Jahren alleine, den Papa sieht er z.Zt. an 2 Wochenenden im Monat. Zum Hintergrund: nach der Trennung hatte mein Ex keine Freundin und unser Sohn war an 3 Wochenenden bei ihm. Dann hat er seine Freundin kennengelernt und er wollte Sohn nur noch an 2 Wochenenden sehen. Trotzdem war alles noch relativ entspannt, mein Sohn musste an diesen Wochenenden mit zu der Freundin und ihren Töchtern. Jetzt hat mein Ex sich recht kurzfristig in der Coronazeit entschieden, sein Haus zu verkaufen und offiziell und dauerhaft bei der Freundin einzuziehen.
Das Problem: mein Sohn findet die Familie ok, möchte dort aber nicht sein, da sein Vater NICHTS mehr mit ihm alleine unternimmt und sich nicht kümmert. Außerdem gibt es ständig Streit unter den Töchtern und der Mutter. Es steht jetzt Urlaub mit denen an, zu dem mein Sohn nicht gefragt wurde, aber mit muss. Jetzt sagt mein Sohn die ganze Zeit, er will nächste Woche nicht 3 Wochen zu Papa und will schon gar nicht mit allen wegfahren, es gäbe nur Stress. Ich habe aber keinen Urlaub mehr und mein Ex wäre stinksauer, wenn er bei mir bliebe.
Mein Problem: mein Sohn ist alt genug alleine zu bleiben, wenn ich arbeite, aber ich gehe echt am Stock und hatte mich auf die Auszeit von meinem Sohn gefreut und ich brauche die Zeit für mich dringend. Also Sohn zu Papa zwingen? Tut mir in der Seele weh, wenn er sich so unwohl fühlt. Oder meine Bedürfnisse hinten an stellen?