Bin ich zu kleinlich und einengend?

Hallo!
Ich muss euch mal um eure Meinung fragen.
Ausgangssituation ist folgende:
Wir sind seit 3 Jahren verheiratet, Tochter ist zwei Jahre alt, Sohn 6 Monate. Vor unserer Hochzeit hatte ich eine Stille Geburt in der 37. SSW.
Ich bin zu Hause bei den Kindern, mein Mann verdient unsere Geld. Er kümmert sich abends um die Große, bringt sie ins Bett. Er geht aber auch gerne raus. Im Durchschnitt ist er jedes bis jedes zweites Wochenende einen Abend weg, dann aber auch bis drei, vier Uhr und ziemlich betrunken. Trotzdem kümmert er sich meist am nächsten Tag spätestens ab zehn, elf Uhr um die Kinder. Damit habe ich mich abgefunden. Ich könnte mit raus, wenn ich wollte, Oma wäre für die Kinder da. Ich will aber nicht. Bin lieber zu Hause bei den Kindern und am nächsten Tag fit.
So. Jetzt sind wir von seinem Arbeitgeber aus gerade auf einer Fahrt von der Firma. Kinder sind bei Oma. Es war echt schwer für mich, für Kleinen allein zu lassen. Der Urlaub dauert 5 Tage. Ich dachte, wir nutzen die Zeit und kommen uns wieder näher. Zwei Kleinkinder bzw. Baby kosten mich Nerven und tragen im Alltag nicht wirklich zum Paarleben bei. (Auch wenn ich beide natürlich über alles liebe!) Ihm geht es aber offenbar nur darum, mit seinen Kollegen Party zu machen! Dass wir mal ungestört für uns sein können, erscheint ihm nicht so wichtig. Da wäre es besser gewesen, wenn ich zu Hause geblieben wäre! Auch zu Hause hat er fast nur Auswärtige Termine. Im Mai zb gibt es kein Wochenende, an dem er zu Hause ist. Heißt unter anderem auch, dass Verabredungen mit meinen Freunden mal wieder auf die lange Bank geschoben werden müssen, weil der Herr nicht da ist.
Ich weiß gerade nicht, wie ich darauf reagieren soll. Bin ziemlich enttäuscht und wünsche mir einfach nur die Zuwendung von ihm, die ich vor den Kindern bekommen habe. Er wünscht sich die Partymaus von damals zurück. Irgendwie driften wir auseinander und ich weiß nicht mehr, wie ich dagegen angehen soll.
Habt ihr Ideen oder Vorschläge, wie ich mich verhalten könnte?