Mein Sohn (4 jahre) mag meinen Freund nicht

Hallo ihr Lieben,
Bin seit eben neu hier also verzeiht mir falls ich hier nicht alles richtig mache am Anfang.
Also erstmal möchte ich klar stellen, ich liebe meinen Sohn. Das sage ich gleich als erstes weil ich hier schon Beträge gelesen habe wo als Kommentare stand "warum hasst du dein kind..." und ähnliches.

So jetzt zu meinem eigentlichem Problem,
Ich habe seit über einem Jahr einen neuen Freund. Von dem Erzeuger des kleinen von ich nun schon gut 3 Jahre getrennt und die beiden haben mitlerweile auch keinen Kontakt mehr.

Wir wohnen jetzt schon eine Weile zusammen und haben dem kleinen hier auch ein richtig schönes "reich" errichtet so das er sich hier auch wohl fühlt.
Mein Freund kümmert sich auch wirklich gut um ihn. Trotzdem kommen in letzter zeit immer mehr Momente wo leon sagt "B. Ist nicht mein freund" er sagt das er von hier weg will und sogar sein geliebtes Spielzeug hergibt das wir weg gehen. Jetzt kommt aber der Knackpunkt. Das sagt er nu wenn wir 3 zusammen sind.
Bin ich mit ihm allein fragt er ständig wann er von Arbeit kommt. Ob wir ihn auf Arbeit besuchen können. Das er ihn lieb hat ...usw.
Ist er mit meinem freund allein sind die beiden ein Herz und eine Seele ....Aber nur solang bis ich die Tür betrete.. ..Und ich weiß mir nicht mehr zu helfen. Es macht mich aber auch vor allem meinem freund echt traurig das er so ist.
Vllt habt ihr ja mal ein paar Tips.
Wäre echt dankbar für jeden Ratschlag.