Erkläre mir einer mal meinen Ex...

Sorgerecht heißt ja nicht, dass Du Dich um IHN kümmern musst!
Gemeinsames Sorgerecht ist bei Geschiedenen eh die Regel. Wart Ihr nicht verheiratet? Viel Wichitger ist jedoch der Unterpunkt "Aufenthaltsbestimmungsrecht", der sollte bei Dir sein, besprich das mit Deinem Anwalt. Ebenso die Frage, was passiert, wenn Dir was passiert. Kiddies erben Dein Vermögen, über die Vermögessorge (ebenfalls Teil des Sorgerechts), könnte er als gesetzlicher Vertreter der Kids darüber verfügen (zwar auch nicht 1:1, aber bekanntlich kann man Amtsschimmel belabern). Daher am Besten (klingt vielleicht makaber) ein Testament aufsetzen und Dauertestamentsvollstreckung bestimmen (auch mit Anwalt besprechen). So kommt er sicher an nix ran, und es handelt nur der von Dir eingesetzte Testamentsvolltrecker im Sinne Deiner Kinder.