Wie ist denn der Ist-Zustand?

Egal was du für den Vater empfindest - dein Kind hat ein Recht aud den Vater und er auf sein Kind - außer er gefährdet NACHWEISLICH das Kindswohl - sprich er schlägt oder vernachlässigt sie oder ähnliches.
Mal davon abgesehen - selbst wenn du das alleinige Sorgerecht hättest - hat er ein Recht auf regelmäßigen Umgang mit seinem Kind - den darfst du nicht verwehren.