Ich mag nicht zurück nach Hause

Das sei vorweggeschickt: Ich finde es absolut verwerflich, Beziehungen nur unter dem Gesichtspunkt zu betrachten "was sie einem bringen". Es ist absolut in Ordnung, mit jemandem zusammenzubleiben, weil man sich verpflichtet fühlt und weil man der Person helfen will, auch wenn man nicht direkt etwas zurückkriegt.
Allerdings sieht die Lage in Deinem Fall anders aus, denn Dein Mann zeigt sich Dir gegenüber überhaupt nicht dankbar oder irgendwie positiv.
Er ist gehbehindert, er ist vermutlich arbeitslos, er hat keine Perspektive und verständlicherweise schlecht gelaunt. Das kann man ein paar Jahre mitmachen, aber irgendwann muss ein Mensch sich aufraffen und das Beste draus machen. Man kann ja trotz Gehbehinderung lesen und schreiben, oder?
Ich würde für ein Ultimatum plädieren: Entweder er ändert was oder Ihr geht. Ich schreibe bewusst "Ihr", denn Deine Kinder hängen da ja mit drin. Wie geht es denen denn damit?