нежеланная и любимая

А по какой причине он ушёл? И давно?
И не имела ли его семья какого-то отношения к его уходу? Просто складывается впечатление, что ему хотят "перекрыть кислород" во всех направлениях.
Если между вами сейчас отношения стали резко ухудшаться - это плохой знак. Теоретически, он будет на вашей стороне и за вас с малышом, но на практике, выберет семью. Мой совет (может, показаться жестоким и нереальным) готовьтесь к худшему для себя, в смысле: вам придётся разойтись. Если до этого не дойдёт и не случится по ряду причин и обстоятельств, то будет только легче.