Лишение родительских прав

Подскажите мне, добрые люди.Этим вопросом я мучаюсь давно. Ситуация такова. Бывший муж часто жил у своих родителей, когда ребенок (его) был маленький,то есть он появлялся наездами, говорил, что ему надо высыпаться, работа поглощала его всего, а денег особых и не было. Когда ребенку было 2,5 года он стал бывать все реже и реже ( раз в полгода , а то и еще реже). Естественно, что я вышла на работу , потом развелась с бывшим мужем и вышла замуж еще раз. Второй муж от проблем не бегает.Ребенок за 5-ть лет совместной жизни называет его папой, и считает таковым. О том он помнит, но очень слабо и неэмоционально, называя его "биологический". После второго замужества, мы переехали и биологический отец и не собирался нас разыскивать. Он ни разу не был у ребенка в детском саду, ни разу не посещал школу ( хотя знал ее номер). Кроме всего прочего, он не дает на ребенка доверенность на выезд за границу
Когда я однажды официально попросила его ее нам выдать через его отца и дала номер своего мобильного телефона, он мне даже не перезвонил. Однажды, я настояла, чтобы ребенок позвонил своему отцу ( дитя не хотело совсем этого делать) и они встретились ( я тоже присутствовала). На встрече я попросила выдавать нам доверенность, на что папаша сказал, что он посмотрит на мое поведение.
Естественно, что эта ситуация меня очень раздражает. Да он платит официальные алименты ( 300 рублей в месяц), но на них даже ботинок ребенку не купишь. В его воспитании он не участвует и твердит лишь одно, что я не даю с ребенком видеться. Не давать видеться- это значит, если у отца назначена встреча с ребенком, то я должна всячески препятствовать ей или если, бы он настойчиво требовал встречи,а я не разрешала бы. Но этого нет.
Два раза я встречалась с адвокатами ( которые занимались лишением родительских прав), но ответ был , что , к сожалению, если платит алименты, то как бы долг перед ребенком и государством выполняет. Вот такой вот бред.
Может быть кто-нибудь был в такой ситуации и подскажет мне как нам все-таки поступить?