Нормально ли - отпустить к отцу?

Не то чтобы сейчас возникла такая дилемма, но вопрос есть, и я уверена - когда-то он поднимется в реальности. У меня есть сын от первого брака, сейчас ему три года, живет со мной и моим вторым мужем (отношения прекрасные), с отцом встречается, пока раза 2-3 в неделю, как дальше будет - нельзя сказать, может отец так же будет хотеть с ним видеться, может, забьет. Но уже сейчас видно, что мы (я и муж) сына воспитываем, учим, ругаем и т.д., а родной отец просто разрешает ему все, балует. Выгляжу как умная Эльза, конечно, но уже сейчас думаю: в подростковом возрасте, а может, и раньше сын скажет: не хочу жить с вами, хочу к отцу. Я склоняюсь к тому, что держать ребенка нельзя, можно только дать, все, что у тебя есть предложить, а решать - ребенку. А мои родстенники, когда от меня это услышали, сказали: ты плохая мать, тебе сын не нужен, раз готова его отцу отдать (они все моего БМ ненавидят) ну и т.д. Хочется услышать ваши мнения. Насколько нормальна моя позиция? Если это важно, с отцом видеться я не мешала ребенку никогда, но денег от его отца не беру ни копейки - не могу. Да он и не предлагал ни разу, впрочем.