Кто приглашает на день рождения?

Помогите разрулить дурную ситуацию.
У меня в эту среду день рождения, круглая дата. Я решила отметить в узком семейном кругу - мы с мужем, две пары близких друзей с детьми, моя мама с бойфрендом (папу умер 4 года назад и мне поэтому вообще не хочется отмечать. Но это отдельная история), и свекры. Последних я бы не приглашала, так как они не вписываются в нашу компанию. Но, из уважения к моему мужу решила пригласить.
Идем в дорогой ресторан, который, если честно, с трудом можем себе позволить. Поэтому решили ограничиться маленьким кругом людей.
Теперь сама история. У мужа есть брат, который редкая зануда, хоть и профессор. Отношения у нас с ними (там еще жена и двое детей) хорошие, но особой любви нет. У братьев приличная разница в возрасте. Мы могли бы прекрасно обойтись без их присутствия на моем празднике. Но! Сегодня позвонил свекр и очень деликатно, но с нажимом стал жаловаться, что он все хочет нас сблизить, а мы братца не пригласили. "Как это так? Он же родной брат!"
Я ему сказала, что хорошо, что он со мной поделился своими мыслями и что я подумаю.
Теперь я не знаю, что мне делать. Я все еще не хочу приглашать братца, тем более, что моего собственного брата не будет. Но и перед свекром не удобно.
Посоветуйте, что делать! Неужели я не в праве сделать так как хочу?! Я им ничем не обязана, даже с детьми никогда не оставляла.