сено к лошади?

Если вам все равно - этот мужчина, или другой, то, безусловно, зачем вам куда-то ехать? Просто, вы написали, что мужчина вам небезраличен. К человеку, который не является "еще одним мужиком", ИМХО, можно и слетать, ничего тут нет унизительного. Но только в том случае, когда этого хочется. Если вам не хочется лететь - кто вас заставляет?
Я пару раз ездила к нравящимся мне мужчинам. Не жалею. Хоть ничего серьезного у нас и не вышло с ними, но отпуска были классные и воспоминания остались приятные.