А если я ему скажу, что нравится он мне очень и хочу его, но не смогу изменить мужу?

Если не хотите изменять, то
 

говорить, что хотите его - лишнее. И потом, если он напористый, а вы ему скажете так откровенно о своих желаниях, то он рано или поздно своего добьется. Вам наоборот надо как можно скромнее вести себя, если, конечно, действительно не хотите изменять мужу.

может воспринять, как глупую отмазку
 

и настаивать дальше. Вообще, если вы реально ничего не хотите, не допускайте, чтобы ему даже в голову закралсь мысль о том, что чувства его взаимны. Стройте из себя дурочку и делайте вид, что ничего не понимаете.

полутонов не допускайте в ваших отношениях
 

если вы глазами его трахаете, а когда он готов откликнутся скажете вдруг, что вы не такая, то кто ж вам поверит.

Ну, тут уж надо очень четко определиться: готовы Вы на измену или не готовы, т.е. возможно допустить ситуацию или категорически нельзя. Если не готовы, старайтесь больше времени проводить вместе с мужем, сблизиться с ним и выкинуть из головы этого товарища. А если готовы - то вперед :-) В общем, если Ваше решение будет твердым и однозначным, то и проблема исчезнет.