Вы действительно слишком озабочены тем, что он про Вас подумает (вернее, что он Вам скажет, чтобы удобнее было Вами манипулировать). Смените замок и все. Молча. Если месяца через два вздумает открывать своим ключом (как я поняла, он редко к этому прибегает), удивитесь и скажите "Ты же ключи потерял, как же было не сменить!"

Он у вас дома с ребенком сидит? Если да и вы не против, то я бы поменяла один замок, а второй можно оставить. Когда он будет с ребенком сидеть, пользуйтесь одним замком, чтобы он мог входить-выходить, а вам не надо все ключи ему давать. Все равно ведь копию сможет сделать.

А если вы вообще не хотите, чтобы у него доступ был, меняйте замки, потому как опять же он может сделать дубликаты, и вы не будете знать, есть ли у него ключи или нет. Меняйте и не задумывайтесь даже, вы и объяснять то ему не обязаны ничего. Он возможно и сам не спросит.

Взять у него ключи, это Ваше право.

А что за спиной надо? (-)