Мне кажется, не надо вам именно "грозить"
 

ну то есть, как будто от вас исходит угроза, что вы расскажете, и детей забирут. Вы ведь сами к нему не совсем равнодушны, и хотели бы остаться ему другом, как минимум, так я понимаю. А скажите ему, что он должен лучше следить за детьми, делать для них то-то и то-то, потому что детям это нужно, и потому что вы "боитесь", что кто-нибудь донесет на него в органы опеки и т.п. Пусть он испугается, но не вас, а соседей и т.п.