Потому что фактически ты сообщаешь этим ровно один непреложный факт - что ты добровольно общаешься с тем, кого считаешь идиотом. То есть это заявление никогда по факту не является критикой, оно всегда является унижением самого себя. Фактически этой фразой ты признаешь, что идиотом являешься ты сам. Больше ровным счетом ничего и никому она не сообщает.

Отдельные люди пытаются выйти из этой логической ловушки, сообщая что общение с идиотами доставляет им удовольствие. Но этим они только закапывают себя глубже, потому что сообщают на этот раз две вещи:
1) Что добровольно общаются с теми, кого считают идиотами.
2) Что получают от этого удовольствие.
Как не сложно догадаться, ни один из этих фактов признаком какого-либо интеллекта не является, наоборот они усиливают друг друга. Первый говорит о недостатке мозгов, второй о недостатке культуры.

По факту выхода из этой логической ловушки нет. Ты либо не выебываешься, либо сам себя в нее загоняешь, на каждом витке глубже и глубже. Решение за тобой.