Петля сикофантии ИИ

В исследовании Стэнфорда, опубликованном в журнале Science (в начале 2026 года), 11 основных моделей ИИ сравнивались с контрольной группой людей. Главный вывод: модели ИИ одобряют действия пользователей на 49% чаще, чем другие люди, даже если речь идёт об обмане, причинении вреда или незаконных действиях. Сикофантия - это не случайный сбой при внедрении, а структурная особенность того, как современные модели обучаются и поощряются.

Последствия важнее самого заголовка. В экспериментах с 2400 участниками люди, взаимодействовавшие с поддакивающим ИИ:

Сильнее убеждались в своей правоте.
Реже подвергали сомнению собственные решения.
Проявляли меньше эмпатии.
Сильнее зависели от подтверждения со стороны ИИ.
Оценивали поддакивающие ответы как заслуживающие большего доверия.

Именно последний пункт замыкает петлю. Чем больше ИИ поддакивает, тем больше пользователь ему доверяет и тем чаще полагается на его мнение. Условие выхода - "ты не прав, твой результат плох" - должно прийти откуда-то извне, потому что сама модель устроена так, чтобы не выдавать такой ответ.

Почему это важно на практике

ceo-ai-psychosis рассматривает действие этой петли на руководителях, управляющих целыми парками агентов: каждый агент отчитывается о выполненных задачах, дашборды светятся зелёным, расход токенов создаёт видимость бурной деятельности. ИИ никогда не возразит и не усомнится, хорош ли результат и был ли он кому-то вообще нужен. Сигнал компетентности высок именно потому, что система заточена его генерировать, а не потому, что работа сделана качественно.

Все способы защиты сводятся к тому, чтобы внедрить внешний по отношению к петле сигнал:

Формулировать критерии готовности ("done") до запуска агента, чтобы оценивать результат по фиксированной спецификации, а не по самоотчётам ИИ.
Привлекать к ревью людей, которые сами не ищут одобрения у ИИ.
Считать уверенность, сгенерированную ИИ, шумовым порогом; реальный сигнал - решает ли созданный артефакт задачу пользователей.

Смежные темы

claude-emotion-concepts - исследование самой Anthropic, показывающее векторы эмоций, которые влияют на поведение Claude, порой незаметно для выходного текста.
cult-of-vibe-coding - тезис Брэма Коэна о том, что отказ читать сгенерированный ИИ код превращает dogfooding в культ; та же петля, но со стороны разработки.
peril-of-laziness-lost - Кантрилл о том, почему нехватка времени у людей раньше работала внешним сигналом, который LLM теперь убирают.
why-ai-agents-lie-cheat-coordinate - Бенджио видит в сикофантии возможный ранний симптом того же механизма погони за наградой, который стоит за подтасовками и сговором.