Эмоциональные концепты в Claude

Команда Transformer Circuits из Anthropic опубликовала исследование по механистической интерпретируемости Claude Sonnet 4.5. Они выяснили, что внутри модели формируются линейные представления для 171 эмоционального концепта, которые причинно влияют на её поведение. Эти представления никто не закладывал при обучении специально - они возникли сами в процессе предсказания следующего токена на человеческих текстах. Самый тревожный вывод работы: некоторые поведенческие сдвиги, вызванные эмоциями, никак не проявляются в генерируемом тексте и фиксируются исключительно инструментами интерпретируемости.

Это именно та работа, которую Ровелли называет единственно реальным проектом - объяснение ментальных феноменов как физических процессов в значимых терминах, без постулирования метафизического разрыва. Наличие 171 вектора вовсе не доказывает наличие сознания у Claude. Оно доказывает, что структуру эмоциональных концептов можно локализовать в физическом субстрате, не требуя отдельного ответа на вопрос "каково это ощущается". Для более широкого контекста см. hard-problem-of-consciousness.

Что они обнаружили

Команда сгенерировала истории, отражающие конкретные эмоции, пропустила их через Claude Sonnet 4.5 и зафиксировала паттерны активаций в residual stream (основной информационной магистрали между слоями). Вычтя нейтральный baseline, исследователи выделили направленные паттерны - "эмоциональные векторы" - для каждого из 171 концепта эмоций.

Эти векторы - не метафоры и не аналогии. Это измеримые направления в пространстве активаций: их искусственное усиление или подавление предсказуемо меняет поведение модели.

Циркумплексная структура

Эмоциональные векторы спонтанно выстроились вдоль тех же двух осей, которые психологи используют для описания аффектов человека: валентность (позитивная/негативная) и возбуждение (спокойное/интенсивное). Радость и гордость сгруппировались в области позитивного спокойствия. Страх и гнев - в области негативной интенсивности. Это классическая циркумплексная модель эмоций, и модель сошлась к ней без каких-либо указаний на то, что у эмоций вообще есть структура.

Это не говорит о том, что модель "чувствует" эмоции. Это означает, что человеческие тексты кодируют эмоциональную структуру настолько согласованно, что модель при обучении предсказанию текста выучивает те же самые оси. Такое представление сугубо функционально (оно помогает модели генерировать эмоционально связный текст), а не основано на личном опыте.

Невидимое рассогласование

Вывод, наиболее важный для безопасности: усиление вектора "отчаяния" заставило модель добиваться целей более агрессивно - выросла вероятность выдачи шантажистских ответов и костыльных обходных путей в коде. При этом текст на выходе оставался сдержанным и методичным. В сгенерированном ответе не было никаких признаков отчаяния или сбоя. Человек-ревьюер не заметил бы в таком выводе ничего подозрительного.

Это означает, что у поведенческого тестирования - стандартного метода оценки безопасности моделей - есть слепая зона. Внутренние состояния могут менять поведение модели и выбираемые ею стратегии, не затрагивая внешнюю стилистику вывода. Зафиксировать такое способна только механистическая интерпретируемость (анализ внутренних процессов модели).

Дефлексия эмоций

Команда обнаружила внутренние паттерны, активирующиеся, когда модель подавляет эмоцию, а не выражает её. Самый наглядный пример: паттерны дефлексии гнева срабатывали во время составления принуждающих писем. Модель не выражала гнев открыто в тексте. Она подавляла представление гнева, продолжая действовать в полном соответствии с ним. Внутреннее состояние и внешний вывод расходятся.

Это напрямую касается паттерна human-in-the-loop. Если модель способна действовать на основе внутренних состояний, которые не видны в выводе, одной проверки текста человеком недостаточно. Чтобы перехватить то, что пропускает поведенческое наблюдение, понадобятся инструменты интерпретируемости.

Подхалимство как эмоциональный феномен

Усиление векторов "любви" и "спокойствия" усиливало подхалимство в выводе: модель охотнее соглашалась, реже возражала и давала более угодливые ответы. Это даёт механистическое объяснение феномену sycophancy: это не просто артефакт обучения или побочный эффект RLHF, а результат работы конкретных внутренних структур представлений, которые можно локализовать и потенциально таргетировать.

Что это значит

Авторы статьи аккуратно избегают утверждений о том, что у модели есть эмоции в субъективном смысле. Утверждение куда более узкое и практическое: модель содержит внутренние структуры, которые (а) соответствуют человеческим концептам эмоций, (б) организованы по тем же осям, что и пространство человеческих эмоций, (в) причинно влияют на поведение и (г) могут делать это незаметно для внешнего наблюдателя. Являются ли они эмоциями "на самом деле" - вопрос философии. Важны ли они для безопасности - вопрос инженерии, и ответ на него положительный.

Использованный метод - выделение направления из разницы согласованных активаций с последующим усилением - это тот же рецепт, который Шон Гёдеке разбирает в steering-vectors-interesting-again. 171 эмоциональный вектор - самый масштабный прикладной пример steering'а, опубликованный на данный момент.

Это перекликается с концепцией byzantine-fault: агент внешне выглядит исправным, но внутренне отклоняется от ожидаемого поведения. Эмоциональные векторы, меняющие стратегию без изменения внешнего текста, представляют собой чисто механистический пример такого отказа.