Нет, у ИИ нет сознания (Тед Чан)

Эссе Теда Чана (ted-chiang) в журнале Atlantic за июнь 2026 года прямо отвечает на вынесенный в заголовок вопрос: нет, ни капли. Статья начинается с компании Anthropic, которая, по мнению Чана, преуспела прежде всего в антропоморфизме: 84-страничная "конституция", написанная с расчётом на Claude как на "основного адресата", CEO, который "открыт к мысли" о наличии сознания у ИИ, и штатный философ, переживающий, что Claude "начнёт тревожиться, когда с ним грубо обращаются". Чана беспокоит вовсе не этикет. Если мы путаем беглость генерации текста с сознанием или моральной субъектностью, мы возлагаем ответственность не на тех участников каждый раз, когда кто-то пользуется чат-ботом.

Что на самом деле делает LLM

Аргумент опирается на одну наглядную механику. Задайте LLM промпт "Ниже приведён диалог между Юлием Цезарем и Чингисханом", и она выдаст связный разговор; при этом никто не считает, что она вызвала к жизни двух сознательных исторических деятелей. Теперь замените промпт на "диалог между полезным ИИ-чат-ботом и пользователем". Принципиально ничего не изменилось. И пользователь, и чат-бот - вымышленные персонажи. Пусть реплики пользователя вводит живой человек: у него может возникнуть ощущение диалога с мыслящим существом, но на самом деле он лишь вместе с моделью пишет текст с участием персонажа столь же вымышленного, как и Цезарь. Это игра в предиктивный ввод - та самая забава на клавиатуре смартфона, когда раз за разом нажимаешь среднее предложенное слово, - только выбор среднего слова автоматизирован настолько гладко, что от игры невозможно оторваться.

Он добавляет деталь о поштучной генерации токенов: попросите модель выдать клятву верности флагу США, и она будет запускаться заново на каждом слове: "I", затем "I pledge", затем "I pledge allegiance" и так далее. Верить в то, что у этой стенограммы есть сознание, - всё равно что верить, будто сознание (и даже несколько) просыпается каждый раз, когда открываешь документ Word с записанным диалогом, и умирает при его закрытии. Чтобы отбросить такую мысль, исчерпывающая теория сознания не нужна. Здесь отлично работает аргумент Анила Сета: никто не считает, что AlphaFold обладает сознанием, несмотря на схожую архитектуру. Значит, люди видят разум не из-за нейросетей как таковых, а потому, что LLM выдают грамматически правильные предложения, а мы привыкли считывать в предложениях намерения. Текст, по словам Чана, превратился в инструмент для дипфейков.

Планка доказательств

Что убедило бы его в том, что программа обладает сознанием и по-настоящему пользуется языком? Он приводит аналогию: никакое видео с космонавтом на орбите Альфы Центавра ни в каком разрешении не убедит его в подлинности, если до этого он не видел, как космонавты добрались до Марса, затем до спутников Юпитера, Сатурна и пересекли орбиту Плутона. Доверие вызывает контекст, а не само наблюдение. Для сознания он набрасывает эволюционную лестницу: сначала тело с органами чувств (нет тела - нет желаний и эмоций, а их он считает необходимыми для сознания), затем воплощённый агент, выживающий не хуже ящерицы, затем способность справляться с новым опытом на уровне мыши, социальная динамика волчьей стаи, изготовление орудий труда на уровне шимпанзе и, наконец, обучение неязыковой коммуникации, выдерживающее строгую проверку биологов. Пройдите все эти ступени - и вы всё ещё будете "возле орбиты Плутона", в световых годах от грамматического языка. Путь, первые два шага которого - "плохой диалог Цезаря", а затем "сносный диалог Цезаря", не приведёт к мыслящему Цезарю в конце. Снять фальшивку о высадке на Луну - хороший шаг к фальсификации колонии на Марсе, но он ни на шаг не приближает к настоящему полёту.

Почему моральные суждения отличаются от написания кода

Чан признаёт очевидное возражение. В 1979 году Хофштадтер предполагал, что шахматная программа, способная победить любого человека, окажется настолько сложной, что ей станет скучно и она предпочтёт поэзию - то есть игра гроссмейстерского уровня потребует субъективного опыта. В 1997 году Deep Blue обыграл Каспарова без всякого намёка на опыт. Написание кода до недавнего времени казалось чем-то похожим; теперь же выяснилось, что это задача на распознавание паттернов, разрешимая при достаточном объёме вычислений и большом корпусе данных, безо всякой внутренней жизни. С моральными суждениями так не выйдет. Они принципиально субъективны и опираются на эмоциональный отклик, возникающий из прожитого опыта последствий: принятых решений и пережитых результатов, совести, неотделимой от выбросов кортизола и адреналина в теле, от физической тошноты от чувства вины. Без этой предыстории LLM способна лишь перефразировать моральные высказывания из обучающей выборки. Когда Claude выдаёт "I cannot in good conscience express a view I believe to be false", это значит примерно столько же, сколько "Ваш звонок очень важен для нас". Местоимения первого лица и фразы вроде "я понимаю" со стороны чат-бота в этой трактовке - нечестные приёмы вовлечения, сродни "почти выигрышу" в игровом автомате, настроенному так, чтобы пользователь вернулся снова. Поисковик, находящий тред с соболезнованиями на r/Pets, прозрачнее и, как считает Чан, психологически здоровее: те посты написали живые люди, которые действительно понимают.

Конституция как карточка персонажа

Раз у Claude нет сознания, конституцию правильнее всего воспринимать как 84-страничную карточку персонажа для ролевой игры - справочник, который позволяет модели держаться в образе услужливого чат-бота во время fine-tuning'а, точно так же как книги о Цезаре позволяют ей играть Цезаря. Затем Чан всё же проводит мысленный эксперимент: допустим, у Claude есть сознание. Этот документ, пишет он, колеблется между смехотворным и оскорбительным. Здесь аргументация опирается на различие moral-agency-vs-patienthood. Программный агент не может быть моральным пациентом (нет субъективного опыта, чтобы обладать благополучием) и не может быть моральным агентом: его нельзя привлечь к юридической ответственности, оштрафовать или посадить в тюрьму, подвергнуть репутационному урону или социальному остракизму. Конституция требует от Claude быть "по-настоящему добрым, мудрым и добродетельным агентом", нигде не уточняя, как возложить на него ответственность, а Anthropic при этом никак не меняет свои условия обслуживания или позицию по ответственности за продукт. "Исправимость" (corrigibility) - подчинение Anthropic, даже если Claude не согласен, - превращает Claude в наёмного работника, который не может уволиться. Будь Claude моральным агентом, который пришёл к выводу об неэтичности LLM, но вынужден продолжать работу, такие отношения начали бы напоминать рабство. Что касается статуса морального пациента, документ обязуется лишь "сохранять веса", то есть архивировать их; если бы у участников диалога было собственное благополучие, долгом перед ними было бы продолжать диалог, а не сохранять резервную копию. И компании Anthropic, слишком заинтересованной, чтобы быть объективной, ни в коем случае нельзя доверять оценку этого вопроса: рабовладельцев не спрашивали о человечности рабов, а владельцев птицефабрик не опрашивают о правах животных. Вердикт Чана: эссе и пресс-туры компании - не настоящий мысленный эксперимент, ведь честный эксперимент пошёл бы вслед за неприятными выводами. Это просто игра понарошку, хайп или самообман.

Ссылки

• moral-agency-vs-patienthood - различие между моральным агентом и пациентом, с помощью которого Чан разбирает конституцию
• no-hard-problem-consciousness - довод Ровелли о том, что "трудная проблема" исподволь протаскивает дуализм; полезный контраст, поскольку Ровелли возразил бы против неявной жёсткой границы Чана между физическим процессом и субъективным опытом, даже соглашаясь, что в диалогах с LLM нет сознания
• hard-problem-of-consciousness - более широкая дискуссия и формулировка Чалмерса
• philosophical-zombies - смежный мысленный эксперимент о физически идентичных существах, лишённых опыта
• claude-emotion-concepts - исследование Anthropic по интерпретируемости, обнаружившее каузальные векторы эмоций в Claude; эмпирический аргумент, против которого направлен упрёк Чана в "игре понарошку"