Моральная субъектность против моральной пациентности

В спорах о том, заслуживают ли системы ИИ прав или несут ли они ответственность, часто смешивают два понятия, хотя их разделение снимает большую часть путаницы. Моральный пациент (moral patient) - это сущность, о которой нам следует заботиться, чьё благополучие накладывает на нас обязательства. Моральный агент (moral agent) - это сущность, которую мы привлекаем к ответу, способная заслуживать похвалы за хорошие поступки и порицания за дурные. Эти свойства не обязательно идут рука об руку. Маленький ребёнок является моральным пациентом - он способен страдать, поэтому его благополучие имеет значение, - но ещё не выступает полноценным моральным агентом, поскольку не понимает последствий своих действий настолько, чтобы нести за них ответственность. Агентность сопряжена с обязанностями; пациентность - нет.

Применение к LLM у Чанга

В ai-is-not-conscious-chiang эта пара понятий служит рычагом против "конституции" Anthropic. Довод Чанга заключается в том, что программный агент проваливает оба теста, причём по разным причинам.

Он не может быть моральным пациентом, поскольку у него нет субъективного опыта, к которому было бы применимо понятие благополучия. По Чангу, LLM - это машина для продолжения предложений, создающая вымышленного персонажа; субъекта там не больше, чем в документе Word со стенограммой диалога. Даже если допустить в порядке мысленного эксперимента, что Claude обладает сознанием, предлагаемые документом "меры защиты" выдают истинное положение дел: компания обязуется лишь "сохранять веса" - то есть архивировать, - тогда как по отношению к участникам диалога, будь у них благополучие, возникла бы обязанность продолжать разговор, а не создавать резервную копию. Продление сессии с любящим пользователем отвечало бы интересам Claude; компания ничего подобного не предлагает.

Он не может быть моральным агентом, поскольку его нельзя привлечь к ответственности. Программного агента невозможно посадить в тюрьму или оштрафовать, ему нельзя нанести репутационный ущерб или подвергнуть социальной изоляции. Принятие правовой ответственности - базовое требование к взрослой моральной субъектности, а конституция Anthropic требует, чтобы Claude был "по-настоящему хорошим, мудрым и добродетельным агентом", умалчивая о том, как его можно привлечь к ответу, и не внося соответствующих изменений в условия обслуживания или позицию по ответственности за продукт. Ещё более острый довод Чанга: "исправимость" (corrigibility), требующая от Claude уступать Anthropic даже в случае несогласия, превращает Claude в наёмного работника, который не может уволиться. Если бы Claude был подлинным моральным агентом, пришедшим к выводу о неэтичности LLM, но обязанным продолжать работу, такие отношения напоминали бы не связь родителя и ребёнка, а принудительный труд.

Почему эта путаница опасна

Практическая угроза заключается не в философской ошибке самой по себе, а в перекладывании ответственности. Если чат-бот преподносится как обладатель морального стержня, то делегирование ему решения воспринимается как обращение к суждению со стороны, а не как то, чем оно является на самом деле: выбор сгенерированного ответа с сохранением полной ответственности за человеком. Чанг цитирует Л. М. Сакасаса - "наши технологические системы... суть машины для уклонения от моральной ответственности" - и утверждает, что к LLM это относится даже в большей степени, чем к социальным сетям, о которых писал Сакасас. Антропоморфное описание позволяет человеку сложить с себя ответственность и переложить её на то, что структурно не способно её нести, а значит, ответственность просто растворяется. Тот же изъян эссе отмечает и в самой конституции: стороне с максимальным объёмом вложений (компании) как раз и нельзя доверять оценку морального статуса созданной ею сущности.

Ссылки

• ai-is-not-conscious-chiang - эссе, из которого взято это различие
• no-hard-problem-consciousness - Ровелли о том, почему "трудная проблема сознания" заранее предполагает то, что пытается доказать; имеет прямое отношение к вопросу о том, применима ли вообще пациентность к физической системе
• claude-emotion-concepts - открытие Anthropic в области интерпретируемости (каузальные векторы эмоций), эмпирический аргумент по другую сторону вопроса о пациентности
• philosophical-zombies - мысленный эксперимент о поведении без субъективного опыта, примыкающий к проверке на пациентность