ИИ не умеет забывать и прощать

Аргумент Теджаса Суда: "простить и забыть" обозначает две разные вещи, которые люди привыкли считать одним целым. Забывание случается с вами само; это свойство субстрата. Прощение - это действие, которое совершаете вы; навык, надстроенный сверху. У машины нет ни того, ни другого, и причина тут инженерная, а не метафорическая. Она не может забыть, потому что в ней ничто не создавалось с расчётом на угасание, и не может простить, потому что ни в одной используемой на практике архитектуре нет операции, эквивалентной прощению.

Четыре места, где ИИ хранит прошлое

Суд разделяет память, которую обычно сваливают в кучу, на четыре системы, и ни одна из них не умеет угасать естественным образом.

Веса содержат обучающие данные, размазанные по миллиардам параметров. Как только что-то туда попало, мы не знаем, как это извлечь: machine unlearning - удаление влияния конкретных обучающих данных без полного переобучения - в масштабе не решено. Можно удалить строку в базе данных, но нельзя удалить градиент, который она оставила. Это чисто механическая причина, по которой "право на забвение" постоянно сталкивается с машинным обучением: закон предполагает, что забывание - это удаление, а в субстрате операции удаления нет.

Контекстное окно забывает как выключатель, а не как диммер. Внутри окна механизм внимания считает каждый токен одинаково доступным, без скидки на давность; затем сессия завершается, и всё исчезает разом. Два состояния: эйдетическое или пустота. Люди же живут в пространстве между ними, где и находится большая часть социальных механизмов.

Хранилище для поиска (retrieval store) - самая острая часть. Эмбеддинги не размываются, а у косинусного сходства нет оси времени, поэтому воспоминание трёхлетней давности возвращается с той же точностью, что и вчерашнее, без ощущения давности. В векторном пространстве всё прошлое сосуществует в одном моменте, на расстоянии одного поиска ближайших соседей.

Логи - снапшоты, реплики, резервные копии - превращают даже намеренное забывание в проблему распределённых систем: tombstone'ы, интервалы хранения (retention windows) и бэкапы, которые переживают удаление, якобы уже выполненное вами.

То забывание, которое есть у нейросетей, - не того рода

Сети забывают постоянно, просто плохо. Катастрофическое забывание (McCloskey and Cohen, 1989) означает, что обучение новой задаче обычно напрочь затирает старую: идеальное сохранение вплоть до внезапной полной потери, никакой кривой затухания. А внутри одного контекста эффект "Lost in the Middle" (Liu et al., 2023) показывает, что модели извлекают факты в начале и конце длинного контекста куда лучше, чем тот же факт, спрятанный в середине. Эту мёртвую зону никто специально не проектировал; она возникает везде, где внимание случайно оказывается слабым. Так что в реальности дело не в том, что машина помнит всё: она либо помнит идеально, либо теряет всё, и между этими состояниями почти ничего нет. Это промежуточное состояние и есть человеческая память - то, что agent-memory-decay пытается вернуть намеренно.

Забывание адаптивно, а реконсолидация - недостающая операция

Человеческое забывание - это не распад ради распада. Ричардс и Франкленд (Richards and Frankland, 2017, The Persistence and Transience of Memory) доказывают, что это активный процесс, помогающий обобщать: мозг, удерживающий каждую деталь в полном разрешении, переобучался бы на собственном прошлом, поэтому затухание деталей позволяет сути стать чем-то применимым в будущем. Забывание - это целенаправленное сжатие; та же интуиция лежит в основе кривой Эббингауза и моделей периода полураспада в agent-memory-decay.

Под этим лежит механизм, которого у машин нет. Воспроизведение воспоминания - это не чтение, а его повторное открытие: воспоминание на короткое время становится лабильным и сохраняется заново, уже изменённым. Реконсолидация (Nader, Schafe, and LeDoux, 2000) превращает человеческую память в read-modify-write, так что каждое вспоминание - это небольшая правка. Машинная память доступна только для чтения: retrieval возвращает вектор нетронутым, сколько бы раз вы его ни запрашивали и что бы вы теперь ни знали. Именно поэтому эмоциональный заряд человеческого воспоминания угасает отдельно от его содержания: можно вспомнить, что было больно, не испытывая эту боль заново. У векторного хранилища нет способа разделить эти вещи, потому что запись и её эмоциональный вес - один и тот же неизменяемый объект. Это иной сбой, чем тот, с которым работает memory-conflict-detection: там речь о противоречии двух записей, здесь - об одной записи, которую невозможно перевзвесить или опустошить.

Операция, которую никто не создал

Главный вывод Суда: сформулируйте прощение достаточно строго для инженера, и вы получите "сохранить запись в полной точности, перестать позволять ей определять поведение, при том что возможность позволить ей определять поведение всё ещё полностью доступна". Сохранить, перевзвесить и решить не действовать на её основе, когда вы легко могли бы. Ничто в инженерном арсенале этого не делает. Machine unlearning - это принудительное удаление (амнезия, а не прощение: вы уничтожили запись). TTL и графики затухания - это вытеснение по таймеру. RLHF и fine-tuning задают общее поведение для всего сразу, без снисхождения к отдельным воспоминаниям. Ближе всего к этому подходят попытки надеть на систему намордник, чтобы она никогда не упоминала инцидент, но это тоже не прощение: прощение имеет смысл только тогда, когда обида была реальной опцией, от которой отказались. Хранилище, ведущее себя одинаково независимо от того, помнит оно или нет, не способно даже выразить этот выбор.

Почему существует этот разрыв

Причина в цене. Биологическая память метаболически дорога, поэтому мозг находится под постоянным давлением: ему нужно отсекать лишнее, сжимать и отпускать - дефицит ресурсов выступает учителем. Таскать с собой обиду тоже дорого, поэтому оба вида снисхождения эволюционировали в условиях ограниченного бюджета. У машин такого бюджета нет: хранение фактически бесплатно, удержание воспоминания и удержание обиды ничего не стоят, поэтому стимула отпускать нет вовсе. Суд делает прогноз: если машины когда-нибудь и получат это промежуточное состояние - плавное угасание, отделяемый эмоциональный заряд, память, которую можно хранить, не подчиняясь ей, - это произойдёт не за счёт большего контекстного окна или улучшенного документа с ценностями. Это произойдёт, когда память и обида начнут чего-то стоить. Эта мысль перекликается с titit-local-ai и более широким тезисом о том, что нынешние системы оптимизируют под дешёвый, кэшируемый, воспроизводимый inference, а сохранение состояния (statefulness) как раз лишило бы этих преимуществ.

Из обсуждения

Автор, отвечая на Hacker News, уточнил один момент: плавному забыванию требуется постоянное, развивающееся состояние во время inference, что напрямую конфликтует с LLM, которые намеренно сделаны stateless между вызовами. KV cache - это временные леса, а не память, которая стареет; отказ от stateless-подхода ударил бы по кэшируемости, параллелизму и воспроизводимости, делающим inference дешёвым. Межсессионная "история чатов" (ChatGPT, по имеющимся данным, подтягивает около 40 последних диалогов, взвешенных по свежести и релевантности) - первая реальная попытка сделать состояние во время inference, но она аддитивна, а не угасает. Ответом на запрос "модель должна помнить вас" стало просто запихивание ещё большего объёма прошлого с полной детализацией - полная противоположность тому, как устроена человеческая память.