Нераспространение - ошибочный подход к угрозам злоупотребления ИИ

Хелен Тонер опубликовала этот текст 5 апреля 2025 года - третий из трёх постов, запустивших её Substack Rising Tide. Он адресован её же стороне: специалистам по безопасности ИИ, которые считают катастрофическое злоупотребление реальной перспективой и приходят к выводу, что единственная защита - не дать опасным моделям распространяться. Она принимает предпосылки, но отвергает этот вывод. В open-source-ai-reading-list Нейтана Ламберта статья отнесена к киберрискам и открытым моделям с аргументом, что "нельзя рассчитывать на контроль доступа к ИИ выше определённого порога (например, моделей с открытыми весами) и нужно готовить общество к отражению рисков, порождаемых уже доступным интеллектом". Это самый ранний из трёх материалов в подборке, а две соседние публикации Джошуа Сакса развивают её логику ещё дальше.

Четыре принятые предпосылки и одна отвергнутая

Тонер разбивает рассуждение на пять шагов. ИИ всё лучше справляется с программированием и научными исследованиями. В какой-то момент это может сильно упростить крупные атаки - на критическую инфраструктуру или с применением нового биооружия. Злоумышленников достаточно много, чтобы такие атаки обязательно предпринимались. Общество не способно надёжно их предотвратить, а любая из них может стать катастрофой. Следовательно, единственный выход - жёсткое нераспространение.

С первыми четырьмя пунктами она согласна. Пятый же она называет "вероятно ошибочным": серьёзный режим нераспространения окажется одновременно неэффективным и губительным для свободы. Главный её пример - статья Дэна Хендрикса, Эрика Шмидта и Александра Ванга (на nationalsecurity.ai), которую она считает необычайно чётким изложением этой позиции. Раздел о нераспространении там состоит из трёх частей: безопасность вычислительных мощностей (отслеживание передовых чипов), информационная безопасность (запирание весов, допускающих злоупотребление) и защитные механизмы ИИ. Этот раздел явно направлен на то, чтобы не допустить попадания катастрофических возможностей к злоумышленникам, а не на соперничество великих держав.

Frontier-цели и цели с фиксированными возможностями

Аргумент опирается на кривую затрат из работы Пола Шарре (CNAS, 2024). Обучение лучших моделей непрерывно дорожает. Однако как только определённый уровень возможностей достигнут, его воспроизведение быстро дешевеет. Это даёт регулированию два принципиально разных типа целей. Frontier-цель - например, отслеживание прогресса на пути к AGI - может фокусироваться на самых крупных и требовательных к вычислениям системах. Цель с фиксированными возможностями - это конкретный навык, например помощь новичку во взломе энергосети или создании вируса оспы. Такой навык "быстро станет дешевле и доступнее", сколько бы он ни стоил изначально. Биооружие и взлом инфраструктуры относятся именно к фиксированным возможностям.

В качестве аналогии она приводит мысленный эксперимент с ядерным оружием. Допустим, количество урана и уровень обогащения, необходимые для создания тактической бомбы, непрерывно снижались бы. Контроль обогатительных заводов работал бы на первых порах, но со временем следить пришлось бы за каждым, у кого есть участок земли со следовыми количествами урана в почве. Режим контроля становился бы всё более тоталитарным и при этом всё менее эффективным. Ядерные технологии по этому пути не пошли. ИИ идёт именно так: "между моментом, когда для задачи требуется вычислительный кластер мирового уровня, и моментом, когда её можно запустить на топовом игровом чипе в ноутбуке, часто проходит всего пара лет".

Где аргумент сторонников open-source обрывается слишком рано

Критика направлена не только на сторонников нераспространения. По словам Тонер, open-source сообщество, выступающее главным противником нераспространения ИИ, часто считает спор завершённым, как только показана драконовская сущность и бесполезность контроля. Это не так. Если приближается ИИ, способный послужить инструментом катастрофических злоупотреблений, решать проблему всё равно придётся. Это отличает её позицию от материалов с прямым опровержением в базе, таких как arguments-against-open-source-ai, где заявления об опасности рассматриваются в основном как недобросовестные.

Буфер адаптации

Её альтернатива - рассматривать разрыв между frontier-моделями и общедоступными моделями как буфер адаптации. Это окно открывается, когда становится понятно, какая опасная возможность появится следующей, и закрывается, когда эта возможность получает широкое распространение. Задача в этот промежуток - сделать общество устойчивым к ней. Это может означать использование ещё не выпущенных frontier-моделей для обороны, но большая часть её предложений вообще не связана с ИИ.

Для кибербезопасности она предлагает масштабную программу подготовки операторов критической инфраструктуры к атакам с применением ИИ, стимулы для создания защитных инструментов на базе лучших моделей (чтобы новые возможности появлялись в защитном ПО до того, как их получат атакующие), а также общенациональные планы реагирования и восстановления после крупной ИИ-атаки. Для биобезопасности она предлагает фильтрацию доступа к ключевым услугам и материалам (например, правила проверки синтеза ДНК из указа Байдена об ИИ), независимые от конкретных патогенов медицинские контрмеры вроде универсальной вакцины от гриппа и противовирусных препаратов широкого спектра, возможность быстро масштабировать производство вакцин, запасы СИЗ и более качественный эпидемиологический надзор. Она подчёркивает, что не является экспертом в этих областях, и приводит эти примеры лишь для иллюстрации типа мер, а не как готовую политическую программу.

Расширить буфер можно двумя путями, и она поддерживает оба. Первый - ограниченное, точечное нераспространение, оттягивающее появление широкого доступа. Она одобряет статус-кво, при котором frontier-модели остаются закрытыми, а открытые аналоги появляются месяцами или годами позже, называя это "превентивным трением". Второй путь - более точное прогнозирование конкретных опасных возможностей. Она положительно оценивает uplift-тесты, которые лаборатории начали проводить для оценки помощи в создании биооружия, и отмечает, что для задач помощи новичкам в синтезе известных патогенов отсчёт буфера уже пошёл.

Границы применимости и оговорки

Аргумент не распространяется на frontier-цели. В этой части некоторые предложения Хендрикса кажутся ей разумными. Экспортный контроль чипов не помешает поставить восемь GPU в подвале, но может ограничить создание кластеров на сотни тысяч чипов. Аппаратные функции на уровне прошивок плохо подходят для борьбы с терроризмом, но могут пригодиться для верификации соглашений между США и Китаем. Аргумент также не затрагивает риск потери контроля над самими моделями. У человечества есть богатый опыт адаптации к опасным инструментам в руках злоумышленников, но нет никакого опыта обращения с машинами, превосходящими человека интеллектом.

Она не гарантирует, что эта стратегия сработает. В условиях, когда сразу несколько угроз злоупотребления накладываются на экономические и геополитические потрясения, она оценивает шансы не слишком высоко. Буфер может оказаться слишком коротким, новый метод может внезапно превратить уже выпущенные модели в эффективных хакеров, а изменить подходы операторов инфраструктуры может оказаться невозможным. Выходом всё равно остаётся запуск "нескольких масштабных и амбициозных проектов с ясным осознанием срочности".

Завершается публикация анализом дискуссии. По её наблюдениям, при детальном обсуждении многие сторонники нераспространения на самом деле больше опасаются захвата власти ИИ (takeover) и ждут настолько быстрого прогресса, что нераспространение имело бы значение лишь недолгое время. В действительности им нужны год-два задержки открытых релизов, защита американских моделей от кражи Китаем и время для адаптации стороны защиты - что близко к её собственной позиции. Но они строят аргументацию вокруг злоупотреблений, поскольку хакеры и биотеррористы звучат солиднее, чем восстание машин, и в итоге производят впечатление людей, требующих постоянного тотального контроля, хотя сами этого не хотят. Некоторые участники коалиции безопасности действительно выступали за тоталитарную слежку как долгосрочное решение (она ссылается на статью Бострома "Уязвимый мир"), и тем, кто этого не имеет в виду, не стоит создавать подобное впечатление.

Связь с другими работами

a-safe-path-to-open-weights (июль 2026 года) - это её подход, применённый лабораторией на практике: поэтапный доступ с приоритетом для защитников представляет собой превентивное трение с чётким планом использования окна возможностей. openai-huggingface-incident-autonomous-hacking и national-ai-cybersecurity-policy (июль и август 2026 года) разделяют её вывод о том, что ограничения не способны удержать фиксированную возможность, но идут дальше. Сакс утверждает, что ограничения должны быть мягкими даже во время действия буфера, поскольку открытые frontier-веса уже доступны атакующим и решающее значение имеет распространение средств защиты. Разногласие касается того, насколько ценна сама по себе эта задержка.

В 2026 году размер буфера удалось измерить. Список Ламберта оценивает разрыв между открытыми и закрытыми моделями примерно в 4-6 месяцев, причём ведущие открытые модели разрабатываются китайскими лабораториями; эти измерения описаны в open-closed-model-gap и how-far-behind-are-open-models. Это значительно меньше того лага в "месяцы или годы", который с одобрением описывает Тонер, и определяется лабораториями вне досягаемости политики США. В статье не учитывается, что задержка, которой она дорожит, может задаваться кем-то помимо американских frontier-лабораторий, выпускающих модели по собственному графику.