Паника вокруг дистилляции

Майский пост Нейтана Ламберта 2026 года в interconnects - это продолжение темы регулирования, начатой в how-much-does-distillation-matter-for-chinese-llms. В той публикации оценивалась техническая отдача от дистилляции американских моделей китайскими лабораториями. Этот пост посвящён терминологии и законам, которые могут за ней последовать. Он согласен, что некоторые китайские лаборатории делают jailbreak или взламывают API, чтобы извлечь больше полезного сигнала, и что пресечение таких действий важно для сохранения лидерства США. Однако он выступает против термина "distillation attacks" - ярлыка, который, по его мнению, рискует приклеиться к любому применению этой технологии.

Проблема терминологии

Он сравнивает это с различием между open source и open weights. Разница была принципиальной, но большинство людей вне индустрии её так и не усвоили, и понятия слились в единое "open models". Люди, влияющие на политику в сфере ИИ без понимания технологий, затем оперируют именно такими размытыми терминами. Если "дистилляция" начнёт восприниматься как нечто среднее между корпоративной махинацией и преступлением, под подозрением окажется метод, на который опираются учёные и небольшие компании для распространения возможностей ИИ.

В качестве примера он приводит февральский пост Anthropic. В нём дистилляция называется "широко используемым и законным методом обучения", а затем описываются отдельные игроки, применяющие её недобросовестно. Ламберт называет этот абзац лукавым: он нормализует технологию, но умалчивает, что в незаконных случаях использовались jailbreak, взлом или спуфинг личности. По его мнению, проблемой являются именно эти действия, а не сам метод обучения. То, что делали лаборатории, следует называть jailbreak'ом или злоупотреблением.

Насколько дистилляция привычна

Он цитирует свою готовящуюся книгу (см. rlhf-book-synthetic-data-distillation). Там под дистилляцией в разговорном смысле понимается обучение на ответах более сильной модели, а на этапе post-training она принимает две формы: конвейер данных для всего пайплайна (генерация инструкций, данные предпочтений, верификация для RL) или способ передать слабой модели конкретный навык, например математику или написание кода.

Многие пайплайны отделены от модели-учителя несколькими шагами. Команда может использовать API GPT для создания начальных данных для небольшой специализированной модели вроде olmOCR, переводящей PDF в текст, с её помощью сгенерировать большой корпус, а затем обучить на этом корпусе новую модель с нуля. Ламберт задаётся вопросом, является ли итоговая модель "дистиллированной из GPT", и однозначного ответа здесь нет.

Практически все так или иначе этим занимаются. Последние модели Nemotron от Nvidia, одни из немногих с открытыми данными post-training'а, во многом дистиллированы из китайских open-weight моделей. Модели Olmo от Ai2 дистиллированы из смеси открытых и закрытых моделей. Большинство стартапов и исследовательских групп почти наверняка в той или иной степени использовали дистилляцию из Claude, GPT или Gemini. На судебном процессе "Маск против OpenAI" юрист OpenAI спросил, дистиллировала ли xAI технологии OpenAI, на что Маск ответил: "Обычно ИИ-компании дистиллируют другие ИИ-компании", а затем: "Частично". Ламберт называет xAI, вероятно, крупнейшей и самой успешной компанией, готовой работать в этой серой зоне.

Условия использования закрытых API запрещают создавать конкурирующие продукты, но эти правила почти никогда не применялись на практике. До китайских инцидентов единственным заметным ограничением была блокировка доступа ByteDance к OpenAI в декабре 2023 года.

Риски для регуляторной политики

Обсуждение быстро перешло на государственный уровень. Законопроект (H.R. 8283) прошёл комитет, президентский указ от апреля 2026 года призвал к решительным мерам, а комитет Палаты представителей начал опрашивать американские компании (в списке для чтения упомянуты Airbnb и Anysphere, материнская компания Cursor) об использовании китайских моделей, которые сами созданы с помощью дистилляции. Ламберт опасается суммарного эффекта: появления механизма, который на практике запретит китайские open-weight модели в США на том основании, что их разработчики злоупотребляли американскими API. Ни один законопроект не запретит открытые модели напрямую, считает он. Но он может создать серые правовые зоны или регуляторные требования, непосильные для небольших участников open-source сообщества. Статья six-months-to-live-for-open-models развивает эти опасения подробнее.

Издержки лягут на западных учёных и небольшие компании, создающие решения для нишевых задач. Прямой замены китайским открытым моделям сейчас нет, а новой модели требуется от шести месяцев, чтобы получить широкое распространение. За это время исследователи уйдут на закрытые платформы или в другие области. При этом запрет вряд ли остановит и сами китайские лаборатории. Он указывает на китайские мультимедийные модели, авторы которых вольно обращаются с защищёнными авторским правом материалами, чего ни одна компания в США себе позволить не может.

Он призывает избежать двух вещей: закрепления за словом "дистилляция" устойчивого негативного оттенка и внутреннего запрета на open-weight модели от организаций, применявших дистилляцию. Он также хочет, чтобы американские лаборатории могли предоставлять API без риска утечки своей интеллектуальной собственности, и просит их объяснить, почему эту защиту сложно обеспечить технически, отмечая, что этот вопрос лежит вне сферы его компетенции.

Контраргумент Кевина Сюя

Пост заканчивается аргументом Кевина Сюя. Если китайские лаборатории зависят от дистилляции, чтобы оставаться близко к передовому краю, они могут так и не научиться тому, что требуется для безусловного лидерства. Если отрезать их от этой возможности, США получат краткосрочное преимущество, но в долгосрочной перспективе это может подтолкнуть Китай к выходу на более сильную траекторию развития. Ламберт сравнивает это с дискуссией об экспортном контроле передовых полупроводников. Он отмечает, что понимает этот компромисс, но всё равно выступает против давления на дистилляцию в целом.

Что показали следующие месяцы

К его утверждениям имеют прямое отношение два более поздних документа. В исследовании stealing-reasoning-traces-from-proprietary-llm-apis было показано, что зашифрованные блоки рассуждений от Anthropic, OpenAI и Google могут быть расшифрованы более слабой моделью того же провайдера - именно к такому типу злоупотреблений API Ламберт и относит подобные случаи, отделяя их от дистилляции. Сентябрьский отчёт Anthropic (anthropic-threat-report-september-2026) сохранил этот термин, но сузил его до "illicit distillation": скрытой кампании промышленного масштаба с использованием поддельных аккаунтов, украденных карт и ключей. Это определение отчасти приближается к предложенному им разграничению. Тем не менее в кейсах из отчёта метод обучения по-прежнему описывается в неразрывной связи с мошенничеством. Более подробно эта тема раскрыта на странице llm-distillation.