Градиент публикации генеративного ИИ: методы и соображения

Айрин Солейман из Hugging Face опубликовала эту статью на arXiv (2302.04844) в феврале 2023 года. Её главный тезис - вопрос "открытый или закрытый" поставлен неверно. Публикация модели - это набор решений о том, какие именно компоненты раскрывать и для кого, и эти решения выстраиваются вдоль непрерывного градиента. Нейтан Ламберт включил статью в свой список open-source-ai-reading-list как аргумент в пользу оценки открытости по степеням: через лицензию, стоимость запуска, доступность данных и прочие факторы. Hugging Face профинансировала исследование и имеет прямую заинтересованность в открытости, хотя риски в статье оцениваются вполне взвешенно.

Что именно публикуется

В статье публикация делится на три пересекающиеся категории компонентов. Сама модель подразумевает веса вместе с возможностью отправлять запросы, адаптировать или исследовать её. Компоненты для анализа рисков включают данные для обучения и fine-tuning'а, отчёты о сборе и отборе данных, информацию о краудворкерах, выполнявших разметку для RLHF, а также результаты оценки качества. Компоненты для воспроизведения включают техническую статью, код обучения, конфигурацию (например, размер батча) и телеметрию вроде кривой потерь (loss curve).

Категории намеренно пересекаются. Модель невозможно воспроизвести без полного набора обучающих данных, хотя сами эти данные относятся к анализу рисков; кроме того, компоненты для воспроизведения сами по себе можно анализировать на предмет предвзятости. При этом скрыть любой из компонентов могут по разным причинам: интеллектуальная собственность, конфиденциальность, согласие авторов данных, конкуренция или опасение, что код обучения используют во вред.

Что взвешивает разработчик при публикации

Солейман выделяет шесть факторов, которые необходимо взвесить перед выбором точки на градиенте. Концентрация власти - главный довод в пользу открытого доступа. Лишь считанные компании с большими ресурсами (преимущественно западные) способны создавать такие системы; они формируют вектор развития отрасли и нарратив, тогда как люди, на которых ИИ влияет сильнее всего, почти никак в этих компаниях не представлены. Неравномерность качества работы и социальный вред усиливаются, если в создании системы участвует узкий круг людей с ограниченным набором взглядов. Злонамеренное использование и непреднамеренные ошибки растут по мере повышения качества генерации, при этом ограничение доступа не спасает полностью: атаковать систему можно и через простые запросы. Возможность аудита зависит от того, кто и на каких условиях может исследовать систему, а инструментов для аудита огромных статических датасетов, на которых учатся эти модели, почти нет. Ответственность за причинённый вред до сих пор не определена, а более открытые и массово развёрнутые системы охватывают куда больше людей. Наконец, решение о том, что именно фильтровать или ограничивать - это всегда оценочное суждение, зависящее от культуры и местного законодательства.

Главный компромисс следует из первого и третьего пунктов. Смещение в сторону открытости делает возможными внешний аудит и исследования сообщества, но усложняет контроль над рисками.

Градиент

Шесть уровней выведены на основе пяти лет (2018-2022) публичных анонсов генеративных систем, каждая из которых классифицирована по формату её первоначальной публикации. GPT-2, которую сегодня можно просто скачать, классифицируется как поэтапный релиз, поскольку именно так она публиковалась изначально.

Полностью закрытая система известна только внутри компании-разработчика, если о ней вообще объявляют публично. Примеры - Imagen от Google и Gopher от DeepMind, от которых внешние исследователи видят лишь отобранные вручную примеры. Постепенный или поэтапный релиз раскрывается в течение запланированного срока, а паузы между этапами используются для мониторинга злоупотреблений и анализа вреда. В 2019 году OpenAI выпустила GPT-2 в четырёх размерах за девять месяцев. Stability AI попыталась пойти похожим путём со Stable Diffusion, сначала предоставив хостинг-доступ, однако веса утекли уже через двенадцать дней.

Хостинг-доступ позволяет пользователям работать с моделью на серверах разработчика через интерфейс - как в случае с Midjourney через Discord или в ChatGPT, - оставляя сторонним исследователям минимум возможностей. Облачный доступ или доступ через API даёт больше: от режима отправки запросов (как в исходном API GPT-3) до эндпоинтов для fine-tuning'а, позволяя провайдеру отслеживать пользователей и ограничивать частоту запросов (rate limit). Впрочем, утечки возможны даже через API: тестовый стенд EleutherAI позволил вычислить число параметров GPT-3 исключительно через запросы к API OpenAI.

Доступ для скачивания открывает веса, но оставляет закрытыми компоненты вроде обучающих данных. Стоимость оборудования всё ещё ограничивает круг тех, кто способен запустить большую модель, а механизмы безопасности (например, контентные фильтры) становится легко отключить. Полностью открытый релиз означает публикацию всех компонентов хотя бы с базовой документацией. Примеры созданы организациями, изначально выстроенными вокруг принципов открытости: GPT-J, GPT-Neo и the Pile от EleutherAI, а также BLOOM от BigScience, над которой открыто работали более 1000 исследователей в составе 30 с лишним рабочих групп.

Ограничение доступа (gating) проходит сквозь промежуточные уровни. Оно позволяет разработчику отозвать доступ к размещённой на хостинге модели, однако для скачиваемых моделей такой барьер ненадёжен: исследователи легко передают веса и ключи доступа внутри своего сообщества. Тем не менее Солейман считает это вполне реальным барьером.

Тренды до конца 2022 года

Графики показывают, что до поэтапного релиза GPT-2 публикации были преимущественно открытыми, после чего ограничения доступа стали встречаться чаще, а после 2021 года число разрабатываемых систем (и среди них закрытых) резко подскочило. Языковые модели размером менее шести миллиардов параметров обычно оставались открытыми, тогда как более крупные модели крупных компаний, как правило, закрывались. OpenAI чаще других выбирала стратегию "ограничивать, но не закрывать полностью"; Google и DeepMind чаще всех делали системы полностью закрытыми. Единственным исключением среди крупных корпораций стала OPT-175B от Meta - доступная для скачивания модель, обученная на датасетах сторонних организаций. Солейман отмечает, что на тот момент было неясно, заставят ли открытые инициативы изменить подход закрытых разработчиков.

Более поздние материалы из списка литературы отвечают на этот вопрос. Meta пошла гораздо дальше с Llama, но к 2026 году снова вернулась к закрытым моделям (open-source-ai-is-the-path-forward, from-open-source-software-to-open-source-strategy), а примерно с 2024 года передовые открытые модели выпускают китайские лаборатории вроде deepseek - сдвиг, который статистика 2018-2022 годов ещё не могла предсказать.

Меры контроля и инвестиции

Вторая половина статьи содержит каталог мер безопасности. В работе подчёркивается, что ни одна из них не работает сама по себе, и эффективнее всего они действуют, когда закладываются прямо в релиз, а не навешиваются постфактум. Форматы документации (datasheets для датасетов, data statements, карточки моделей model cards, системные карточки system cards) распространились по индустрии без какого-либо принуждения. Технические инструменты включают ограничение частоты запросов, контентные фильтры, модели детектирования, жёстко прописанные ответы, водяные знаки, шифрование весов, а также fine-tuning или RLHF для изменения поведения модели.

У каждого решения есть свои оговорки. Фильтр безопасности Stable Diffusion блокировал материалы сексуального характера, но пропускал насилие и жестокость - чисто нормативный выбор. Фильтры на чувствительные темы могут полностью стирать целые группы идентичностей, что уже наглядно показала модерация контента в соцсетях. Детектирование усложняется по мере роста качества генерации, а на 2023 год ни одна схема добавления водяных знаков не была развёрнута в масштабах индустрии. Список дополняют меры на уровне сообщества: программы вознаграждения за поиск уязвимостей и предвзятости (bounties), а также правила платформ. Лицензии вроде Responsible AI License (RAIL), использовавшиеся в BLOOM и Stable Diffusion, юридически осуществимы, но их соблюдение крайне сложно контролировать на скачиваемых системах.

Статья завершается призывом не к правилам, а к инвестициям. Автор призывает создавать доступные интерфейсы и no-code инструменты, чтобы тестировать системы могли люди без профильного технического образования; демо-версию Galactica от Meta закрыли за три дня именно после того, как широкая публика нашла в ней проблемы. Кроме того, предлагается выделять публичные вычислительные ресурсы, чтобы сократить разрыв между лабораториями и академической средой, обучать инженеров этике, а социологов - техническим дисциплинам, привлекать профильных экспертов ещё на этапе низкого риска, сформировать независимую организацию для координации дискуссий и ввести регуляторные требования к документации и аудиту для наиболее влиятельных релизов.

Взгляд из 2026 года

Предложенная классификация сохранилась лучше, чем её примеры. Шесть уровней по-прежнему точно описывают варианты публикации, а разделение на веса, компоненты для анализа рисков и компоненты для воспроизведения точно ложится на сегодняшнее различие между моделями с открытыми весами (open-weight) и полностью открытыми моделями вроде olmo. Материал consent-in-crisis-ai-data-commons описывает одну из причин, почему полная открытость после 2023 года стала сложнее: обучающие данные перестали быть общедоступными.

Чего в статье не предвидели, так это насколько сильно решения о публикации будут определяться коммерческой стратегией, а не оценкой рисков. Именно этому посвящены бизнес-материалы из того же списка, от письма Цукерберга до статьи Кристиана Каталини some-simple-economics-of-open-versus-closed-ai. Пример с подсчётом параметров GPT-3 также указывает на баталии вокруг дистилляции 2026 года (llm-distillation), где доступ через API, как выяснилось, позволяет извлечь куда больше информации, чем просто размер модели.