Human-in-the-Loop

Human-in-the-loop (HITL) - паттерн проектирования, при котором ИИ-система делает паузы в определённых точках и ждёт, пока человек проверит, одобрит или скорректирует её действия перед продолжением. Основная идея: далеко не всё должно выполняться полностью автономно.

Зачем это нужно

ИИ-агентам, способным выполнять действия - вызывать API, писать в базы данных, отправлять письма, переводить деньги, - нужны защитные барьеры. Модель может сгаллюцинировать параметр, неправильно понять намерение или с полной уверенностью сделать ровно то, чего делать не следовало. HITL служит страховкой: агент думает и предлагает действие, но окончательное решение по чувствительным операциям принимает человек.

Речь не о тотальном недоверии к модели. Большинство действий агента вполне можно выполнять автономно (чтение данных, форматирование ответов, поиск). HITL нацелен на подмножество задач с высокими ставками, где цена ошибки несоразмерно велика - финансовые транзакции, деструктивные операции в базе данных, отправка сообщений от чужого имени.

Как это работает на практике

Общий паттерн во всех фреймворках:

Инструмент или действие помечается как требующее подтверждения (в adk-go это флаг RequireConfirmation)
Когда агент решает вызвать этот инструмент, исполнение приостанавливается
Предложенное действие и его параметры показываются человеку
Человек утверждает, отклоняет или модифицирует параметры
Исполнение возобновляется (или нет) в зависимости от решения человека

Пауза может быть синхронной (пользователь сидит в чат-интерфейсе) или асинхронной (отправляется уведомление, агент ждёт подтверждения часами или днями). agent2agent-protocol явно поддерживает длительные задачи именно по этой причине.

Уровни вовлечения человека

HITL бывает разным. От самого лёгкого к самому глубокому:

Постфактум-ревью: агент выполняет действие, человек проверяет результат после. Самый дешёвый вариант, но если что-то пойдёт не так, ущерб уже нанесён.
Шлюзы подтверждения: агент предлагает, человек одобряет. Именно это большинство фреймворков и подразумевает под HITL.
Активное управление: человек непрерывно направляет процесс, агент исполняет. Это ближе к copilot, чем к автономному агенту.
Активное обучение: агент просит человека разметить неоднозначные случаи, используя ответы для улучшения будущих решений.

Большинство продакшен-фреймворков для агентов (ADK Go, LangGraph, CrewAI) реализуют паттерн со шлюзами подтверждения. Это оптимальный баланс между полной автономией и постоянным ведением за руку.

Когда применять

HITL имеет смысл, когда:

Действие необратимо или его отмена стоит дорого
Агент работает в области, где ошибки влекут реальные последствия
Регуляторные или комплаенс-требования обязывают сохранять ответственность за человеком
Доверие к решениям агента в конкретной задаче ещё только выстраивается

Применять его не имеет смысла, если накладные расходы на проверку человеком превышают цену редких ошибок, либо если требования к задержке исключают ожидание человека.

Классификация AFK vs HITL

В ai-assisted-workflow Барберо применяет HITL на уровне планирования задач. Каждая задача классифицируется либо как AFK (ИИ может справиться самостоятельно и выполнить merge без участия человека), либо как HITL (требует решения человека в процессе реализации). Это смещает паттерн HITL с вызова инструментов во время работы на предварительную декомпозицию задач: ещё до начала реализации понятно, какие части потребуют участия человека.

HITL как механизм консенсуса

В мультиагентных системах роль HITL глубже простой безопасности - он работает как детектор byzantine-fault. Когда несколько LLM-агентов работают параллельно и выдают конфликтующие интерпретации одного промпта, проверяющий человек может разрешить спорную ситуацию и определить, какой именно агент отклонился. Это превращает HITL в оракула distributed-consensus, а не просто в шлюз подтверждения. Полная аргументация приведена в log-distributed-llms.

Проблема бдительности

ironies-of-automation - предупреждение об инженерно-психологических ограничениях этого паттерна: человек, от которого требуют подтверждения редких рискованных действий, решает задачу поддержания бдительности. При этом никто не способен эффективно удерживать внимание на источнике, где почти ничего не происходит, дольше примерно получаса.