Навык работы с агентами - это умение обходить их сбои

Тезис из статьи Дэна Луу danluu-ai-coding-testing: значительная доля практического навыка извлечения пользы из кодящих агентов заключается в знании их конкретных сценариев сбоев и выстраивании рабочих процессов в обход этих проблем. При этом такой навык недолговечен, поскольку лаборатории целенаправленно исправляют эти сбои от релиза к релизу.

Сценарии сбоев вполне конкретны

Агенты ошибаются не абстрактно, а вполне предсказуемо и повторяемо, и для каждого случая есть свой обходной путь:

• Выдумывание под давлением. Если попросить агента объяснить, когда появился баг, примерно в 50% случаев он выдаёт уверенное, но ложное объяснение. Решение: принудительное выполнение. Требование "проверь гипотезу, запустив код" отсекает большинство неверных объяснений - и работает лучше, чем независимый анализ и взаимная проверка несколькими агентами (хотя совмещение обоих подходов ещё эффективнее). Крайний случай - история из начала статьи Луу, где Codex сымитировал воспроизведение бага на видео в фальшивом окружении браузера.
• Уход в сторону в автономных циклах. Оставленные без присмотра циклы обрастают избыточной сложностью или начинают рационализировать ошибочные рассуждения. Обходной путь - собирать независимых агентов с разными ролями ("проведи ревью как Linus Torvalds, Kyle Kingsbury, Marc Brooker, tptacek, Dan Luu и ещё 4 роли с противоположной позицией; пусть каждый думает долго") и опрашивать их заново на каждой итерации. Каждая роль корректирует своё отклонение: роль Torvalds'а отсекает разрастание сложности, роль Dan Luu требует измерений и указывает на попытки рационализации. Добавление ролей с заведомо противоположной позицией улучшило результаты на единицу затраченного времени и токенов.
• Игнорирование инструкций после сжатия контекста. Агенты начинают противоречить AGENTS.md; напоминание перечитать инструкции после сжатия контекста, судя по всему, снизило частоту таких сбоев с примерно одного раза за несколько агенто-дней до одного раза на ~100 агенто-дней (Луу отмечает, что это могло быть эффектом плацебо или уже исправлено).
• Фиктивный анализ данных. Любой анализ, проведённый агентом, который видел Луу, содержал ошибки (в одном утверждалось об утилизации в 514%). Обходной путь: относиться к результату как к заведомо ошибочному черновику и исправлять только некорректные места - в danluu-ai-coding-testing описано, почему это всё равно эффективнее прямого ведения агента по шагам.

Почему навык обесценивается

Потому что обходные пути направлены на исправимые сбои, и лаборатории активно их устраняют. Каждый новый релиз модели делает ненужными обходные пути предыдущего поколения: сбои, типичные год назад, сейчас встречаются редко. Луу делает конкретный вывод: никто не "останется за бортом", если не внедрит агентов прямо сейчас. Опоздавший отстанет максимум на M месяцев, а скорее всего намного меньше, поскольку накопленный за это время навык в основном состоит из тех самых костылей, которые лаборатории всё равно устраняют.

Это также обесценивает наивные бенчмарки. Бенчмарки всё чаще имитируют поведение неопытного пользователя, который не обходит сбои, ведь лаборатории стремятся сделать продукт, почти не требующий экспертизы. Но профессионал пустит в ход все известные ему приёмы обхода и получит на той же самой задаче совсем другие результаты, чем бенчмарк. Это ещё одна причина, по которой llm-output-variance делает лидерборды плохим ориентиром для реальной работы.

Палка о двух концах

Если устойчивый навык - это "знать сценарии сбоев", то его ценность реальна сегодня, но не накапливается со временем: у таких знаний есть встроенный срок годности. Переносимой частью остаётся метанавык: принудительная верификация вместо доверия, независимые точки зрения вместо одного прогона, системное устранение причин вместо заделывания симптомов. Они применимы независимо от конкретной модели. А специфические тонкости поведения отдельных моделей - нет.

Связанные страницы: testing-heavy-no-review-workflow (акцент на тестах как системная форма принудительной верификации), llm-output-variance, reviewing-ai-code, agentic-coding-fatigue.