Репутация как тест на slop

Проблема, о которой Jeremy Theocharis пишет в llm-critics-are-right-use-anyway: усиленный булшит звучит гениально. Фраза "I use AI to think better" звучит слово в слово одинаково и от того, кто действительно думает с помощью AI, и от техбро, который этого не делает. Снаружи - по самому тексту - невозможно сказать, вложена ли в него мысль. Внешние признаки подводят в обе стороны: из-за одного тире читатель может забраковать выверенную аргументацию как slop, тогда как гладкий вывод LLM легко принять за реальные усилия, которых не было.

Раз форма текста ни о чём не говорит, остаётся только доверие, а доверие привязано к человеку, а не к абзацу. Практический тест Theocharis'а как раз заставляет поставить это доверие на кон: готовы ли вы встать перед аудиторией и без стыда прочитать этот текст слово в слово? Если честный ответ "ну, я бы объяснил, что имелось в виду", то это slop. Если вы готовы прочесть его дословно и отстаивать написанное - текст хороший, независимо от того, сколько токенов ушло на его генерацию.

checking-for-human-writing приходит практически к тому же тесту со стороны доступности (accessibility). Вопросы Mo Shehu - кто хотел это сказать, кто придумал идеи, кто решил, что останется, и кто отвечает за последствия публикации - подобраны так, чтобы работать одинаково для ручки, секретаря, скринридера или курсора, управляемого языком. Все их он сводит к противопоставлению: собственное суждение против капитуляции.

Это переводит вопрос о slop'е из плоскости свойств текста в плоскость ответственности автора. Именно поэтому на Local-First Conf уважаемый инженер, сказавший "I just asked Fable 5 to implement it", всё равно сорвал аплодисменты: он поручился за результат собственной репутацией, и аудитория это оценила. Те же слова из анонимного аккаунта не стоят ничего.

Механизм, против которого направлен этот тест, - это llm-as-average-democratizer: LLM делают правдоподобный средний результат практически бесплатным. В итоге планка "выглядит нормально" поднимается вплотную к планке "действительно хорошо", и читатели лишаются простого сигнала о затраченных усилиях, по которому раньше фильтровали информацию. В текстах это точный аналог agent-principal-agent-problem (где агенты обесценивают сигнал об усилиях в код-ревью) и code-review-knowledge-transfer. Контрмера в обоих случаях одна: требовать понятный человеку артефакт обозримого размера, за который автор ручается лично (постановка задачи в трёх предложениях, зачитанный вслух абзац), а не полагаться на объём.

Контраргумент с Lobsters, о котором стоит помнить: тест предполагает, что автор вообще способен отличить хороший текст от slop'а в собственном творчестве. Критики возражают, что проза от LLM однородна и однообразна - "буквально тот же самый текст, что получают все остальные", - поэтому чтение вслух без стыда может означать лишь то, что вы привыкли к серости, а не то, что текст действительно хорош.

Более дешёвый конкурент этого теста - human-made-disclosure, строчка в футере о том, что AI не использовался. Она доказывает куда меньше (написать её может кто угодно), зато не требует предварительных отношений с читателем, тогда как тест на репутацию работает, только если ваше имя уже имеет для читателя вес. Обоснование этому дано в no-ai-statements; а в ai-detector-arms-race описано, насколько провалился альтернативный подход с анализом внешних признаков, вплоть до того, что авторы намеренно ухудшают свой стиль, лишь бы обойти автоматические детекторы.

Ссылки

• credibility-as-slop-test - текстовый аналог кризиса доверия из i-dont-want-your-prs и agent-principal-agent-problem
• cult-of-vibe-coding и peril-of-laziness-lost - предварительное условие "оцени результат или не выпускай"
• human-made-disclosure, ai-detector-arms-race - ветка "декларирования авторства человека" для той же проблемы
• anti-llm-discourse - место примирительной позиции на общей карте
• slow-software-high-latency - системно-инженерный вариант того же приёма с искусственным барьером (friction-as-gating): создание сложностей в разработке, вынуждающих рисковать собственной шкурой перед релизом кода с большим радиусом поражения
• a-voice-from-nowhere - приходит к тому же тупику со стороны энциклики, но отвергает этот выход, останавливаясь на изнеможении от поиска структуры, которой может и не быть