Готовность к агентам

Agent readiness - это набор решений на стороне сайта, которые делают веб-ресурс пригодным для использования ИИ-агентами и краулерами, а не просто индексируемым. Такой категории практически не было в чек-листах веб-платформ, пока specification-website в 2026 году не поставил её рядом с SEO и доступностью.

Такая формулировка заимствует словарь из SEO и a11y (Required / Recommended / Optional / Avoid) и применяет его к стеку формирующихся соглашений: обнаружению агентов (discovery), машиночитаемому контенту, явно объявленным правилам обхода и криптографически проверяемой подлинности ботов.

Составляющие

Базовый уровень. Стабильные URL, JSON-LD с типами schema.org, альтернативные форматы данных (JSON / RSS / markdown) наряду с HTML и заголовок HTTP Link, указывающий на файлы обнаружения, чтобы агент мог найти их, даже не парся HTML.

Обнаружение (Discovery). llms.txt даёт отобранный markdown-индекс; /llms-full.txt объединяет всё содержимое в markdown. Исходный markdown отдаётся по предсказуемым URL (обычно с суффиксом .md у канонического URL), поэтому агенты забирают чистый текст напрямую, а не вычищают HTML.

Явно объявленные правила. Разрешения и запреты (allow/disallow) в robots.txt для конкретных агентов по именам их User-Agent (GPTBot, ClaudeBot и т. д.). Набирающее популярность расширение Content-Signal для robots.txt позволяет сайту отдельно указывать для каждого пути, разрешено ли ИИ-краулерам искать (search), загружать контент (ingest) или обучаться на нём (train) - предложение от IETF AI Preferences и IAB Tech Lab.

Подлинность (Identity). Web Bot Auth позволяет боту подтвердить свою подлинность, подписывая каждый HTTP-запрос собственным ключом (RFC 9421 HTTP Message Signatures). В итоге сайты могут разрешать или блокировать конкретных ботов без белых списков IP-адресов, строк User-Agent и гаданий.

Интерфейсы инструментов. MCP для обнаружения доступных инструментов, карточки агентов A2A по адресу /.well-known/agent-card.json для делегирования задач между агентами, NLWeb, анонсирующий диалоговый эндпоинт /ask через rel="nlweb", и WebMCP (navigator.modelContext) для инструментов агентов в браузере без серверной инфраструктуры.

Уровень DNS. DNS-AID публикует записи SVCB/HTTPS по адресу _agents.example.com, позволяя агентам находить сервисы ещё до отправки HTTP-запросов; в сочетании с DNSSEC это обеспечивает аутентичность ответов.

Почему это целостная категория

Во всех этих решениях прослеживается общая схема: положить файл по фиксированному пути (well-known) или создать DNS-запись, объявить о нём через заголовок Link или DNS и дать агенту возможность найти его без парсинга HTML. Тот же паттерн, благодаря которому в вебе появились robots.txt, sitemap.xml и apple-app-site-association, теперь адаптируется для работы с агентами.

Более новые части категории (Content-Signal, Web Bot Auth, A2A, NLWeb, WebMCP, DNS-AID) показывают вектор развития: декларации на стороне сайта о том, какой именно доступ разрешён ИИ, плюс криптографически подтверждённая подлинность ботов, чтобы решение о доступе не зависело от подделываемой строки User-Agent.

Связанные страницы

• llms-txt - наиболее распространённый сегодня компонент готовности к агентам
• supply-chain-security - смежная тема: показывает, кто кому доверял, но не помогает агенту узнать, что именно предоставляет сайт
• stable-urls-as-public-api - логичный кандидат на отдельную страницу, если/когда появится больше материалов про культуру работы с URL

Потенциальные страницы

Эти концепции упоминаются в базе знаний, но пока не имеют отдельных страниц - кандидаты на выделение при повторном появлении в источниках:

• Web Bot Auth (RFC 9421)
• Директивы Content-Signal в robots.txt
• Карточки агентов A2A
• NLWeb и WebMCP
• DNS-AID и Schemamap