llms.txt

Предлагаемая конвенция по размещению markdown-файла по адресу /llms.txt на любом веб-сайте, чтобы давать языковым моделям краткий структурированный обзор содержимого сайта. Спецификация находится на llmstxt.org.

Какую проблему это решает

У LLM ограниченное контекстное окно. Сбросить весь сайт документации в промпт не выйдет - контента слишком много, и большая его часть не относится к текущей задаче. Sitemap существует, но это просто XML-списки URL без семантической информации. Robots.txt сообщает краулерам, чего следует избегать, а не что читать в первую очередь.

/llms.txt заполняет этот пробел: это подготовленный человеком markdown-файл, который говорит LLM: "вот о чём этот сайт, а вот важные страницы в формате markdown".

Формат

Файл представляет собой обычный markdown с определённой структурой:

1. Заголовок H1 - название проекта или сайта (единственная обязательная часть)
2. Цитата (blockquote) - краткая выжимка с необходимым контекстом
3. Основной текст - подробная информация о проекте
4. Разделы H2 - отобранные списки markdown-ссылок с описаниями, указывающие на важные страницы
5. Раздел "Optional" - второстепенная информация, которую можно опустить, если контекстное окно ограничено

Предполагается, что сайты предоставляют .md-версии своих страниц наряду с HTML (например, добавляя .html.md к URL). Это даёт LLM чистый текст без необходимости парсить HTML.

Как это используют агенты

Агент, попадая на незнакомый сайт, первым делом запрашивает /llms.txt, чтобы понять, что доступно и где искать. Вместо того чтобы обходить весь сайт или угадывать шаблоны URL, он получает структурированное оглавление с прямыми ссылками на markdown-версии ключевых страниц.

Это особенно полезно для:

• Сайтов документации (SDK, API, фреймворки)
• Главных страниц проектов с разрозненными техническими деталями
• Любых сайтов, где агенту нужно найти конкретную информацию без ручного просмотра страниц

Внедрение

Существуют интеграции для VitePress, Docusaurus, Drupal и других генераторов статических сайтов. Несколько каталогов отслеживают сайты, у которых есть файлы /llms.txt. Инструменты вроде llms_txt2ctx парсят файл и разворачивают страницы по ссылкам в единый блок контекста.

Бенчмарк agent-reading-test использует /llms.txt в качестве машиночитаемого индекса сайта, проверяя, способны ли агенты ориентироваться в документации по этой конвенции.

Связь с другими стандартами

/llms.txt не заменяет robots.txt (контроль доступа) или sitemap.xml (исчерпывающий список URL). Он существует параллельно с ними для другой цели: не "что существует" или "что разрешено", а "что важно и как это читать". Он рассчитан на использование во время инференса, а не для сбора данных для обучения.

В specification-website-checklist файл /llms.txt рассматривается как часть более широкого стека agent-readiness - /llms-full.txt для полного тела в markdown, исходники в markdown, доступные по .md-адресам наряду с HTML, и HTTP-заголовок Link, объявляющий обо всех трёх, чтобы агенты, которые вообще не парсят HTML, всё равно могли их найти.