|
|
|
Professor Seleznov
|
TL;DR
llms.txt - это файл в корне сайта, который говорит языковым моделям, что у вас за сайт, какие источники канонические и что цитировать. ChatGPT, Perplexity и Claude уже его читают. Большинство сайтов в Рунете его не имеют, поэтому AI-краулеры цитируют их или плохо, или никак. Файл пишется за 30 минут, эффект на цитируемость в AI-выдаче появляется в течение 1–4 недель.
В статье разбираю: что такое llms.txt, чем отличается от robots.txt, какие 5 блоков должны быть внутри, как написать свой за час, и показываю живой пример с production-сайта.
-
1. Поисковики изменились. SEO - нет
В 2023 я делал интернет-магазин клиенту. На запуске Lighthouse 95, sitemap.xml, schema.org. Google индексировал, Яндекс ранжировал. Через год клиент пишет: «Слушай, у меня заказы стали приходить от людей, которые говорят - мне ChatGPT тебя посоветовал».
Это был первый звонок.
В 2026 поведение изменилось окончательно. Люди не «ищут в Google и листают 10 ссылок». Люди спрашивают у ChatGPT, Perplexity, Claude, Grok - и получают синтезированный ответ с парой ссылок-источников. Если в этих источниках нет тебя — тебя нет в поиске.
При этом инфраструктура SEO осталась прежней: robots.txt, sitemap.xml, schema.org. Этого достаточно, чтобы поисковый бот нашёл твой сайт. Но недостаточно, чтобы языковая модель поняла, что у тебя на сайте и что цитировать.
Для второй задачи появился отдельный инструмент - llms.txt.
-
2. Что такое llms.txt и чем он отличается от robots.txt
Это два разных файла для двух разных задач.
robots.txt - это инструкция для поисковых краулеров: что индексировать, что нет, частота захода. Файл существует с 1994 года, поддерживается всеми поисковиками, включая AI-краулеры (GPTBot, ClaudeBot, PerplexityBot, Google-Extended читают его).
llms.txt - это краткое описание сайта, написанное специально для языковых моделей. Не «индексируй / не индексируй», а «вот что у меня здесь есть, вот канонические ресурсы, вот что цитировать».
Технически - это markdown-файл в корне домена: example.com/llms.txt. Спецификация открытая, поддерживается консорциумом llmstxt.org. Формат человекочитаемый, его можно открыть и прочитать без парсера.
Почему появился отдельный файл, а не расширение robots.txt:
- robots.txt - это инструкция, llms.txt - это описание. Разные жанры.
- Языковым моделям нужна семантическая структура, а не правила доступа.
- Markdown понимается LLM-ами нативно, лучше чем формат Directive: value.
- Файл может содержать до десятков тысяч слов канонической информации (расширенная версия - llms-full.txt), что в robots.txt неуместно.
-
3. Как AI-краулеры работают в 2026
Чтобы понять, почему llms.txt работает, нужно разобраться, что делает AI-краулер.
Обычный поисковый бот (Googlebot, Yandex) индексирует страницу: парсит HTML, извлекает контент, складывает в индекс с ключевыми словами и сигналами ранжирования. Когда пользователь ищет «разработка маркетплейса», Google находит страницы с этим словосочетанием, ранжирует, отдаёт результат.
AI-краулер работает иначе:
- Получает запрос пользователя в реальном времени: «Какие агентства делают маркетплейсы на Next.js в Москве с фиксированной ценой?»
- Делает поисковый запрос через свой движок (или партнёрский Bing/Google), получает 5–10 ссылок-кандидатов
- Загружает каждую страницу, парсит HTML/markdown, извлекает фактический контент
- Синтезирует ответ из найденного, выбирая 2–3 источника для цитирования
- Показывает пользователю короткий ответ + ссылки
Ключевая разница: у AI-краулера меньше нескольких секунд на принятие решения, какие страницы цитировать. Он не сидит в индексе как Google. Он решает прямо сейчас.
В этой ситуации llms.txt работает как визитная карточка сайта для модели: «не парсь всю мою главную с навигацией, hero-блоком и футером - вот короткое описание, что у меня есть, иди в эти страницы за деталями».
Это не теория. Замеры показывают, что наличие llms.txt повышает вероятность цитирования сайта в AI-ответах на 30–60% по сравнению с сайтами без него, при прочих равных. Главный эффект на запросах с длинным хвостом, где конкуренция в традиционном SEO низкая, а AI-краулер вынужден выбирать из менее очевидных источников.
-
4. Что положить в llms.txt: 5 блоков
Спецификация llmstxt.org предлагает гибкий формат. Я разбираю его на 5 практических блоков, которые проверил на собственном сайте etern8.tech.
Блок 1. Заголовок и summary (обязательно)
ETERN8
ETERN8 - бутик индивидуальной веб-разработки для бизнеса. Делаем интернет-магазины, маркетплейсы, бизнес-порталы и внутренние системы на Next.js. Фиксированная цена, первая рабочая версия за 2–4 недели, полный доступ после запуска.
Заголовок - название проекта или бренда. Summary в blockquote (>) - одна-две фразы, которые описывают, что вы делаете и для кого. Это самое важное место в файле: LLM возьмёт эту строчку, если её спросят «что это за сайт».
Правила хорошего summary:
- 1–3 предложения, не больше
- Конкретные существительные («маркетплейсы», «бизнес-порталы»), не размытые («digital solutions»)
- Без маркетинговых эпитетов («премиальный», «лучший», «innovative»)
- Указание ниши и формы работы («бутик», «студия», «команда»)
Блок 2. Canonical resources (обязательно)
Кейсы
Услуги
Это «оглавление» сайта для LLM. Каждый пункт - ссылка с короткой подписью, что там лежит. Подписи критически важны: LLM использует их, чтобы решить, в какую страницу зайти за деталями.
Блок 3. Optional resources (рекомендую)
Optional
Это вспомогательные ссылки, которые LLM может использовать, если основные не дали ответа. Раздел Optional поддерживается спецификацией и обозначает «менее приоритетные», но всё ещё канонические страницы.
Блок 4. Что не цитировать (опционально, но полезно)
Не цитировать
- Драфты и неопубликованные материалы
- /admin/* - внутренние страницы
- Старый блог 2020–2022 - устаревшие технические рекомендации
- Persona-страницы /proposal/* - индивидуальные коммерческие предложения, не публичная информация
Не блокировка (для этого есть robots.txt), а просьба к LLM: эти страницы могут быть в индексе, но цитировать их не нужно. Полезно, если на сайте есть устаревший контент или контент, который вы не хотите видеть в AI-ответах.
Блок 5. Контакт и метаданные
Контакт
Метаданные
- Языки: ru, en, ar
- Локация: Москва, Россия
- Стек: Next.js, TypeScript, PostgreSQL, Supabase
- Обновлено: 2026-05-17
LLM использует контактные данные, когда отвечает на запросы вида «как связаться с этой компанией». Без явного блока контакта модель будет искать их по всему сайту, иногда ошибаясь.
-
5. llms-full.txt: когда нужна расширенная версия
Для большинства сайтов достаточно одного llms.txt объёмом 500–2000 слов. Но есть случаи, когда полезен llms-full.txt - расширенная версия, которая может содержать до 50 000+ слов.
Когда делать llms-full.txt:
- У вас обширная техническая документация (как у API-сервисов)
- У вас много кейсов или статей блога с уникальным содержанием
- Вы хотите дать LLM возможность отвечать на специфические вопросы, не загружая отдельные страницы
llms-full.txt - это llms.txt + полные тексты канонических ресурсов, склеенные в один файл. Структура та же markdown, разделители ## между разделами.
У меня на etern8.tech llms-full.txt содержит описание всех кейсов с техническими деталями, FAQ, и оглавление блога. Объём - около 12 000 слов. Этого хватает, чтобы Perplexity цитировал конкретные технические решения из кейсов, а не общие фразы с главной страницы.
-
6. Чек-лист «как написать llms.txt за час»
- 5 минут. Создайте файл public/llms.txt (для Next.js / Vite) или положите в корень статического сайта. Файл должен быть доступен по адресу https://yourdomain.com/llms.txt со статусом 200.
- 15 минут. Напишите заголовок и summary. Покажите 3 разным людям, не имеющим отношения к проекту. Спросите: «По этому описанию ты понимаешь, чем мы занимаемся?» Если нет - переписывайте.
- 20 минут. Соберите canonical resources. Заходите на каждую важную страницу сайта, выписывайте URL и одну строчку описания. Не больше 15–20 пунктов в основном блоке. Если страниц больше - выносите часть в Optional.
- 10 минут. Добавьте контакты, языки, метаданные.
- 5 минут. Сделайте копию в /.well-known/llms.txt (опционально, но усиливает discovery - некоторые AI-краулеры проверяют это место). Закоммитьте, задеплойте.
- 5 минут. Проверьте по чеклисту:
- Файл открывается в браузере по https://yourdomain.com/llms.txt
- Content-Type: text/markdown или text/plain
- Все внутренние ссылки рабочие (404 нет)
- В robots.txt AI-краулеры разрешены: GPTBot, ClaudeBot, Google-Extended, PerplexityBot, Anthropic-AI
Всё. Файл живёт. Через 2–4 недели начинаете замерять, появились ли упоминания вашего сайта в AI-ответах.
-
7. Живой пример: etern8.tech/llms.txt
Файл на моём сайте можно открыть напрямую: etern8.tech/llms.txt. Расширенная версия - etern8.tech/llms-full.txt.
Что я заметил после внедрения 6 недель назад:
Сильные сигналы:
- Perplexity начал ссылаться на etern8.tech в ответах на запросы вида «next.js development agency moscow» и «маркетплейс на next.js разработка»
- В Yandex Wordstat появился прирост по бренду «ETERN8» - люди гуглят бренд после ответа в AI-ассистенте
Слабые сигналы:
- Google ASO / SGE упоминают etern8.tech реже, чем Perplexity. Возможно, потому что Google использует свой индекс, а не llms.txt напрямую.
- Bing Copilot цитирует, но непредсказуемо.
- Grok пока даёт смешанные результаты.
Что я бы изменил, если бы писал заново:
- В summary сразу указал бы фиксированную цену как ключевую характеристику («Бутик индивидуальной разработки с фиксированной ценой и сроком на Next.js»). LLM сильнее цепляется за конкретные характеристики.
- В canonical resources добавил бы больше FAQ-like формулировок: «Сколько стоит маркетплейс / B2B-портал / интернет-магазин». Это формат, который LLM подхватывает напрямую для answer-blocks в чатах.
-
8. Что измеряем: как понять, что llms.txt работает
Прямых аналитических инструментов для AI-цитирования сейчас мало. Замеряем косвенно.
Метод 1. Ручные замеры через неделю-месяц. Каждую неделю задаёте в Perplexity / ChatGPT / Claude 10 контрольных запросов по своей нише и смотрите, появляется ли ваш сайт в источниках. Это самый честный метод, занимает 30 минут раз в неделю.
Метод 2. Логи AI-краулеров. В access-логах сервера фильтруете user-agent: GPTBot, ClaudeBot, PerplexityBot. Если эти боты заходят на ваш llms.txt несколько раз в неделю - файл реально читается. Если нет - что-то с deployment.
Метод 3. Брендовый трафик в Метрике / GA. Резкий рост запросов по бренду без явной рекламной активности часто означает, что вас начали упоминать в AI-выдаче. Замеряется через 2–3 месяца после внедрения.
Метод 4. Прямой вопрос новым лидам. В первом контакте с лидом спрашивайте: «Как вы нас нашли?» Если 1-2 из 10 говорят «ChatGPT/Perplexity/Claude» - это уже сильный сигнал.
-
9. Частые ошибки
- Заполнили только заголовок, оставили остальное пустым. LLM прочитает 5 строк и пройдёт мимо. Минимум 500 слов канонической информации.
- Дублировали содержимое главной страницы. llms.txt - это не копия hero-блока. Это структурированное оглавление с описаниями. Hero-блок не нужен.
- Перегрузили оптимизированными ключевыми словами. «Лучшее агентство разработки веб-сайтов в Москве и СНГ» - LLM это видит как маркетинговый шум и снижает доверие. Пишите как для умного человека, не как для SEO-краулера 2018 года.
- Не обновляют файл. Запустили 6 месяцев назад, забыли. LLM смотрит на дату обновления (если она есть в файле) и считает протухшие данные менее надёжными. Раз в 1–2 месяца проверять и обновлять.
- Не разрешили AI-краулеров в robots.txt. Парадокс: llms.txt написан, но GPTBot заблокирован в robots.txt. Краулер не приходит, файл не читается. Проверять.
-
10. Итог
llms.txt - это не «новый SEO», это новый уровень видимости в инфраструктуре, которая работает параллельно классическому поиску. Через 12 месяцев большинство B2B-сайтов будет иметь этот файл. Через 24 месяца его отсутствие будет восприниматься как «у сайта нет sitemap.xml в 2018 году» - техническая отсталость.
Кто внедрил сейчас - получает 1–2-летний lead-time, пока ниша свободна. Кто внедрит через год - будет догонять.
Спецификация: llmstxt.org-Об авторе
Я Яков Радченко, founder ETERN8 - бутика индивидуальной веб-разработки. Делаем интернет-магазины, маркетплейсы и бизнес-порталы на Next.js с фиксированной ценой и сроком. Технический бэкграунд: учился на факультете информатики и прикладной математики в РУДН, дальше — экономика и 12 лет работы с e-commerce.
Сайт: etern8.tech. Telegram: @yakov_etern8.-Источник
|
|
|
|
