Не блокирует ли ваш сайт нейросети случайно? (и как это исправить)

Прежде чем что-либо оптимизировать под нейросети, проверьте основы: могут ли нейросети вообще прочитать ваш сайт? Поразительное число бизнесов блокируют ровно те краулеры, что питают ChatGPT, YandexGPT и GigaChat, – обычно случайно, – а потом удивляются, почему их никогда не цитируют.

Как сайты блокируют нейросети, не желая того

Почти всегда это robots.txt. Правило, скопированное из шаблона, сплошная блокировка, добавленная во время всплеска трафика, или дефолт security-плагина могут запретить AI-краулеры по всему сайту. Некоторые делают это намеренно – издатели, защищающие контент, – но если вы хотите, чтобы нейросети вас рекомендовали, блокировать ботов значит стрелять себе в ногу.

Важные краулеры не прячутся. Они представляются ясными именами user-agent:

• YandexBot – Яндекс / YandexGPT / Алиса
• GPTBot, OAI-SearchBot, ChatGPT-User – OpenAI / ChatGPT
• PerplexityBot, Perplexity-User – Perplexity
• Google-Extended – Google Gemini и Vertex AI
• ClaudeBot, CCBot, Amazonbot – Anthropic, Common Crawl, Amazon

Как проверить за 30 секунд

Можно прочитать свой robots.txt по адресу вашдомен.ru/robots.txt и поискать правила Disallow под этими user-agent. Или воспользуйтесь нашей бесплатной проверкой robots.txt – она загружает ваш robots.txt и говорит, бот за ботом, кто разрешён, а кто заблокирован, плюс есть ли у вас llms.txt.

Как исправить

Если хотите, чтобы нейросети вас читали и цитировали, разрешите краулеры явно. Добавьте в robots.txt правила вроде этих:

User-agent: GPTBot · Allow: / · User-agent: PerplexityBot · Allow: / · User-agent: Google-Extended · Allow: /

Затем сделайте ещё шаг: опубликуйте llms.txt. Это короткий файл по адресу вашдомен.ru/llms.txt, который рассказывает движкам, что за сайт и какие страницы важны, – машиночитаемый аналог хорошего краткого представления. Наш бесплатный генератор llms.txt соберёт его за минуту.

Быть читаемым – это не вся игра

Разблокировка краулеров сама по себе не заставит нейросети вас рекомендовать – это по-прежнему зависит от присутствия на источниках, которым доверяют движки. Но это фундамент. Пропустите его – и все остальные усилия GEO подрывает дверь, которую вы оставили запертой.

Проверьте свой сейчас

Прогоните домен через бесплатную проверку robots.txt и узнайте, не блокируете ли вы нейросети, – затем запустите полную проверку видимости и увидьте, рекомендуют ли они вас на деле.