robots.txt
Файл в корне сайта, который говорит краулерам – в том числе AI-краулерам, – к каким частям сайта им можно обращаться.
robots.txt – это текстовый файл по адресу вашдомен.ru/robots.txt, который говорит краулерам, к чему им разрешён доступ, по каждому user-agent. Именно здесь чаще всего происходит блокировка AI-краулеров – нередко случайно, правилом, запрещающим бота вроде GPTBot или PerplexityBot.
Крупные AI-краулеры заявляют, что соблюдают robots.txt, так что что в файле – то они и делают. Если вы хотите, чтобы нейросети вас цитировали, убедитесь, что он тихо не блокирует краулеры.