AI-краулер
Автоматический бот, который загружает веб-страницы для ИИ-продукта – чтобы обучить модель, проиндексировать страницы или прочитать страницу вживую для пользователя.
AI-краулер – это бот, который запрашивает ваши страницы для ИИ-продукта. У них три основные задачи: обучающие краулеры (вроде GPTBot или ClaudeBot), которые собирают контент для обучения моделей; поисковые/индексирующие (вроде OAI-SearchBot или PerplexityBot), которые индексируют страницы, чтобы их можно было цитировать в ответах; и загрузчики по требованию (вроде ChatGPT-User), которые берут страницу вживую, когда её требует запрос пользователя.
Каждый краулер можно разрешить или заблокировать отдельно в robots.txt. Если вы хотите, чтобы нейросети вас рекомендовали, они сначала должны суметь вас прочитать – движок не процитирует страницу, которую ему не дали загрузить.