Как пользоваться: Проверка AI-краулеров
- Введите домен или URL любой страницы.
- Нажмите Проверить AI-краулеров (или Ctrl+Enter).
- Изучите вердикт: видны ли вы AI-поиску и ассистентам и разрешаете ли обучение моделей.
- Выберите политику в поле фрагмента, например Блокировать обучение, разрешить поиск, скопируйте правила в robots.txt и повторите проверку после публикации.
Что такое проверка AI-краулеров?
Компании, работающие с ИИ, отправляют собственных ботов за содержимым сайтов: чтобы обучать языковые модели, формировать индекс для ответов AI-поиска или загрузить страницу, о которой пользователь спросил ассистента. У каждого бота есть свой токен user-agent, который можно разрешить или заблокировать в robots.txt. Эта проверка читает ваш robots.txt, применяет те же правила сопоставления, что и краулер, и показывает результат для 18 AI user-agent, а также наличие файла llms.txt и директив noai.
Обучающие, поисковые и запускаемые пользователем боты
| Тип | Примеры | Что даёт блокировка |
|---|---|---|
| Обучение | GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider | Просит компанию не использовать ваш контент для обучения будущих моделей |
| AI-поиск | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Может убрать ваши страницы из ответов и ссылок в AI-поиске |
| Загрузка по запросу | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User | Мешает ассистентам открывать вашу страницу, когда пользователь их об этом просит |
Это независимые решения. Многие издатели блокируют обучающих ботов, но оставляют поисковых и пользовательских разрешёнными, чтобы их контент по-прежнему могли цитировать со ссылкой в ответах ИИ.
Блокировка обучения с сохранением видимости
Перечислите обучающих ботов в одной группе с Disallow: /, а поисковых в другой с Allow: /. Помните, что краулер, попавший в именованную группу, полностью игнорирует группу User-agent: *, поэтому скопируйте в именованные группы все правила Disallow, которые вам всё ещё нужны (например, /admin/). Генератор под результатами напишет это за вас; для полного файла используйте Генератор Robots.txt.
Google-Extended — это управляющий токен, а не отдельный краулер: он определяет, может ли контент, полученный Googlebot, использоваться для обучения и привязки ответов Gemini. Google заявляет, что он не влияет на индексацию и ранжирование в Google Поиске, поэтому блокировка не уберёт вас из результатов поиска.
Что такое llms.txt?
llms.txt — предлагаемое соглашение, появившееся в 2024 году: Markdown-файл по адресу /llms.txt, который даёт языковым моделям краткий обзор сайта со ссылками на самые полезные страницы; /llms-full.txt может содержать полный текст. Это не стандарт, и поддержка со стороны провайдеров ИИ пока ограничена, но добавить его несложно. Создать файл можно с помощью Генератора llms.txt.
Ограничения
robots.txt — добровольный протокол. Крупные AI-компании заявляют, что их краулеры его соблюдают, но технически он не может остановить бота, который его игнорирует, и не влияет на уже собранный контент. Для принудительной блокировки нужны правила на стороне сервера или CDN. Используйте Тестер Robots.txt, чтобы проверить правила для любого другого user-agent.
Также ищут как: gptbot, claudebot, ai боты robots.txt, проверка llms.txt, google-extended, perplexitybot, geo оптимизация.
Инструменты, которые хорошо сочетаются с Проверка AI-краулеров
- SEO-чекер и аудит сайта — Вставьте URL, и мы выполним до 70 проверок SEO на странице и полный аудит сайта: скорость по Lighthouse, заголовки безопасности и SSL, структурированные данные, битые ссылки, robots.txt и AI-краулеры, базовую доступность, трекинг и согласие, SPF/DKIM/DMARC и срок действия домена.
- Краулер сайта — Начните с главной страницы и просканируйте до 100 внутренних страниц, чтобы выявить SEO-проблемы по всему сайту: битые страницы, дублирующиеся title, отсутствующие description, ошибки H1, теги noindex и медленные страницы — в одном отчёте в реальном времени.
- Расшифровка robots.txt — Правила в robots.txt короткие, но их легко понять неправильно.
- IndexNow: отправка sitemap — Сообщайте поисковикам о новых и обновлённых страницах мгновенно.
Часто задаваемые вопросы
Блокировка GPTBot удаляет мой сайт из ChatGPT?
Блокировка Google-Extended удаляет меня из AI Overviews?
nosnippet.AI-краулеры соблюдают robots.txt?
Что такое мета-тег noai?
noai и noimageai — нестандартные значения для мета-тега robots или заголовка X-Robots-Tag, которые некоторые арт-платформы ввели, чтобы заявить об отказе от обучения ИИ. Крупные AI-краулеры их официально не поддерживают, поэтому robots.txt — более надёжный сигнал.