Как пользоваться: Генератор robots.txt
- Нажмите пресет, чтобы начать: «Разрешить всё» для большинства сайтов, «WordPress» или «Shopify-стиль» для соответствующих платформ либо «Блокировать всё (стейджинг)» для тестового сайта.
- Добавьте правила Disallow и Allow для каждой группы user-agent. Пути начинаются с
/;*соответствует любым символам, а$обозначает конец URL. - При необходимости добавьте «+ Блокировать ИИ-боты для обучения», чтобы отказаться от обучения моделей и при этом сохранить обычные поисковые краулеры.
- Укажите URL карт сайта, проверьте предупреждения, затем скачайте
robots.txtи загрузите его в корень домена (например,https://example.com/robots.txt). Проверьте файл с помощью Robots.txt Tester.
Что такое robots.txt?
robots.txt — это текстовый файл в корне хоста (https://www.example.com/robots.txt), который указывает краулерам, какие URL они могут запрашивать. Он основан на Robots Exclusion Protocol, стандартизированном как RFC 9309 в 2022 году. Каждая группа начинается с одной или нескольких строк User-agent, за которыми следуют правила Allow и Disallow; краулер подчиняется только самой конкретной группе, соответствующей его имени, а при отсутствии совпадения — группе User-agent: *.
Как сопоставляются правила
- Правила сопоставляются с путями URL по префиксу:
Disallow: /adminблокирует/admin,/admin/и/administrator. Используйте/admin/, чтобы заблокировать только папку. *соответствует любой последовательности символов, а$обозначает конец:Disallow: /*.pdf$блокирует все PDF-файлы.- Если совпадают и Allow, и Disallow, Google применяет самое длинное (самое конкретное) правило; при равенстве побеждает Allow.
- Пустая директива
Disallow:означает «разрешить всё».Disallow: /блокирует весь сайт.
Блокировка ИИ-краулеров
Компании в сфере ИИ используют отдельные user-agent для обучения моделей, индексации для поиска и запросов, инициированных пользователем. Поэтому можно отказаться от обучения, не пропадая из ответов ИИ-поиска:
| User-agent | Оператор | Назначение |
|---|---|---|
| GPTBot | OpenAI | Обучение данных |
| OAI-SearchBot / ChatGPT-User | OpenAI | Поиск ChatGPT / страницы по запросу пользователя |
| ClaudeBot | Anthropic | Обучение данных |
| Claude-SearchBot / Claude-User | Anthropic | Поиск / страницы по запросу пользователя |
| Google-Extended | Управляющий токен для обучения и привязки ответов (grounding) Gemini — не влияет на поиск Google | |
| Applebot-Extended | Apple | Управляющий токен для обучения ИИ Apple |
| CCBot | Common Crawl | Открытый корпус веба, широко используемый для обучения |
| Meta-ExternalAgent, Bytespider | Meta, ByteDance | Обучение данных |
| PerplexityBot / Perplexity-User | Perplexity | Индекс поиска / страницы по запросу пользователя |
Соблюдение правил добровольное: добросовестные краулеры учитывают robots.txt, но это не инструмент контроля доступа. Для всего, что должно оставаться приватным, используйте аутентификацию или правила файрвола. Проверить, что сейчас разрешено на вашем сайте, можно с помощью AI Crawler Checker.
Ошибки, которых стоит избегать
- Использование robots.txt для удаления страниц из индекса. Заблокированный URL всё равно может попасть в индекс (без сниппета), если на него ссылаются другие сайты. Используйте мета-тег
noindex— и не блокируйте эту страницу, иначе Google не сможет увидеть тег. - Блокировка CSS и JavaScript. Google рендерит страницы; если заблокировать
/assets/или/wp-includes/, страницы могут выглядеть для него сломанными. - Опора на Crawl-delay. Bing и Yandex учитывают эту директиву, а Googlebot её игнорирует.
- Публикация тестового файла на боевом сайте. Забытая строка
Disallow: /— одна из самых частых причин внезапного падения трафика после запуска.
Также ищут как: заблокировать gptbot, блокировка ии-краулеров, директивы disallow, user-agent, crawl-delay, файл robots.txt для webflow, заблокировать claudebot.
Инструменты, которые хорошо сочетаются с Генератор robots.txt
- Генератор sitemap.xml — Просканируйте сайт и получите чистый sitemap.xml только со страницами, которые стоит индексировать: статус 200, без noindex, с каноническим адресом на себя.
- Генератор llms.txt — Составьте файл llms.txt, который даёт ИИ-ассистентам структурированную карту вашего сайта в формате Markdown: название проекта, краткое описание, ключевые страницы и необязательные дополнительные материалы.
- Валидатор sitemap.xml — Найдите и проверьте XML-карту сайта: количество URL, дочерние карты в индексе, покрытие lastmod, дубликаты и URL с чужих доменов.
- Генератор мета-тегов — Заполните одну форму и получите полноценный, валидный <head> — title, description, canonical, robots, Open Graph, карточки X/Twitter, цвет темы и иконки — с живым предпросмотром и выводом, адаптированным под Webflow.
Часто задаваемые вопросы
Куда загружать robots.txt?
В корень каждого хоста, например
https://www.example.com/robots.txt. Для поддоменов нужен отдельный файл. В Webflow вставьте его в Site settings › SEO › robots.txt; в Shopify отредактируйте шаблон темы robots.txt.liquid.Блокировка GPTBot удалит мой сайт из ChatGPT?
Блокировка GPTBot мешает OpenAI использовать ваши страницы для обучения. Поиск ChatGPT использует OAI-SearchBot, а запросы, инициированные пользователем, — ChatGPT-User. Блокируйте их, только если также хотите не попадать в ответы ChatGPT.
Влияет ли Google-Extended на позиции в Google?
Нет. Google-Extended — это управляющий токен только для обучения и привязки ответов Gemini; Googlebot по-прежнему сканирует и ранжирует ваши страницы как обычно.
Может ли robots.txt убрать страницу из Google?
Не гарантированно. Он запрещает сканирование, но не индексацию. Чтобы удалить страницу из результатов, разрешите сканирование и добавьте
<meta name="robots" content="noindex"> или защитите страницу паролем.Как проверить robots.txt?
Вставьте файл в Robots.txt Tester, чтобы проверить, разрешён ли нужный URL для Googlebot, Bingbot или ИИ-краулеров, до публикации.
Можно ли установить Генератор robots.txt как веб-приложение и пользоваться им офлайн?
Да. Генератор robots.txt — это веб-приложение (PWA), которое можно установить из браузера, без скачивания из магазина приложений. В Chrome или Edge (Windows, macOS, Linux, ChromeOS) или на Android нажмите вверху этой страницы «Установить приложение»; на iPhone и iPad используйте «Поделиться → На экран «Домой»», а в Safari 17+ на Mac — «Файл → Добавить в Dock». После этого приложение откроется в отдельном окне со своим значком, и так как оно полностью работает в браузере, оно продолжит работать офлайн. Firefox на компьютере не умеет устанавливать веб-приложения. Как работает установка.