Как пользоваться: Расшифровка robots.txt
- Введите адрес сайта и нажмите Загрузить robots.txt, или вставьте содержимое файла напрямую.
- Прочитайте объяснение для каждой группы user-agent: что заблокировано, какие исключения разрешены и что совпадает с подстановочными знаками.
- Просмотрите список проблем: заблокированные CSS/JS, сайт-широкий
Disallow: /, неподдерживаемые строкиnoindexи другое. - Проверьте конкретные URL для краулера, чтобы увидеть, какое правило принимает решение.
Как краулеры читают robots.txt
- Выбор группы — краулер использует группу, у которой
User-agentнаиболее точно совпадает с его именем, и только её. Googlebot игнорирует группу*, если существует группаGooglebot. - Поиск подходящих правил — значения
DisallowиAllowявляются префиксами путей.*совпадает с любыми символами, а$обозначает конец URL. - Побеждает самое длинное правило — решение принимает самое специфичное (самое длинное) подходящее правило. Если правила Allow и Disallow одинаковой длины, побеждает Allow (Google и RFC 9309).
| Правило | Значение |
|---|---|
Disallow: / | Блокирует весь сайт |
Disallow: (пусто) | Ничего не блокирует |
Disallow: /admin/ | Блокирует всё внутри /admin/ |
Disallow: /admin | Также блокирует /admin-login и /administrator |
Disallow: /*.pdf$ | Блокирует URL, оканчивающиеся на .pdf |
Disallow: /*? | Блокирует любой URL с параметрами запроса |
Чего robots.txt не умеет
Он управляет сканированием, а не индексацией. Заблокированный URL может появиться в Google, если на него ссылаются другие страницы. Чтобы убрать страницу из индекса, используйте мета-тег noindex и разрешите сканирование, чтобы Google мог его увидеть. Строки Noindex: в robots.txt Google игнорирует с 2019 года, а Crawl-delay Google тоже не учитывает (Bing и Yandex его поддерживают).
Создайте новый файл с помощью генератора robots.txt, проверьте работающий сайт в тестере robots.txt, проверьте AI-ботов с помощью проверки AI-краулеров и валидируйте указанные карты сайта в валидаторе sitemap.
Также ищут как: robots.txt disallow, robots.txt wildcard.
Инструменты, которые хорошо сочетаются с Расшифровка robots.txt
- Проверка мета-тегов — Узнайте, как Google, скорее всего, отобразит вашу страницу: длина title и description в пикселях, превью для ПК и мобильных устройств и все мета-теги в <head>.
- SEO-чекер и аудит сайта — Вставьте URL, и мы выполним до 70 проверок SEO на странице и полный аудит сайта: скорость по Lighthouse, заголовки безопасности и SSL, структурированные данные, битые ссылки, robots.txt и AI-краулеры, базовую доступность, трекинг и согласие, SPF/DKIM/DMARC и срок действия домена.
- IndexNow: отправка sitemap — Сообщайте поисковикам о новых и обновлённых страницах мгновенно.
- Маппер редиректов — Переносите или переделываете сайт?
Часто задаваемые вопросы
Удаляет ли Disallow страницу из Google?
Нет. Disallow останавливает сканирование, но URL всё равно может попасть в индекс по ссылкам (без описания). Чтобы удалить страницу, разрешите сканирование и добавьте мета-тег noindex или заголовок X-Robots-Tag.
Что означает знак $ в robots.txt?
Он фиксирует конец URL. Правило Disallow: /*.pdf$ блокирует /files/report.pdf, но не /files/report.pdf?download=1.
Если подходят и Allow, и Disallow, какое правило победит?
Самое длинное (самое конкретное) подходящее правило. Если их длина одинакова, для Google и краулеров по RFC 9309 побеждает Allow.
Нужно ли блокировать CSS и JavaScript?
Нет. Google отображает страницы как браузер, и блокировка CSS или JS-файлов может сделать страницы сломанными для Googlebot и навредить позициям, особенно в части удобства для мобильных устройств.
Можно ли установить Расшифровка robots.txt как веб-приложение и пользоваться им офлайн?
Да. Расшифровка robots.txt — это веб-приложение (PWA), которое можно установить из браузера, без скачивания из магазина приложений. В Chrome или Edge (Windows, macOS, Linux, ChromeOS) или на Android нажмите вверху этой страницы «Установить приложение»; на iPhone и iPad используйте «Поделиться → На экран «Домой»», а в Safari 17+ на Mac — «Файл → Добавить в Dock». После этого приложение откроется в отдельном окне со своим значком, и так как оно полностью работает в браузере, оно продолжит работать офлайн. Firefox на компьютере не умеет устанавливать веб-приложения. Как работает установка.