Как пользоваться: Тестер Robots.txt
- Введите URL вашего сайта. Чтобы проверить конкретную страницу, укажите её полный URL или введите путь (например,
/checkout?step=2) в поле пути. - Выберите user-agent, например Googlebot, Bingbot или GPTBot, либо введите любой другой.
- Нажмите Проверить, чтобы увидеть, разрешён ли путь или заблокирован, какое правило сработало и как с ним работают другие краулеры.
- Отредактируйте robots.txt в редакторе и нажмите Проверить изменённую версию, чтобы безопасно протестировать правки, затем скопируйте или скачайте результат.
Что такое тестер robots.txt?
robots.txt — это текстовый файл в корне хоста (https://example.com/robots.txt), который сообщает краулерам, какие пути они могут запрашивать. Тестер загружает этот файл, разбирает его так же, как это делают поисковые системы, и точно отвечает на один вопрос: может ли этот краулер загрузить этот URL? Поскольку Google в 2023 году убрал инструмент robots.txt Tester из Search Console, отдельный тестер — самый быстрый способ проверить правила до и после публикации.
Как сопоставляются правила
Сопоставление следует задокументированному поведению Google и стандарту исключений для роботов (RFC 9309):
- Выбор группы. Краулер подчиняется только той группе, чей
User-agentподходит к нему наиболее точно. Если дляGooglebotесть собственная группа, правилаUser-agent: *для него полностью игнорируются. - Поиск подходящих правил. Каждый путь
AllowиDisallowсопоставляется с начала пути URL, включая строку запроса.*соответствует любым символам, а$фиксирует конец. - Побеждает самое длинное совпадение. Решает правило с самым длинным путём. Если Allow и Disallow одинаковой длины, побеждает Allow. Если подходящего правила нет, доступ разрешён.
| Правило | Блокирует | Не блокирует |
|---|---|---|
Disallow: /admin | /admin, /admin/users, /administrator | /Admin (пути чувствительны к регистру) |
Disallow: /*.pdf$ | /files/report.pdf | /report.pdf?v=2 |
Disallow: /*? | Любой URL со строкой запроса | /shop/shoes |
Disallow: (пусто) | Ничего | Всё разрешено |
Распространённые ошибки в robots.txt
- Оставленная строка
Disallow: /с тестового сайта, которая блокирует весь сайт после запуска. - Блокировка CSS и JavaScript, из-за которой Google не может корректно отрисовать ваши страницы.
- Использование robots.txt для удаления страниц из Google. Disallow останавливает сканирование, а не индексацию: заблокированный URL может появиться в результатах, если на него ссылаются другие сайты. Используйте мета-тег или заголовок
noindexи оставьте страницу доступной для сканирования. - Забытое требование отдельного файла для каждого хоста:
shop.example.comне использует robots.txt сwww.example.com.
Нужен новый файл? Создайте его с помощью генератора Robots.txt, а чтобы узнать, как боты ИИ обрабатываются, воспользуйтесь проверкой AI-краулеров.
Также ищут как: заблокирован ли url, googlebot заблокирован, disallow проверка, user-agent.
Инструменты, которые хорошо сочетаются с Тестер Robots.txt
- Валидатор sitemap.xml — Найдите и проверьте XML-карту сайта: количество URL, дочерние карты в индексе, покрытие lastmod, дубликаты и URL с чужих доменов.
- Краулер сайта — Начните с главной страницы и просканируйте до 100 внутренних страниц, чтобы выявить SEO-проблемы по всему сайту: битые страницы, дублирующиеся title, отсутствующие description, ошибки H1, теги noindex и медленные страницы — в одном отчёте в реальном времени.
- SEO-чекер и аудит сайта — Вставьте URL, и мы выполним до 70 проверок SEO на странице и полный аудит сайта: скорость по Lighthouse, заголовки безопасности и SSL, структурированные данные, битые ссылки, robots.txt и AI-краулеры, базовую доступность, трекинг и согласие, SPF/DKIM/DMARC и срок действия домена.
- Расшифровка robots.txt — Правила в robots.txt короткие, но их легко понять неправильно.
Часто задаваемые вопросы
Удаляет ли Disallow страницу из Google?
Нет. Disallow только останавливает сканирование. Заблокированный URL всё равно может попасть в индекс (обычно без сниппета), если на него ссылаются с других ресурсов. Чтобы удалить страницу, разрешите сканирование и добавьте
noindex.Что важнее: Allow или Disallow?
Побеждает самое конкретное (самое длинное) совпадающее правило. Если правила Allow и Disallow одинаковой длины, Google применяет менее строгое правило Allow.
Учитывает ли robots.txt регистр?
Пути — да:
Disallow: /Admin не блокирует /admin. Названия директив, например disallow, и названия user-agent регистр не учитывают.Где должен находиться robots.txt?
В корне каждого хоста и протокола, например
https://www.example.com/robots.txt. Файлы в подпапках игнорируются, а каждому поддомену нужен свой файл.Поддерживает ли Google Crawl-delay?
Нет. Googlebot игнорирует
Crawl-delay; Bing и некоторые другие краулеры его учитывают. Если Googlebot сканирует слишком быстро, ваш сервер может временно отдавать ответы 503 или 429.