Как исправить ошибки robots.txt и sitemap
Небольшая ошибка в robots.txt может полностью скрыть сайт из поиска. Беспорядочная карта сайта тратит обход на страницы, которые не важны. Обе проблемы быстро исправляются, когда вы знаете правила.
Что делает robots.txt и чего он не делает
Файл находится по адресу https://example.com/robots.txt и указывает поисковым роботам, какие пути пропускать. Он управляет сканированием, а не индексацией. Заблокированная страница всё равно может появиться в поиске, если на неё ссылаются другие сайты.
Чтобы убрать страницу из результатов, используйте тег noindex и оставьте страницу доступной для сканирования, потому что Google должен прочитать страницу, чтобы увидеть этот тег.
Исправьте правила, которые блокируют слишком много
Эта единственная строка блокирует весь сайт, и она часто остаётся с тестовой среды:
User-agent: *
Disallow: /Безопасная отправная точка для большинства сайтов выглядит так:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlНе блокируйте CSS и JavaScript, так как Google нужны они, чтобы видеть страницу так же, как посетители. Проверьте конкретный адрес с помощью robots.txt Tester или создайте корректный файл с помощью robots.txt Generator.
Создайте чистую карту сайта
Карта сайта перечисляет страницы, которые вы хотите, чтобы нашли. Она должна содержать только адреса, которые:
- возвращают статус
200, - являются канонической версией страницы,
- не заблокированы в robots.txt и не помечены как
noindex.
Одна карта сайта может содержать до 50 000 адресов или 50 МБ, а крупные сайты разбивают её на несколько файлов с помощью индексного файла. Создайте карту с помощью Sitemap Generator, если ваша платформа не делает её сама.
Исправьте распространённые ошибки
- «Не удалось прочитать карту сайта»: откройте адрес сами. Он должен возвращать XML, а не HTML-страницу или ошибку.
- «Отправленный URL заблокирован robots.txt»: либо удалите правило, либо удалите этот адрес из карты сайта.
- «Отправленный URL не найден (404)»: карта сайта устарела, пересоздайте её.
- Неверные даты: меняйте
lastmodтолько тогда, когда страница действительно изменилась. Google игнорирует даты, которым не может доверять.
Проверьте файл с помощью Sitemap Validator.
Сообщите поисковым системам
Добавьте строку Sitemap: в robots.txt, затем отправьте адрес в Google Search Console и Bing Webmaster Tools. После этого время от времени проверяйте их отчёты на наличие новых ошибок.
