Как пользоваться: Краулер сайта
- Введите адрес главной страницы (или любой стартовый URL) и выберите, сколько страниц сканировать: 30 — быстрая проверка состояния, 100 — полное покрытие для большинства небольших сайтов.
- Нажмите Начать сканирование. Страницы появляются в списке по мере загрузки; в любой момент нажмите Стоп, чтобы сохранить результаты на этот момент.
- Нажмите на чип проблемы, например Дубль title или Нет H1, чтобы увидеть только затронутые страницы.
- Экспортируйте полный результат сканирования в CSV, чтобы спланировать исправления или поделиться отчётом с командой.
Что такое краулер сайта?
Краулер сайта (или паук) работает так же, как бот поисковой системы: загружает стартовую страницу, собирает внутренние ссылки, переходит по ним, собирает их ссылки и так далее. По ходу работы он фиксирует код ответа каждой страницы и элементы on-page SEO, поэтому проблемы, которые повторяются на множестве URL, например дублирующиеся title, отсутствующие description или ошибки в шаблонах, становятся видны сразу.
Как работает этот краулер
- Он начинает с введённого URL и переходит по ссылкам
<a href>, которые остаются в пределах того же домена (с «www» или без него). - Одновременно загружаются до четырёх страниц, поэтому сканирование не перегружает ваш сервер.
- Файлы, такие как PDF, изображения, видео и архивы, пропускаются; анализируются только HTML-страницы.
- Краулер читает исходный HTML, который отдаёт ваш сервер. Ссылки, которые появляются только после выполнения JavaScript, не обнаруживаются. Если сканирование останавливается на одной странице, скорее всего, ваша навигация формируется на стороне клиента.
- Он учитывает robots.txt: представляется как
DevPackBot, следует правилам дляDevPackBot(или для*, если отдельной группы нет), показывает заблокированные URL со статусом «Заблокировано в robots.txt» без загрузки и учитываетCrawl-delay(до 5 секунд), загружая по одной странице за раз. Если robots.txt возвращает ошибку сервера, сканирование не начинается, как того требует RFC 9309. Чтобы проверить, как Googlebot и другие боты обрабатывают ваши правила, используйте проверку Robots.txt. - Страницы обнаруживаются только по ссылкам. Страницы, которые есть только в карте сайта, не посещаются. Сравните результаты с валидатором карты сайта.
Проблемы, которые находит краулер
| Проблема | Почему это важно | Типичное исправление |
|---|---|---|
| Битая страница | Тупики для пользователей и потраченный краулинговый бюджет | Восстановите страницу или настройте 301-редирект и обновите ссылки |
| Редирект | Цепочки внутренних редиректов добавляют задержку | Ставьте ссылки сразу на конечный URL |
| Отсутствующий / дублирующийся title | Title — главный сигнал для ранжирования и кликабельности в выдаче | Напишите уникальный title длиной 30–60 символов для каждой страницы |
| Отсутствующий / дублирующийся description | Google может сформировать более слабый сниппет | Напишите уникальное описание длиной примерно 120–160 символов |
| Отсутствующий / несколько H1 | Непонятна главная тема для пользователей и программ чтения с экрана | Используйте один описательный H1 на странице |
| Noindex | Страница исключена из результатов поиска | Удалите тег, если страница должна ранжироваться |
| Тонкий контент | Текст менее 300 слов редко полностью отвечает на запрос | Расширьте, объедините или закройте от индексации малоценные страницы |
| Изображения без alt | Доступность и поиск по картинкам | Добавьте описательный alt-текст (для декоративных изображений используйте alt="") |
| Медленная страница | Загрузка HTML дольше 1,5 с ухудшает все последующие метрики | Кеширование, CDN, более легкие шаблоны |
Подсчёт слов учитывает весь видимый текст в теле страницы, включая навигацию и подвал, поэтому считайте «тонкий контент» поводом для проверки, а не окончательным выводом.
Советы для полезного сканирования
Начните с небольшого лимита, чтобы убедиться, что краулер проходит по вашей навигации, и только потом запускайте более глубокое сканирование. Исправляйте проблемы по шаблонам, а не страница за страницей: одна ошибка в шаблоне title часто объясняет сотни дублей. Для детальной проверки одного URL используйте SEO-чекер, а чтобы проверить все ссылки на одной странице, воспользуйтесь проверкой битых ссылок.
Также ищут как: seo краулер, технический seo аудит, дубли title, аналог screaming frog, seo паук.
Инструменты, которые хорошо сочетаются с Краулер сайта
- Генератор sitemap.xml — Просканируйте сайт и получите чистый sitemap.xml только со страницами, которые стоит индексировать: статус 200, без noindex, с каноническим адресом на себя.
- Проверка мета-тегов — Узнайте, как Google, скорее всего, отобразит вашу страницу: длина title и description в пикселях, превью для ПК и мобильных устройств и все мета-теги в <head>.
- Проверка заголовков — Визуализируйте структуру заголовков любой страницы.
- Расшифровка robots.txt — Правила в robots.txt короткие, но их легко понять неправильно.
Часто задаваемые вопросы
Краулер выполняет JavaScript?
Нет. Он анализирует HTML, который отправляет ваш сервер, а именно его поисковые системы видят в первую очередь. Страницы и ссылки, которые существуют только после рендеринга на стороне клиента, не будут найдены.
Сколько страниц можно просканировать?
До 100 страниц за одно сканирование. Для быстрой проверки выберите меньший лимит. Сканирование можно остановить в любой момент и всё равно экспортировать собранные данные.
Краулер учитывает robots.txt?
Да. Он сканирует сайт как DevPackBot, следует правилам robots.txt для DevPackBot (или для группы «*»), пропускает запрещённые URL и учитывает Crawl-delay. Если вы хотите заблокировать его, добавьте «User-agent: DevPackBot» и «Disallow: /».
Почему найдено меньше страниц, чем есть на сайте?
Краулер находит только страницы, на которые ссылаются другие просканированные страницы. Не переходит он по «висящим» страницам (есть только в карте сайта), ссылкам, добавленным через JavaScript, и ссылкам на другие поддомены. Сравните результаты с картой сайта через валидатор карты сайта.
Замедлит ли сканирование мой сайт?
Одновременно загружается не более четырёх страниц (по одной, если в robots.txt задан Crawl-delay). Это сопоставимо с быстрым просмотром сайта одним посетителем. Каждое сканирование ограничено 100 страницами.
Это замена настольным краулерам вроде Screaming Frog?
Инструмент охватывает самые распространённые проверки on-page и статусов без установки программ, что удобно для быстрого аудита. Для очень больших сайтов, рендеринга JavaScript или сложного извлечения данных лучше подойдёт специализированный настольный краулер.