Cara menggunakan Website Crawler
- Masukkan halaman utama (atau URL awal lain) lalu pilih berapa halaman yang ingin di-crawl — 30 cukup untuk cek kesehatan cepat, 100 mencakup sebagian besar situs kecil.
- Klik Start crawl. Halaman akan muncul secara langsung saat diambil; tekan Stop kapan saja untuk menyimpan hasil yang sudah ada.
- Klik chip masalah seperti Duplicate title atau Missing H1 untuk hanya melihat halaman yang terdampak.
- Ekspor seluruh hasil crawl ke CSV untuk merencanakan perbaikan atau membagikannya ke tim kamu.
Apa itu website crawler?
Website crawler (atau spider) bekerja seperti bot mesin pencari: ia memuat halaman awal, mengumpulkan tautan internal, mengunjungi halaman-halaman tersebut, mengumpulkan tautan dari sana, dan seterusnya. Selama proses itu, ia mencatat kode status setiap halaman serta elemen SEO on-page, sehingga masalah yang berulang di banyak URL — title duplikat, deskripsi yang hilang, template yang rusak — bisa langsung terlihat.
Cara kerja crawler ini
- Crawler mulai dari URL yang kamu masukkan dan mengikuti tautan
<a href>yang tetap berada di domain yang sama (dengan atau tanpawww). - Hingga empat halaman diambil sekaligus, sehingga crawl tidak membebani server kamu.
- File seperti PDF, gambar, video, dan arsip dilewati; hanya halaman HTML yang dianalisis.
- Crawler membaca HTML mentah yang dikembalikan server kamu. Tautan yang hanya muncul setelah JavaScript dijalankan tidak akan ditemukan — jika crawl kamu berhenti di satu halaman, navigasi kamu kemungkinan dirender di sisi klien.
- Crawler menghormati robots.txt: ia memperkenalkan diri sebagai
DevPackBot, mengikuti aturan untukDevPackBot(atau*jika tidak ada grup khusus), mencatat URL yang diblokir sebagai “Blocked by robots.txt” tanpa mengambilnya, dan mematuhiCrawl-delay(hingga 5 detik) dengan mengambil satu halaman dalam satu waktu. Jika robots.txt mengembalikan error server, crawler tidak akan melakukan crawl sama sekali, sesuai RFC 9309. Untuk melihat bagaimana Googlebot atau bot lain diperlakukan, gunakan Robots.txt Tester. - Crawler hanya menemukan halaman melalui tautan. Halaman yang hanya ada di sitemap kamu tidak akan dikunjungi — bandingkan dengan Sitemap Validator.
Masalah yang dilaporkan crawler
| Masalah | Mengapa penting | Perbaikan umum |
|---|---|---|
| Halaman rusak | Jalan buntu bagi pengguna dan crawl budget terbuang | Pulihkan halaman atau buat redirect 301, lalu perbarui tautannya |
| Redirect | Tautan internal yang melompat menambah latensi | Tautan langsung ke URL akhir |
| Title hilang / duplikat | Title adalah sinyal utama peringkat dan klik di hasil pencarian | Tulis title unik 30–60 karakter untuk setiap halaman |
| Deskripsi hilang / duplikat | Google mungkin membuat cuplikan yang lebih buruk | Tulis ringkasan unik sekitar 120–160 karakter |
| H1 hilang / lebih dari satu | Topik utama tidak jelas bagi pengguna dan pembaca layar | Gunakan satu H1 deskriptif per halaman |
| Noindex | Halaman dikecualikan dari hasil pencarian | Hapus tag jika halaman seharusnya bisa peringkat |
| Konten tipis | Di bawah 300 kata jarang menjawab kueri secara tuntas | Perluas, gabungkan, atau beri noindex pada halaman bernilai rendah |
| Gambar tanpa alt | Aksesibilitas dan pencarian gambar | Tambahkan teks alt deskriptif (gunakan alt="" untuk gambar dekoratif) |
| Halaman lambat | Lebih dari 1,5 detik untuk mengunduh HTML memengaruhi setiap metrik berikutnya | Caching, CDN, template yang lebih ringan |
Jumlah kata mencakup seluruh teks yang terlihat di badan halaman, termasuk navigasi dan footer, jadi anggap “konten tipis” sebagai pengingat untuk meninjau, bukan vonis.
Tips untuk crawl yang berguna
Mulai dengan batas kecil untuk memastikan crawler bisa mengikuti navigasi kamu, lalu jalankan crawl yang lebih besar. Perbaiki masalah per template, bukan per halaman — satu pola title yang salah sering menjelaskan ratusan duplikat. Untuk analisis mendalam pada satu URL, gunakan SEO Checker; untuk memverifikasi setiap tautan di satu halaman, gunakan Broken Link Checker.
Juga dicari sebagai: seo crawler, audit situs, spider seo, crawl website, audit technical seo, title duplikat, alternatif screaming frog, site crawler gratis.
Tool yang cocok dipakai bersama Website Crawler
- Generator Sitemap — Crawl situs kamu dan dapatkan sitemap.xml yang bersih, hanya berisi halaman yang layak diindeks: status 200, tanpa noindex, dan canonical ke dirinya sendiri.
- Pengecek Meta Tag — Lihat bagaimana Google kemungkinan menampilkan halamanmu: title dan description diukur dalam piksel, pratinjau desktop dan mobile, serta semua meta tag di <head>.
- Heading Checker — Lihat outline heading dari halaman mana pun.
- Penjelas robots.txt — Aturan robots.txt memang pendek, tapi mudah salah dibaca.
Pertanyaan yang sering diajukan
Apakah crawler ini merender JavaScript?
Tidak. Crawler menganalisis HTML yang dikirim server kamu, yang juga merupakan hal pertama yang dilihat mesin pencari. Halaman dan tautan yang hanya ada setelah rendering di sisi klien tidak akan ditemukan.
Berapa banyak halaman yang bisa saya crawl?
Hingga 100 halaman per crawl. Pilih batas yang lebih kecil untuk pengecekan cepat; kamu bisa menghentikan crawl kapan saja dan tetap mengekspor data yang sudah terkumpul.
Apakah crawler ini mematuhi robots.txt?
Ya. Crawler bergerak sebagai DevPackBot dan mengikuti aturan robots.txt untuk DevPackBot (atau grup *), melewati URL yang dilarang, dan mematuhi Crawl-delay. Jika kamu ingin memblokirnya, tambahkan “User-agent: DevPackBot” dengan “Disallow: /”.
Mengapa crawler menemukan lebih sedikit halaman daripada jumlah halaman di situs saya?
Crawler hanya menemukan halaman yang ditautkan dari halaman lain yang sudah di-crawl. Halaman yatim (hanya ada di sitemap), tautan yang ditambahkan oleh JavaScript, dan tautan ke subdomain lain tidak diikuti. Bandingkan dengan sitemap kamu menggunakan Sitemap Validator.
Apakah crawling akan memperlambat website saya?
Crawler mengambil paling banyak empat halaman sekaligus (satu per satu jika robots.txt kamu mengatur Crawl-delay), yang setara dengan satu pengunjung yang menjelajah dengan cepat. Setiap crawl dibatasi hingga 100 halaman.
Apakah ini pengganti crawler desktop seperti Screaming Frog?
Alat ini mencakup pemeriksaan on-page dan status yang paling umum tanpa perlu instalasi, sangat cocok untuk audit cepat. Untuk situs yang sangat besar, rendering JavaScript, atau ekstraksi kustom, crawler desktop khusus tetap pilihan yang lebih baik.