Cara menggunakan Penguji Robots.txt
- Masukkan URL situsmu. Untuk menguji halaman tertentu, masukkan URL lengkapnya atau ketik path-nya (misalnya
/checkout?step=2) di kotak path. - Pilih user-agent seperti Googlebot, Bingbot, atau GPTBot, atau ketik user-agent lain.
- Klik Test untuk melihat apakah path diizinkan atau diblokir, aturan mana yang cocok, dan bagaimana crawler lain memperlakukannya.
- Edit robots.txt di editor lalu klik Test edited version untuk mencoba perubahan dengan aman, kemudian salin atau unduh hasilnya.
Apa itu robots.txt tester?
robots.txt adalah file teks biasa di root host (https://example.com/robots.txt) yang memberi tahu crawler path mana saja yang boleh mereka minta. Tester mengambil file tersebut, menguraikannya seperti cara mesin pencari, lalu menjawab satu pertanyaan dengan tepat: apakah crawler ini boleh mengambil URL ini? Sejak Google menghentikan robots.txt Tester di Search Console pada 2023, tester mandiri menjadi cara tercepat untuk mengecek aturan sebelum dan sesudah deploy.
Bagaimana aturan dicocokkan
Pencocokan mengikuti perilaku yang didokumentasikan Google dan standar robots exclusion (RFC 9309):
- Pilih grup. Crawler hanya mengikuti grup yang
User-agent-nya paling spesifik cocok dengannya. JikaGooglebotpunya grup sendiri, aturanUser-agent: *akan diabaikan sepenuhnya untuknya. - Cari aturan yang cocok. Setiap path
AllowdanDisallowdicocokkan dari awal path URL, termasuk query string.*cocok dengan karakter apa pun dan$menandai akhir URL. - Yang paling panjang menang. Aturan dengan path terpanjang yang menentukan. Jika Allow dan Disallow sama panjang, Allow menang. Jika tidak ada aturan yang cocok, berarti diizinkan.
| Aturan | Memblokir | Tidak memblokir |
|---|---|---|
Disallow: /admin | /admin, /admin/users, /administrator | /Admin (path itu case-sensitive) |
Disallow: /*.pdf$ | /files/report.pdf | /report.pdf?v=2 |
Disallow: /*? | Setiap URL dengan query string | /shop/shoes |
Disallow: (kosong) | Tidak ada | Semuanya diizinkan |
Kesalahan umum pada robots.txt
- Sisa
Disallow: /dari situs staging, yang memblokir seluruh situs setelah diluncurkan. - Memblokir CSS dan JavaScript, yang membuat Google tidak bisa me-render halamanmu dengan benar.
- Memakai robots.txt untuk menghapus halaman dari Google. Disallow hanya menghentikan crawling, bukan indexing. URL yang diblokir tetap bisa muncul di hasil pencarian jika ada situs lain yang menautkannya. Gunakan meta tag atau header
noindexdan biarkan halaman tetap bisa di-crawl. - Lupa bahwa setiap host butuh file sendiri:
shop.example.comtidak memakai robots.txt milikwww.example.com.
Butuh file baru? Buat dengan Robots.txt Generator, dan lihat bagaimana bot AI diperlakukan dengan AI Crawler Checker.
Juga dicari sebagai: cek robots.txt, validator robots.txt, url diblokir, disallow tester, googlebot diblokir, tes robots txt, uji crawl, user-agent.
Tool yang cocok dipakai bersama Penguji Robots.txt
- Validator Sitemap — Temukan dan validasi sitemap XML kamu: jumlah URL, child sitemap dari sitemap index, cakupan lastmod, duplikat, dan URL dari host lain.
- Website Crawler — Mulai dari halaman utama dan crawl hingga 100 halaman internal untuk menemukan masalah SEO di seluruh situs — halaman rusak, title duplikat, deskripsi yang hilang, masalah H1, tag noindex, dan halaman lambat — dalam satu laporan langsung.
- Cek SEO & Audit Situs — Tempel URL untuk menjalankan hingga 70 cek SEO on-page plus audit situs lengkap: kecepatan Lighthouse, header keamanan & SSL, data terstruktur, link rusak, robots.txt & crawler AI, dasar aksesibilitas, tracking & persetujuan, SPF/DKIM/DMARC, serta masa berlaku domain.
- Penjelas robots.txt — Aturan robots.txt memang pendek, tapi mudah salah dibaca.
Pertanyaan yang sering diajukan
Apakah Disallow menghapus halaman dari Google?
Tidak. Disallow hanya menghentikan crawling. URL yang diblokir tetap bisa di-index (biasanya tanpa snippet) jika ditautkan dari tempat lain. Untuk menghapus halaman, izinkan crawling dan tambahkan
noindex.Mana yang menang: Allow atau Disallow?
Path yang paling spesifik (paling panjang) yang cocok akan menang. Jika aturan Allow dan Disallow panjangnya sama, Google menerapkan aturan Allow karena lebih longgar.
Apakah robots.txt case-sensitive?
Path-nya iya:
Disallow: /Admin tidak memblokir /admin. Nama direktif seperti disallow dan nama user-agent tidak case-sensitive.Di mana robots.txt harus diletakkan?
Di root setiap host dan protokol, misalnya
https://www.example.com/robots.txt. File di subfolder diabaikan, dan setiap subdomain membutuhkan file sendiri.Apakah Google mendukung Crawl-delay?
Tidak. Googlebot mengabaikan
Crawl-delay, sedangkan Bing dan beberapa crawler lain mematuhinya. Jika Googlebot merayapi terlalu cepat, server kamu bisa sementara mengembalikan respons 503 atau 429.