Cara menggunakan Penjelas robots.txt
- Masukkan alamat situs lalu klik Ambil robots.txt, atau tempel langsung isi file-nya.
- Baca penjelasan untuk tiap grup user-agent — apa yang diblokir, apa yang diizinkan sebagai pengecualian, dan wildcard mana yang cocok.
- Periksa daftar masalah: CSS/JS yang diblokir,
Disallow: /untuk seluruh situs, barisnoindexyang tidak didukung, dan lainnya. - Uji URL tertentu untuk crawler tertentu untuk melihat aturan mana yang menentukan hasilnya.
Cara crawler membaca robots.txt
- Pilih grup — crawler memakai grup yang
User-agent-nya paling spesifik cocok dengan namanya, dan hanya grup itu. Googlebot mengabaikan grup*jika ada grupGooglebot. - Cari aturan yang cocok — nilai
DisallowdanAllowadalah awalan path.*cocok dengan karakter apa pun,$menandai akhir URL. - Aturan terpanjang menang — aturan paling spesifik (paling panjang) yang cocok yang menentukan. Jika Allow dan Disallow sama panjang, Allow menang (Google dan RFC 9309).
| Aturan | Artinya |
|---|---|
Disallow: / | Blokir seluruh situs |
Disallow: (kosong) | Tidak memblokir apa pun |
Disallow: /admin/ | Blokir semua yang ada di bawah /admin/ |
Disallow: /admin | Juga memblokir /admin-login dan /administrator |
Disallow: /*.pdf$ | Blokir URL yang berakhiran .pdf |
Disallow: /*? | Blokir URL apa pun yang punya query string |
Yang tidak bisa dilakukan robots.txt
File ini mengatur crawling, bukan indexing. URL yang diblokir tetap bisa muncul di Google jika ada halaman lain yang menautnya — gunakan meta tag noindex (dan izinkan crawling supaya Google bisa melihatnya). Baris Noindex: di robots.txt sudah diabaikan Google sejak 2019, dan Crawl-delay juga diabaikan Google (Bing dan Yandex mematuhinya).
Buat file baru dengan robots.txt Generator, uji situs yang sudah live dengan robots.txt Tester, cek bot AI dengan AI Crawler Checker, dan validasi sitemap yang kamu cantumkan dengan Sitemap Validator.
Juga dicari sebagai: cara baca robots.txt, robots.txt checker, arti robots.txt, robots.txt disallow, wildcard robots.txt, aturan robots.txt, pengertian robots.txt.
Tool yang cocok dipakai bersama Penjelas robots.txt
- Pengecek Meta Tag — Lihat bagaimana Google kemungkinan menampilkan halamanmu: title dan description diukur dalam piksel, pratinjau desktop dan mobile, serta semua meta tag di <head>.
- Cek SEO & Audit Situs — Tempel URL untuk menjalankan hingga 70 cek SEO on-page plus audit situs lengkap: kecepatan Lighthouse, header keamanan & SSL, data terstruktur, link rusak, robots.txt & crawler AI, dasar aksesibilitas, tracking & persetujuan, SPF/DKIM/DMARC, serta masa berlaku domain.
- IndexNow Submitter — Beri tahu mesin pencari tentang halaman baru dan yang diperbarui secara instan.
- Pemetaan Redirect — Sedang memigrasikan atau mendesain ulang situs?
Pertanyaan yang sering diajukan
Apakah Disallow menghapus halaman dari Google?
Tidak. Disallow hanya menghentikan crawling, tapi URL tetap bisa terindeks dari tautan (ditampilkan tanpa deskripsi). Untuk menghapus halaman, izinkan crawling lalu tambahkan meta tag noindex atau header X-Robots-Tag.
Apa arti tanda $ dalam robots.txt?
Tanda itu menandai akhir URL. Disallow: /*.pdf$ memblokir /files/report.pdf, tetapi tidak memblokir /files/report.pdf?download=1.
Jika Allow dan Disallow sama-sama cocok, mana yang menang?
Aturan terpanjang (paling spesifik) yang menang. Jika panjangnya sama, Allow menang untuk Google dan crawler yang mengikuti RFC 9309.
Perlukah memblokir CSS dan JavaScript?
Tidak. Google merender halaman seperti browser. Memblokir file CSS atau JS bisa membuat halaman terlihat rusak bagi Googlebot dan merugikan peringkat, terutama untuk keramahan mobile.
Bisakah saya memasang Penjelas robots.txt sebagai aplikasi web dan memakainya offline?
Bisa. Penjelas robots.txt adalah aplikasi web (PWA) yang bisa dipasang. Pemasangannya lewat browser kamu, bukan diunduh dari toko aplikasi. Klik Pasang aplikasi di bagian atas halaman ini di Chrome atau Edge (Windows, macOS, Linux, ChromeOS) atau di Android. Di iPhone dan iPad, gunakan Bagikan → Tambahkan ke Layar Utama, dan di Safari 17+ pada Mac, gunakan File → Tambahkan ke Dock. Setelah itu, aplikasi akan terbuka di jendelanya sendiri dengan ikonnya sendiri. Karena berjalan sepenuhnya di browser kamu, aplikasi ini tetap bisa dipakai offline. Firefox di desktop tidak bisa memasang aplikasi web. Cara memasang aplikasi.