Cara menggunakan Cek AI Crawler
- Masukkan domain kamu atau URL halaman mana pun.
- Klik Cek AI crawler (atau tekan Ctrl+Enter).
- Baca kesimpulannya: apakah kamu terlihat oleh AI search dan asisten AI, dan apakah kamu mengizinkan training model?
- Pilih kebijakan di kotak snippet, misalnya Blokir training, izinkan search, salin aturannya ke robots.txt kamu, lalu jalankan ulang pengecekan setelah diterapkan.
Apa itu cek AI crawler?
Perusahaan AI mengirim bot mereka sendiri untuk mengambil konten web, baik untuk melatih model bahasa, membangun indeks jawaban AI search, maupun memuat halaman yang ditanyakan pengguna ke asisten AI. Setiap bot memiliki token user-agent sendiri yang bisa kamu izinkan atau blokir di robots.txt. Alat ini membaca robots.txt kamu, menerapkan aturan pencocokan yang sama seperti yang dilakukan crawler, lalu menampilkan hasilnya untuk 18 user-agent AI, beserta file llms.txt dan direktif noai jika ada.
Bot untuk training, pencarian, dan yang dipicu pengguna
| Tipe | Contoh | Dampak jika diblokir |
|---|---|---|
| Training | GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider | Meminta perusahaan tidak menggunakan konten kamu untuk training model di masa depan |
| Pencarian AI | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Bisa menghapus halaman kamu dari jawaban dan sitasi di produk AI search |
| Pengambilan pengguna | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User | Mencegah asisten membuka halaman kamu saat pengguna memintanya |
Ketiganya adalah keputusan yang terpisah. Banyak penerbit memblokir bot training tetapi tetap mengizinkan bot pencarian dan pengguna, sehingga konten mereka tetap bisa dikutip dengan tautan dalam jawaban AI.
Memblokir training sambil tetap terlihat
Tulis bot training dalam satu grup dengan Disallow: /, dan bot pencarian dalam grup lain dengan Allow: /. Ingat bahwa crawler yang cocok dengan grup yang disebut namanya akan mengabaikan grup User-agent: * sepenuhnya, jadi salin aturan Disallow yang masih kamu butuhkan (seperti /admin/) ke dalam grup bernama tersebut. Generator di bawah hasil akan membuatkannya untukmu. Untuk file lengkap, gunakan Robots.txt Generator.
Google-Extended bukan crawler terpisah, melainkan token kontrol. Token ini mengatur apakah konten yang diambil Googlebot boleh dipakai untuk training dan grounding Gemini. Google menyatakan token ini tidak memengaruhi pengindeksan atau peringkat di Google Search, jadi memblokirnya tidak akan menghapus situs kamu dari hasil pencarian.
Apa itu llms.txt?
llms.txt adalah konvensi yang diusulkan pada 2024, berupa file Markdown di /llms.txt yang memberi model bahasa gambaran ringkas tentang situs kamu beserta tautan ke halaman paling berguna. /llms-full.txt bisa berisi teks lengkapnya. Ini bukan standar resmi dan dukungan dari penyedia AI masih terbatas, tetapi menambahkannya tidak memakan biaya besar. Buat file ini dengan llms.txt Generator.
Keterbatasan
robots.txt adalah protokol sukarela. Perusahaan AI besar menyatakan crawler mereka menghormatinya, tetapi secara teknis robots.txt tidak bisa menghentikan bot yang mengabaikannya, dan tidak memengaruhi konten yang sudah terlanjur dikumpulkan. Untuk penegakan yang kuat, kamu memerlukan pemblokiran bot di sisi server atau CDN. Gunakan Robots.txt Tester untuk mengecek aturan bagi user-agent lain.
Juga dicari sebagai: blokir ai crawler, gptbot robots.txt, claudebot, google-extended, llms.txt checker, perplexitybot, bot ai robots.txt, geo.
Tool yang cocok dipakai bersama Cek AI Crawler
- Cek SEO & Audit Situs — Tempel URL untuk menjalankan hingga 70 cek SEO on-page plus audit situs lengkap: kecepatan Lighthouse, header keamanan & SSL, data terstruktur, link rusak, robots.txt & crawler AI, dasar aksesibilitas, tracking & persetujuan, SPF/DKIM/DMARC, serta masa berlaku domain.
- Website Crawler — Mulai dari halaman utama dan crawl hingga 100 halaman internal untuk menemukan masalah SEO di seluruh situs — halaman rusak, title duplikat, deskripsi yang hilang, masalah H1, tag noindex, dan halaman lambat — dalam satu laporan langsung.
- Penjelas robots.txt — Aturan robots.txt memang pendek, tapi mudah salah dibaca.
- IndexNow Submitter — Beri tahu mesin pencari tentang halaman baru dan yang diperbarui secara instan.
Pertanyaan yang sering diajukan
Apakah memblokir GPTBot akan menghapus situs saya dari ChatGPT?
Apakah memblokir Google-Extended akan menghapus saya dari AI Overviews?
nosnippet.Apakah crawler AI mematuhi robots.txt?
Apa itu meta tag noai?
noai dan noimageai adalah nilai non-standar untuk meta tag robots atau header X-Robots-Tag. Nilai ini diperkenalkan oleh beberapa platform seni untuk menyatakan penolakan terhadap training AI. Crawler AI besar belum secara resmi mendukungnya, jadi robots.txt adalah sinyal yang lebih andal.