Cara menggunakan Generator Robots.txt
- Klik preset untuk memulai: “Izinkan semua” untuk kebanyakan situs, “WordPress” atau “Gaya Shopify” untuk platform tersebut, atau “Blokir semua” untuk situs staging.
- Tambahkan aturan Disallow dan Allow untuk setiap grup user-agent. Path diawali dengan
/;*cocok dengan karakter apa pun dan$menandai akhir URL. - Opsional: tambahkan “+ Blokir bot pelatihan AI” untuk menolak pelatihan model sambil tetap mengizinkan crawler mesin pencari biasa.
- Masukkan URL sitemap kamu, periksa peringatannya, lalu unduh
robots.txtdan unggah ke root domain kamu (misalnyahttps://example.com/robots.txt). Verifikasi dengan Robots.txt Tester.
Apa itu robots.txt?
robots.txt adalah file teks biasa di root sebuah host (https://www.example.com/robots.txt) yang memberi tahu crawler URL mana saja yang boleh mereka minta. File ini mengikuti Robots Exclusion Protocol, yang distandarkan sebagai RFC 9309 pada 2022. Setiap grup dimulai dengan satu atau lebih baris User-agent, lalu aturan Allow dan Disallow. Crawler hanya mengikuti grup paling spesifik yang cocok dengan namanya, dan jika tidak ada, akan kembali ke User-agent: *.
Cara aturan dicocokkan
- Aturan dicocokkan dengan awalan path URL:
Disallow: /adminmemblokir/admin,/admin/, dan/administrator. Gunakan/admin/jika hanya ingin memblokir folder tersebut. *cocok dengan urutan karakter apa pun dan$menandai akhir URL:Disallow: /*.pdf$memblokir semua PDF.- Jika Allow dan Disallow sama-sama cocok, Google menerapkan aturan terpanjang (paling spesifik); jika panjangnya sama, Allow yang menang.
Disallow:yang kosong berarti “izinkan semua”.Disallow: /memblokir seluruh situs.
Memblokir crawler AI
Perusahaan AI menggunakan user-agent terpisah untuk pelatihan model, pengindeksan pencarian, dan pengambilan halaman yang dipicu pengguna. Dengan begitu, kamu bisa menolak pelatihan tanpa menghilang dari jawaban pencarian AI:
| User-agent | Operator | Tujuan |
|---|---|---|
| GPTBot | OpenAI | Data pelatihan |
| OAI-SearchBot / ChatGPT-User | OpenAI | Pencarian ChatGPT / halaman yang diminta pengguna |
| ClaudeBot | Anthropic | Data pelatihan |
| Claude-SearchBot / Claude-User | Anthropic | Pencarian / halaman yang diminta pengguna |
| Google-Extended | Token kontrol untuk pelatihan dan grounding Gemini — tidak memengaruhi Google Search | |
| Applebot-Extended | Apple | Token kontrol untuk pelatihan AI Apple |
| CCBot | Common Crawl | Korpus web terbuka yang banyak dipakai untuk pelatihan |
| Meta-ExternalAgent, Bytespider | Meta, ByteDance | Data pelatihan |
| PerplexityBot / Perplexity-User | Perplexity | Indeks pencarian / halaman yang diminta pengguna |
Kepatuhan bersifat sukarela: crawler yang bereputasi baik mematuhi robots.txt, tetapi file ini bukan kontrol akses. Gunakan autentikasi atau aturan firewall untuk hal apa pun yang harus tetap privat. Cek apa yang saat ini diizinkan situs live kamu dengan AI Crawler Checker.
Kesalahan yang perlu dihindari
- Menggunakan robots.txt untuk menghapus halaman dari indeks. URL yang diblokir tetap bisa terindeks (tanpa cuplikan) jika ada situs lain yang menautkannya. Gunakan meta tag
noindex, dan jangan blokir halaman tersebut, karena Google tidak akan bisa melihat tag-nya. - Memblokir CSS dan JavaScript. Google merender halaman; jika
/assets/atau/wp-includes/diblokir, halaman bisa terlihat rusak bagi Google. - Mengandalkan Crawl-delay. Bing dan Yandex mematuhinya; Googlebot mengabaikannya.
- Membawa file staging ke produksi. Sisa
Disallow: /adalah salah satu penyebab paling umum turunnya trafik mendadak setelah peluncuran.
Juga dicari sebagai: robots.txt, cara membuat robots.txt, blokir gptbot, blokir crawler ai, disallow robots.txt, user-agent robots.txt, file robots.txt, robots.txt webflow.
Tool yang cocok dipakai bersama Generator Robots.txt
- Generator Sitemap — Crawl situs kamu dan dapatkan sitemap.xml yang bersih, hanya berisi halaman yang layak diindeks: status 200, tanpa noindex, dan canonical ke dirinya sendiri.
- Generator llms.txt — Tulis file llms.txt yang memberi asisten AI peta Markdown yang terkurasi tentang situsmu: nama proyek, ringkasan, halaman penting, dan tambahan opsional, mengikuti usulan llmstxt.org.
- Validator Sitemap — Temukan dan validasi sitemap XML kamu: jumlah URL, child sitemap dari sitemap index, cakupan lastmod, duplikat, dan URL dari host lain.
- Generator Meta Tag — Isi satu formulir dan dapatkan <head> yang lengkap dan valid: title, description, canonical, robots, Open Graph, kartu X/Twitter, warna tema, dan ikon, lengkap dengan pratinjau langsung dan output khusus Webflow.
Pertanyaan yang sering diajukan
Di mana saya mengunggah robots.txt?
Di root setiap host, misalnya
https://www.example.com/robots.txt. Subdomain membutuhkan file sendiri. Di Webflow, tempelkan ke Site settings › SEO › robots.txt; di Shopify, edit template tema robots.txt.liquid.Apakah memblokir GPTBot akan menghapus situs saya dari ChatGPT?
Memblokir GPTBot hanya mencegah OpenAI memakai halamanmu untuk pelatihan. Pencarian ChatGPT menggunakan OAI-SearchBot dan pengambilan yang dipicu pengguna memakai ChatGPT-User, jadi blokir juga keduanya hanya jika kamu ingin tidak muncul di jawaban ChatGPT.
Apakah Google-Extended memengaruhi peringkat Google saya?
Tidak. Google-Extended hanya token kontrol untuk pelatihan dan grounding Gemini; Googlebot tetap merayapi dan memeringkat halamanmu seperti biasa.
Bisakah robots.txt membuat halaman tidak muncul di Google?
Tidak bisa diandalkan. File ini menghentikan perayapan, bukan pengindeksan. Untuk menghapus halaman dari hasil pencarian, izinkan perayapan dan tambahkan
<meta name="robots" content="noindex">, atau gunakan proteksi password.Bagaimana cara menguji robots.txt saya?
Tempelkan isinya ke Robots.txt Tester untuk mengecek apakah URL tertentu diizinkan untuk Googlebot, Bingbot, atau crawler AI sebelum kamu mempublikasikannya.
Bisakah saya memasang Generator Robots.txt sebagai aplikasi web dan memakainya offline?
Bisa. Generator Robots.txt adalah aplikasi web (PWA) yang bisa dipasang. Pemasangannya lewat browser kamu, bukan diunduh dari toko aplikasi. Klik Pasang aplikasi di bagian atas halaman ini di Chrome atau Edge (Windows, macOS, Linux, ChromeOS) atau di Android. Di iPhone dan iPad, gunakan Bagikan → Tambahkan ke Layar Utama, dan di Safari 17+ pada Mac, gunakan File → Tambahkan ke Dock. Setelah itu, aplikasi akan terbuka di jendelanya sendiri dengan ikonnya sendiri. Karena berjalan sepenuhnya di browser kamu, aplikasi ini tetap bisa dipakai offline. Firefox di desktop tidak bisa memasang aplikasi web. Cara memasang aplikasi.