Cara Memperbaiki Masalah robots.txt dan Sitemap
Satu kesalahan kecil di robots.txt bisa menyembunyikan seluruh situs dari pencarian. Sitemap yang berantakan juga membuang waktu crawling untuk halaman yang tidak penting. Keduanya cepat diperbaiki begitu kamu paham aturannya.
Apa fungsi robots.txt, dan apa yang tidak dilakukannya
File ini ada di https://example.com/robots.txt dan memberi tahu crawler path mana yang harus dilewati. File ini mengatur crawling, bukan indexing. Halaman yang diblokir tetap bisa muncul di pencarian jika ada situs lain yang menautkannya.
Untuk menyembunyikan halaman dari hasil pencarian, gunakan tag noindex dan tetap biarkan halaman bisa di-crawl, karena Google harus membaca halaman itu untuk melihat tag tersebut.
Perbaiki aturan yang memblokir terlalu banyak
Satu baris ini memblokir seluruh situs, dan sering kali masih tertinggal dari pengaturan staging:
User-agent: *
Disallow: /Titik awal yang aman untuk kebanyakan situs kurang lebih seperti ini:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlJangan blokir CSS atau JavaScript, karena Google membutuhkannya untuk melihat halaman seperti yang dilihat pengunjung. Uji alamat tertentu dengan robots.txt Tester, atau buat file yang rapi dengan robots.txt Generator.
Buat sitemap yang bersih
Sitemap berisi daftar halaman yang ingin kamu tampilkan di pencarian. Sitemap hanya boleh berisi alamat yang:
- mengembalikan status
200, - merupakan versi kanonik dari halaman tersebut,
- tidak diblokir oleh robots.txt atau ditandai
noindex.
Satu sitemap bisa memuat hingga 50.000 alamat atau 50 MB. Untuk situs yang lebih besar, sitemap dipecah menjadi beberapa file dengan file indeks. Buat sitemap dengan Sitemap Generator jika platform yang kamu pakai tidak menyediakannya.
Atasi error yang umum
- “Sitemap could not be read”: buka alamatnya sendiri. Alamat tersebut harus menampilkan XML, bukan halaman HTML atau pesan error.
- “Submitted URL blocked by robots.txt”: hapus aturan yang memblokirnya, atau hapus alamat tersebut dari sitemap.
- “Submitted URL not found (404)”: sitemap kamu sudah tidak sesuai, jadi buat ulang.
- Tanggal yang salah: ubah
lastmodhanya saat halaman benar-benar berubah. Google mengabaikan tanggal yang tidak bisa dipercaya.
Periksa file kamu dengan Sitemap Validator.
Beri tahu mesin pencari
Tambahkan baris Sitemap: ke robots.txt, lalu kirimkan alamatnya di Google Search Console dan Bing Webmaster Tools. Setelah itu, cek laporan mereka secara berkala untuk melihat error baru.
