Cách sửa lỗi robots.txt và sitemap
Chỉ một lỗi nhỏ trong robots.txt cũng có thể ẩn cả website khỏi tìm kiếm. Một sitemap lộn xộn lại làm lãng phí việc thu thập dữ liệu vào những trang không quan trọng. Cả hai đều dễ sửa khi bạn đã nắm rõ quy tắc.
robots.txt làm gì, và không làm gì
Tệp này nằm tại https://example.com/robots.txt và cho crawler biết những đường dẫn nào cần bỏ qua. Nó kiểm soát việc thu thập dữ liệu (crawling), không kiểm soát việc lập chỉ mục (indexing). Một trang bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm nếu các website khác có liên kết đến nó.
Để giữ trang khỏi kết quả tìm kiếm, hãy dùng thẻ noindex và vẫn để trang có thể được thu thập, vì Google phải đọc trang thì mới thấy thẻ đó.
Sửa các quy tắc chặn quá nhiều
Chỉ một dòng này cũng chặn toàn bộ website, và nó thường còn sót lại từ môi trường staging:
User-agent: *
Disallow: /Điểm xuất phát an toàn cho đa số website trông như sau:
User-agent: *
Disallow: /admin/
Sitemap: https://example.com/sitemap.xmlĐừng chặn CSS hay JavaScript, vì Google cần chúng để thấy trang giống như người truy cập. Kiểm tra một địa chỉ cụ thể bằng robots.txt Tester, hoặc tạo một tệp sạch bằng robots.txt Generator.
Tạo một sitemap gọn gàng
Sitemap liệt kê các trang bạn muốn được tìm thấy. Nó chỉ nên chứa những địa chỉ:
- trả về trạng thái
200, - là phiên bản chuẩn (canonical) của trang,
- không bị robots.txt chặn và không được đánh dấu
noindex.
Một sitemap có thể chứa tối đa 50.000 địa chỉ hoặc 50 MB, và các website lớn sẽ chia thành nhiều sitemap kèm một tệp index. Hãy tạo sitemap bằng Sitemap Generator nếu nền tảng của bạn không tự làm được.
Sửa các lỗi thường gặp
- “Không thể đọc sitemap”: hãy tự mở địa chỉ đó. Nó phải trả về XML, không phải trang HTML hay thông báo lỗi.
- “URL đã gửi bị robots.txt chặn”: hoặc xóa quy tắc đó, hoặc xóa địa chỉ đó khỏi sitemap.
- “Không tìm thấy URL đã gửi (404)”: sitemap của bạn đã cũ, hãy tạo lại.
- Ngày tháng sai: chỉ thay đổi
lastmodkhi trang thực sự thay đổi. Google sẽ bỏ qua những ngày mà họ không tin cậy được.
Kiểm tra tệp của bạn bằng Sitemap Validator.
Thông báo cho công cụ tìm kiếm
Thêm dòng Sitemap: vào robots.txt, rồi gửi địa chỉ đó trong Google Search Console và Bing Webmaster Tools. Sau đó, thỉnh thoảng hãy kiểm tra báo cáo của họ để phát hiện lỗi mới.
