Cách dùng Kiểm tra Robots.txt
- Nhập URL website của bạn. Để kiểm tra một trang cụ thể, hãy nhập đầy đủ URL hoặc gõ đường dẫn (ví dụ
/checkout?step=2) vào ô đường dẫn. - Chọn một user-agent như Googlebot, Bingbot hoặc GPTBot — hoặc tự nhập tên khác.
- Nhấn Kiểm tra để xem đường dẫn được phép hay bị chặn, rule nào đã khớp và các crawler khác được xử lý thế nào.
- Chỉnh sửa robots.txt trong trình soạn thảo rồi nhấn Kiểm tra phiên bản đã sửa để thử thay đổi an toàn, sau đó sao chép hoặc tải kết quả về.
Công cụ kiểm tra robots.txt là gì?
robots.txt là file văn bản thuần nằm ở thư mục gốc của một host (https://example.com/robots.txt), cho crawler biết những đường dẫn nào được phép truy cập. Công cụ kiểm tra sẽ tải file này, phân tích theo cách các công cụ tìm kiếm làm, và trả lời chính xác một câu hỏi: crawler này có được tải URL này không? Từ năm 2023, khi Google ngừng công cụ robots.txt Tester trong Search Console, một công cụ kiểm tra độc lập là cách nhanh nhất để kiểm tra rule trước và sau khi triển khai.
Cách rule được so khớp
Cách so khớp tuân theo hành vi Google đã công bố và chuẩn loại trừ robot (RFC 9309):
- Chọn nhóm. Crawler chỉ tuân theo nhóm có
User-agentkhớp cụ thể nhất với nó. NếuGooglebotcó nhóm riêng, các ruleUser-agent: *sẽ bị bỏ qua hoàn toàn với Googlebot. - Tìm rule khớp. Mỗi đường dẫn
AllowvàDisallowđược so khớp từ đầu đường dẫn URL, bao gồm cả chuỗi truy vấn.*khớp với mọi ký tự và$đánh dấu cuối đường dẫn. - Rule khớp dài nhất thắng. Rule có đường dẫn dài nhất sẽ quyết định. Nếu Allow và Disallow dài bằng nhau, Allow sẽ thắng. Không có rule nào khớp thì URL được phép.
| Rule | Chặn | Không chặn |
|---|---|---|
Disallow: /admin | /admin, /admin/users, /administrator | /Admin (đường dẫn phân biệt hoa thường) |
Disallow: /*.pdf$ | /files/report.pdf | /report.pdf?v=2 |
Disallow: /*? | Mọi URL có chuỗi truy vấn | /shop/shoes |
Disallow: (để trống) | Không có gì | Mọi thứ đều được phép |
Những lỗi robots.txt thường gặp
- Còn sót lại
Disallow: /từ môi trường staging, khiến cả website bị chặn sau khi ra mắt. - Chặn CSS và JavaScript, khiến Google không render trang của bạn đúng cách.
- Dùng robots.txt để gỡ trang khỏi Google. Disallow chỉ ngăn crawl, không ngăn index — một URL bị chặn vẫn có thể xuất hiện trong kết quả nếu có website khác liên kết đến. Hãy dùng thẻ meta hoặc header
noindexvà để trang vẫn có thể crawl. - Quên rằng mỗi host cần file riêng:
shop.example.comkhông dùng robots.txt củawww.example.com.
Cần tạo file mới? Hãy dùng Robots.txt Generator, và xem bot AI được xử lý thế nào với AI Crawler Checker.
Cũng được tìm dưới tên: robots.txt validator, url có bị chặn không, test disallow, googlebot bị chặn, robots txt test, test crawl, user-agent.
Các công cụ dùng kèm tốt với Kiểm tra Robots.txt
- Kiểm tra Sitemap — Tìm và xác thực XML sitemap của bạn — số lượng URL, sitemap con trong sitemap index, độ phủ lastmod, URL trùng lặp và URL thuộc host khác — đồng thời kiểm tra xem các trang được liệt kê có thực sự trả về 200 hay không.
- Website Crawler — Bắt đầu từ trang chủ và quét tối đa 100 trang nội bộ để phát hiện các lỗi SEO trên toàn site như trang lỗi, title trùng lặp, thiếu description, lỗi H1, thẻ noindex và trang tải chậm, tất cả trong một báo cáo trực tiếp.
- Kiểm tra SEO & Audit website — Dán một URL để chạy tối đa 70 kiểm tra SEO on-page cùng audit toàn bộ website: tốc độ Lighthouse, header bảo mật & SSL, dữ liệu có cấu trúc, liên kết hỏng, robots.txt & AI crawler, kiểm tra cơ bản về khả năng truy cập, tracking & consent, SPF/DKIM/DMARC và hạn domain.
- Giải thích robots.txt — Các quy tắc robots.txt ngắn nhưng dễ hiểu sai.
Câu hỏi thường gặp
Disallow có gỡ trang khỏi Google không?
Không. Disallow chỉ ngăn crawl. URL bị chặn vẫn có thể được index (thường không có đoạn mô tả) nếu có trang khác liên kết đến. Để gỡ trang, hãy cho phép crawl và thêm
noindex.Allow hay Disallow sẽ thắng?
Đường dẫn khớp cụ thể nhất (dài nhất) sẽ thắng. Nếu rule Allow và Disallow có độ dài bằng nhau, Google áp dụng rule Allow vì ít hạn chế hơn.
robots.txt có phân biệt hoa thường không?
Đường dẫn có phân biệt:
Disallow: /Admin không chặn /admin. Tên chỉ thị như disallow và tên user-agent thì không phân biệt hoa thường.File robots.txt phải nằm ở đâu?
Ở thư mục gốc của mỗi host và giao thức, ví dụ
https://www.example.com/robots.txt. File trong thư mục con sẽ bị bỏ qua, và mỗi subdomain cần file riêng.Google có hỗ trợ Crawl-delay không?
Không. Googlebot bỏ qua
Crawl-delay; Bing và một số crawler khác thì có tôn trọng. Nếu Googlebot crawl quá nhanh, máy chủ của bạn có thể tạm thời trả về phản hồi 503 hoặc 429.