Cách dùng Giải thích robots.txt
- Nhập địa chỉ website rồi nhấn Tải robots.txt, hoặc dán trực tiếp nội dung file.
- Đọc giải thích cho từng nhóm user-agent: những gì bị chặn, ngoại lệ nào được cho phép và ký tự đại diện khớp với gì.
- Xem danh sách vấn đề: CSS/JS bị chặn,
Disallow: /áp dụng cho toàn site, dòngnoindexkhông được hỗ trợ và nhiều lỗi khác. - Thử nghiệm từng URL cụ thể với một crawler để xem chính xác quy tắc nào đang quyết định.
Cách crawler đọc robots.txt
- Chọn nhóm — crawler dùng nhóm có
User-agentkhớp cụ thể nhất với tên của nó, và chỉ nhóm đó. Googlebot sẽ bỏ qua nhóm*nếu tồn tại nhómGooglebot. - Tìm quy tắc khớp — giá trị
DisallowvàAllowlà tiền tố đường dẫn.*khớp với mọi ký tự, còn$đánh dấu cuối URL. - Quy tắc dài nhất thắng — quy tắc khớp cụ thể nhất (dài nhất) sẽ quyết định. Nếu một quy tắc Allow và một quy tắc Disallow có độ dài bằng nhau, Allow sẽ thắng (theo Google và RFC 9309).
| Quy tắc | Ý nghĩa |
|---|---|
Disallow: / | Chặn toàn bộ website |
Disallow: (để trống) | Không chặn gì cả |
Disallow: /admin/ | Chặn mọi thứ nằm trong /admin/ |
Disallow: /admin | Cũng chặn /admin-login và /administrator |
Disallow: /*.pdf$ | Chặn các URL kết thúc bằng .pdf |
Disallow: /*? | Chặn mọi URL có chuỗi truy vấn |
robots.txt không làm được gì
File này kiểm soát việc thu thập dữ liệu (crawling), không kiểm soát việc lập chỉ mục (indexing). Một URL bị chặn vẫn có thể xuất hiện trên Google nếu các trang khác liên kết đến nó. Hãy dùng thẻ meta noindex (và cho phép crawl để Google nhìn thấy thẻ đó). Các dòng Noindex: trong robots.txt đã bị Google bỏ qua từ năm 2019, còn Crawl-delay thì Google cũng bỏ qua (Bing và Yandex vẫn tuân theo).
Tạo file mới bằng Trình tạo robots.txt, kiểm tra website đang hoạt động bằng Công cụ kiểm tra robots.txt, xem các bot AI bằng Kiểm tra AI Crawler và xác thực các sitemap bạn liệt kê bằng Trình xác thực Sitemap.
Cũng được tìm dưới tên: robots.txt là gì, kiểm tra robots.txt, ý nghĩa robots.txt, robots.txt disallow là gì, robots.txt wildcard, quy tắc robots.txt, hiểu file robots.txt.
Các công cụ dùng kèm tốt với Giải thích robots.txt
- Kiểm tra Meta Tag — Xem chính xác Google có khả năng hiển thị trang của bạn như thế nào: title và description được đo bằng pixel, xem trước desktop và mobile, cùng mọi thẻ meta trong <head>.
- Kiểm tra SEO & Audit website — Dán một URL để chạy tối đa 70 kiểm tra SEO on-page cùng audit toàn bộ website: tốc độ Lighthouse, header bảo mật & SSL, dữ liệu có cấu trúc, liên kết hỏng, robots.txt & AI crawler, kiểm tra cơ bản về khả năng truy cập, tracking & consent, SPF/DKIM/DMARC và hạn domain.
- Công cụ gửi IndexNow — Báo cho công cụ tìm kiếm biết về trang mới và trang vừa cập nhật ngay lập tức.
- Công cụ ánh xạ redirect — Bạn đang migrate hoặc làm lại website?
Câu hỏi thường gặp
Disallow có xóa một trang khỏi Google không?
Không. Disallow chỉ ngăn việc thu thập dữ liệu, nhưng URL vẫn có thể được lập chỉ mục nhờ các liên kết (hiển thị không có mô tả). Để gỡ một trang, hãy cho phép crawl và thêm thẻ meta noindex hoặc header X-Robots-Tag.
Dấu $ trong robots.txt có nghĩa là gì?
Nó neo vào cuối URL. Disallow: /*.pdf$ sẽ chặn /files/report.pdf nhưng không chặn /files/report.pdf?download=1.
Nếu cả Allow và Disallow cùng khớp, quy tắc nào thắng?
Quy tắc khớp dài nhất (cụ thể nhất) sẽ thắng. Khi hai quy tắc có độ dài bằng nhau, Allow sẽ thắng đối với Google và các crawler tuân theo RFC 9309.
Có nên chặn CSS và JavaScript không?
Không. Google hiển thị trang giống như một trình duyệt, nên chặn file CSS hoặc JS có thể khiến trang trông bị lỗi với Googlebot và ảnh hưởng đến thứ hạng, đặc biệt là về khả năng thân thiện với thiết bị di động.
Tôi có thể cài Giải thích robots.txt như một ứng dụng web và dùng khi không có mạng không?
Có. Giải thích robots.txt là một ứng dụng web (PWA) có thể cài đặt — cài trực tiếp từ trình duyệt, không cần tải từ cửa hàng ứng dụng. Trên Chrome hoặc Edge (Windows, macOS, Linux, ChromeOS) hoặc Android, bấm Cài đặt ứng dụng ở đầu trang này; trên iPhone và iPad, dùng Chia sẻ → Thêm vào Màn hình chính; trên Mac, dùng File → Add to Dock trong Safari 17 trở lên. Sau đó ứng dụng mở trong cửa sổ riêng với biểu tượng riêng, và vì chạy hoàn toàn trên trình duyệt nên vẫn hoạt động khi không có mạng. Firefox trên máy tính không thể cài ứng dụng web. Cách cài đặt hoạt động thế nào.