Cách dùng Kiểm tra AI Crawler
- Nhập tên miền hoặc URL bất kỳ của trang.
- Nhấn Kiểm tra AI crawler (hoặc nhấn Ctrl+Enter).
- Đọc kết luận: bạn có hiển thị với AI search và trợ lý AI không, và bạn có cho phép huấn luyện mô hình không?
- Chọn một chính sách trong ô mã, ví dụ Chặn huấn luyện, cho phép tìm kiếm, sao chép các quy tắc vào robots.txt, rồi chạy lại kiểm tra sau khi triển khai.
AI crawler checker là gì?
Các công ty AI gửi bot riêng để lấy nội dung web: để huấn luyện mô hình ngôn ngữ, xây dựng chỉ mục cho câu trả lời của AI search, hoặc tải một trang mà người dùng hỏi trợ lý AI. Mỗi bot có một user-agent token riêng mà bạn có thể cho phép hoặc chặn trong robots.txt. Công cụ này đọc robots.txt của bạn, áp dụng cùng quy tắc so khớp như một crawler thực sự, và hiển thị kết quả cho 18 user-agent AI, cùng với file llms.txt và mọi chỉ thị noai.
Bot huấn luyện, bot tìm kiếm và bot do người dùng kích hoạt
| Loại | Ví dụ | Khi chặn sẽ thế nào |
|---|---|---|
| Huấn luyện | GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Bytespider | Yêu cầu công ty không dùng nội dung của bạn để huấn luyện mô hình trong tương lai |
| AI search | OAI-SearchBot, Claude-SearchBot, PerplexityBot | Có thể loại trang của bạn khỏi câu trả lời và trích dẫn trong các sản phẩm AI search |
| Người dùng tải trang | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User | Ngăn trợ lý AI mở trang của bạn khi người dùng yêu cầu |
Đây là các quyết định độc lập. Nhiều nhà xuất bản chặn bot huấn luyện nhưng vẫn cho phép bot tìm kiếm và bot người dùng, nhờ đó nội dung của họ vẫn có thể được trích dẫn kèm liên kết trong câu trả lời AI.
Chặn huấn luyện nhưng vẫn hiển thị
Liệt kê các bot huấn luyện trong một nhóm với Disallow: /, và các bot tìm kiếm trong nhóm khác với Allow: /. Lưu ý rằng crawler khớp với một nhóm được đặt tên sẽ bỏ qua hoàn toàn nhóm User-agent: *, vì vậy hãy sao chép các quy tắc Disallow vẫn cần thiết (như /admin/) vào các nhóm được đặt tên. Trình tạo bên dưới kết quả sẽ viết phần này giúp bạn; nếu cần một file hoàn chỉnh, hãy dùng Robots.txt Generator.
Google-Extended không phải là một crawler riêng mà là một control token: nó quyết định nội dung do Googlebot lấy về có được dùng để huấn luyện và grounding cho Gemini hay không. Google khẳng định nó không ảnh hưởng đến việc lập chỉ mục hay xếp hạng trên Google Search, nên chặn token này sẽ không khiến bạn biến mất khỏi kết quả tìm kiếm.
llms.txt là gì?
llms.txt là một quy ước được đề xuất vào năm 2024, dưới dạng file Markdown đặt tại /llms.txt, cung cấp cho mô hình ngôn ngữ một cái nhìn tổng quan ngắn gọn về website kèm liên kết đến các trang hữu ích nhất; /llms-full.txt có thể chứa toàn bộ nội dung. Đây không phải tiêu chuẩn chính thức và các nhà cung cấp AI hỗ trợ còn hạn chế, nhưng việc thêm vào rất ít tốn công. Bạn có thể tạo file bằng llms.txt Generator.
Giới hạn
robots.txt là một giao thức mang tính tự nguyện. Các công ty AI lớn cho biết crawler của họ tôn trọng nó, nhưng về mặt kỹ thuật nó không thể ngăn một bot bỏ qua nó, và nó cũng không ảnh hưởng đến nội dung đã được thu thập trước đó. Để thực thi chặn, bạn cần chặn bot ở phía máy chủ hoặc CDN. Dùng Robots.txt Tester để kiểm tra quy tắc cho bất kỳ user-agent nào khác.
Cũng được tìm dưới tên: gptbot, claudebot, chặn ai crawler, bot ai robots.txt, kiểm tra llms.txt, google-extended, perplexitybot, chatgpt crawler.
Các công cụ dùng kèm tốt với Kiểm tra AI Crawler
- Kiểm tra SEO & Audit website — Dán một URL để chạy tối đa 70 kiểm tra SEO on-page cùng audit toàn bộ website: tốc độ Lighthouse, header bảo mật & SSL, dữ liệu có cấu trúc, liên kết hỏng, robots.txt & AI crawler, kiểm tra cơ bản về khả năng truy cập, tracking & consent, SPF/DKIM/DMARC và hạn domain.
- Website Crawler — Bắt đầu từ trang chủ và quét tối đa 100 trang nội bộ để phát hiện các lỗi SEO trên toàn site như trang lỗi, title trùng lặp, thiếu description, lỗi H1, thẻ noindex và trang tải chậm, tất cả trong một báo cáo trực tiếp.
- Giải thích robots.txt — Các quy tắc robots.txt ngắn nhưng dễ hiểu sai.
- Công cụ gửi IndexNow — Báo cho công cụ tìm kiếm biết về trang mới và trang vừa cập nhật ngay lập tức.
Câu hỏi thường gặp
Chặn GPTBot có làm website của tôi biến mất khỏi ChatGPT không?
Chặn Google-Extended có khiến tôi biến mất khỏi AI Overviews không?
nosnippet.Các AI crawler có tuân thủ robots.txt không?
Thẻ meta noai là gì?
noai và noimageai là các giá trị không chuẩn cho thẻ meta robots hoặc header X-Robots-Tag, do một số nền tảng nghệ thuật đưa ra để báo hiệu từ chối huấn luyện AI. Các crawler AI lớn không chính thức hỗ trợ chúng, vì vậy robots.txt là tín hiệu đáng tin cậy hơn.