Trình tạo Robots.txt

robots.txt là gì?

robots.txt là file văn bản thuần nằm ở thư mục gốc của một host (https://www.example.com/robots.txt), cho biết crawler được phép truy cập những URL nào. File này tuân theo Robots Exclusion Protocol, được chuẩn hóa thành RFC 9309 vào năm 2022. Mỗi nhóm bắt đầu bằng một hoặc nhiều dòng User-agent, theo sau là các quy tắc Allow và Disallow. Crawler chỉ tuân theo nhóm cụ thể nhất khớp với tên của nó, nếu không có thì dùng User-agent: *.

Cách so khớp quy tắc

• Quy tắc so khớp đường dẫn URL theo tiền tố: Disallow: /admin chặn /admin, /admin/ và /administrator. Dùng /admin/ nếu chỉ muốn chặn thư mục.
• * khớp với chuỗi ký tự bất kỳ và $ đánh dấu kết thúc: Disallow: /*.pdf$ chặn mọi file PDF.
• Khi cả Allow và Disallow cùng khớp, Google áp dụng quy tắc dài nhất (cụ thể nhất); nếu bằng nhau thì Allow được ưu tiên.
• Dòng Disallow: để trống nghĩa là “cho phép tất cả”. Disallow: / chặn toàn bộ website.

Chặn crawler AI

Các công ty AI dùng user-agent riêng cho việc huấn luyện mô hình, lập chỉ mục tìm kiếm và các lần tải trang do người dùng yêu cầu. Nhờ vậy, bạn có thể từ chối huấn luyện mà vẫn xuất hiện trong câu trả lời của AI search:

Việc tuân thủ là tự nguyện: các crawler uy tín sẽ tôn trọng robots.txt, nhưng file này không phải cơ chế kiểm soát truy cập. Với nội dung cần giữ riêng tư, hãy dùng xác thực hoặc quy tắc tường lửa. Bạn có thể kiểm tra website đang cho phép những gì bằng AI Crawler Checker.

Những lỗi cần tránh

• Dùng robots.txt để gỡ trang khỏi chỉ mục. URL bị chặn vẫn có thể được lập chỉ mục (không có đoạn trích) nếu các website khác liên kết đến nó. Hãy dùng thẻ meta noindex, và đừng chặn chính trang đó, nếu không Google sẽ không thấy thẻ này.
• Chặn CSS và JavaScript. Google render trang; chặn /assets/ hoặc /wp-includes/ có thể khiến trang trông bị hỏng với Google.
• Dựa vào Crawl-delay. Bing và Yandex có tôn trọng quy tắc này, còn Googlebot thì bỏ qua.
• Đưa file của môi trường staging lên production. Một dòng Disallow: / còn sót lại là một trong những nguyên nhân phổ biến nhất khiến lượng truy cập sụt giảm đột ngột sau khi ra mắt.

Cũng được tìm dưới tên: robots.txt, tạo robots.txt, chặn gptbot, chặn bot ai, file robots.txt, cú pháp robots.txt, chặn claudebot, robots.txt webflow.

Các công cụ dùng kèm tốt với Trình tạo Robots.txt

• Công cụ tạo Sitemap — Quét website của bạn và nhận một file sitemap.xml gọn gàng, chỉ chứa những trang đáng được index: trạng thái 200, không có noindex, tự canonical.
• Trình tạo llms.txt — Viết file llms.txt để cung cấp cho trợ lý AI một bản đồ Markdown được chọn lọc về website của bạn, gồm tên dự án, phần tóm tắt, các trang quan trọng và phần bổ sung tùy chọn, theo đề xuất llmstxt.org.
• Kiểm tra Sitemap — Tìm và xác thực XML sitemap của bạn — số lượng URL, sitemap con trong sitemap index, độ phủ lastmod, URL trùng lặp và URL thuộc host khác — đồng thời kiểm tra xem các trang được liệt kê có thực sự trả về 200 hay không.
• Công cụ tạo Meta Tag — Điền một biểu mẫu và nhận ngay một <head> đầy đủ, hợp lệ: tiêu đề, mô tả, canonical, robots, Open Graph, thẻ X/Twitter, màu theme và icon.