Cách dùng Website Crawler
- Nhập URL trang chủ (hoặc bất kỳ URL bắt đầu nào) và chọn số trang muốn quét. 30 trang là đủ để kiểm tra nhanh, 100 trang bao phủ hầu hết các website nhỏ.
- Nhấn Bắt đầu quét. Các trang sẽ hiện ra trực tiếp khi được tải về. Bạn có thể nhấn Dừng bất cứ lúc nào để giữ lại kết quả đã có.
- Nhấn vào một nhãn lỗi như Duplicate title hoặc Missing H1 để chỉ xem các trang bị ảnh hưởng.
- Xuất toàn bộ kết quả quét ra CSV để lên kế hoạch sửa lỗi hoặc chia sẻ với đội của bạn.
Website crawler là gì?
Website crawler (hay spider) hoạt động giống như bot của công cụ tìm kiếm: nó tải trang bắt đầu, thu thập các liên kết nội bộ, truy cập các trang đó, thu thập tiếp liên kết của chúng, và cứ thế lặp lại. Trong quá trình này, công cụ ghi lại mã trạng thái và các yếu tố SEO trên từng trang, nhờ đó các lỗi lặp lại trên nhiều URL, như title trùng lặp, description bị thiếu hay template bị lỗi, trở nên dễ nhận ra chỉ trong nháy mắt.
Cách crawler này hoạt động
- Công cụ bắt đầu từ URL bạn nhập và đi theo các liên kết
<a href>nằm trong cùng một domain (có hoặc không cówww). - Tối đa bốn trang được tải cùng lúc, nên quá trình quét không gây quá tải cho máy chủ của bạn.
- Các tệp như PDF, hình ảnh, video và file nén sẽ bị bỏ qua; chỉ các trang HTML được phân tích.
- Công cụ đọc HTML thô mà máy chủ trả về. Các liên kết chỉ xuất hiện sau khi JavaScript chạy sẽ không được phát hiện. Nếu quá trình quét dừng ở một trang, có thể menu điều hướng của bạn được render phía client.
- Công cụ tuân thủ robots.txt: nó tự nhận diện là
DevPackBot, làm theo quy tắc dành choDevPackBot(hoặc*nếu không có nhóm riêng), liệt kê các URL bị chặn là “Blocked by robots.txt” thay vì tải về, và tôn trọngCrawl-delay(tối đa 5 giây) bằng cách chỉ tải một trang mỗi lần. Nếu robots.txt trả về lỗi máy chủ, công cụ sẽ không quét gì cả, đúng theo RFC 9309. Để xem Googlebot hoặc các bot khác được xử lý như thế nào, hãy dùng Robots.txt Tester. - Công cụ chỉ khám phá trang thông qua liên kết. Các trang chỉ có trong sitemap sẽ không được truy cập. Bạn có thể đối chiếu với Sitemap Validator.
Các lỗi công cụ báo cáo
| Lỗi | Vì sao quan trọng | Cách sửa thường gặp |
|---|---|---|
| Trang lỗi | Ngõ cụt với người dùng và lãng phí crawl budget | Khôi phục trang hoặc chuyển hướng 301, sau đó cập nhật liên kết |
| Chuyển hướng | Liên kết nội bộ phải nhảy qua nhiều bước sẽ làm tăng độ trễ | Trỏ liên kết trực tiếp đến URL cuối cùng |
| Thiếu / trùng title | Title là tín hiệu quan trọng nhất về thứ hạng và tỷ lệ nhấp trong kết quả tìm kiếm | Viết một title duy nhất dài 30–60 ký tự cho mỗi trang |
| Thiếu / trùng description | Google có thể tự tạo đoạn trích kém hơn | Viết một đoạn tóm tắt riêng khoảng 120–160 ký tự |
| Thiếu / nhiều H1 | Chủ đề chính không rõ ràng với người dùng và trình đọc màn hình | Mỗi trang chỉ dùng một H1 mô tả rõ nội dung |
| Noindex | Trang bị loại khỏi kết quả tìm kiếm | Xóa thẻ nếu trang cần được xếp hạng |
| Nội dung mỏng | Dưới 300 từ hiếm khi trả lời trọn vẹn một truy vấn | Mở rộng, gộp hoặc noindex các trang có giá trị thấp |
| Hình ảnh thiếu alt | Ảnh hưởng đến khả năng truy cập và tìm kiếm hình ảnh | Thêm alt text mô tả (dùng alt="" với ảnh trang trí) |
| Trang chậm | Tải HTML quá 1,5 giây sẽ ảnh hưởng đến mọi chỉ số sau đó | Dùng caching, CDN hoặc template nhẹ hơn |
Số lượng từ được tính trên toàn bộ văn bản hiển thị trong phần thân trang, bao gồm cả điều hướng và chân trang. Vì vậy, hãy coi “nội dung mỏng” là gợi ý để xem xét lại chứ không phải kết luận chắc chắn.
Mẹo để quét hiệu quả
Hãy bắt đầu với giới hạn nhỏ để kiểm tra xem crawler có đi theo được menu điều hướng của bạn không, rồi mới chạy quét lớn hơn. Nên sửa lỗi theo template thay vì từng trang một, vì chỉ một mẫu title sai thường là nguyên nhân của hàng trăm trang trùng lặp. Muốn kiểm tra sâu một URL cụ thể, hãy dùng SEO Checker. Muốn xác minh mọi liên kết trên một trang, hãy dùng Broken Link Checker.
Cũng được tìm dưới tên: kiểm tra seo website, công cụ crawl website, quét lỗi seo, audit seo website miễn phí, kiểm tra title trùng lặp, thay thế screaming frog, công cụ seo kỹ thuật.
Các công cụ dùng kèm tốt với Website Crawler
- Công cụ tạo Sitemap — Quét website của bạn và nhận một file sitemap.xml gọn gàng, chỉ chứa những trang đáng được index: trạng thái 200, không có noindex, tự canonical.
- Kiểm tra Meta Tag — Xem chính xác Google có khả năng hiển thị trang của bạn như thế nào: title và description được đo bằng pixel, xem trước desktop và mobile, cùng mọi thẻ meta trong <head>.
- Kiểm tra Heading — Hình dung dàn ý heading của bất kỳ trang nào.
- Giải thích robots.txt — Các quy tắc robots.txt ngắn nhưng dễ hiểu sai.
Câu hỏi thường gặp
Công cụ có render JavaScript không?
Không. Công cụ phân tích HTML mà máy chủ gửi về, cũng là thứ mà công cụ tìm kiếm nhìn thấy đầu tiên. Các trang và liên kết chỉ tồn tại sau khi render phía client sẽ không được tìm thấy.
Tôi có thể quét tối đa bao nhiêu trang?
Tối đa 100 trang mỗi lần quét. Hãy chọn giới hạn nhỏ hơn nếu chỉ cần kiểm tra nhanh; bạn có thể dừng quét bất cứ lúc nào và vẫn xuất được dữ liệu đã thu thập.
Công cụ có tuân thủ robots.txt không?
Có. Công cụ quét dưới tên DevPackBot và làm theo quy tắc robots.txt dành cho DevPackBot (hoặc nhóm *), bỏ qua các URL bị disallow và tôn trọng Crawl-delay. Nếu bạn muốn chặn nó, hãy thêm “User-agent: DevPackBot” cùng với “Disallow: /”.
Vì sao công cụ tìm thấy ít trang hơn số trang website của tôi có?
Công cụ chỉ tìm thấy những trang được liên kết từ các trang đã quét. Các trang mồ côi (chỉ có trong sitemap), liên kết được thêm bởi JavaScript và liên kết đến subdomain khác sẽ không được theo dõi. Hãy đối chiếu với sitemap bằng Sitemap Validator.
Việc quét có làm chậm website của tôi không?
Công cụ tải tối đa bốn trang cùng lúc (một trang mỗi lần nếu robots.txt của bạn đặt Crawl-delay), tương đương với một người truy cập đang lướt nhanh. Mỗi lần quét được giới hạn ở 100 trang.
Đây có thay thế được các crawler cài trên máy như Screaming Frog không?
Công cụ bao phủ các kiểm tra on-page và trạng thái phổ biến nhất mà không cần cài đặt gì, rất phù hợp cho audit nhanh. Với website rất lớn, cần render JavaScript hoặc trích xuất dữ liệu tùy chỉnh, crawler cài trên máy vẫn là lựa chọn tốt hơn.