Phân tích User Agent

Chuỗi user agent là gì?

User agent (UA) là chuỗi văn bản mà trình duyệt hoặc HTTP client gửi trong header User-Agent của mỗi request để tự nhận diện. Máy chủ dùng nó cho analytics, xử lý lỗi tương thích, quản lý bot và trả về đúng phiên bản tải xuống. Một chuỗi Chrome trên Windows thông thường trông như sau:

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36

Chuỗi này đầy “di sản” lịch sử: trình duyệt nào cũng tự nhận là “Mozilla/5.0”, Chrome có nhắc đến Safari và Gecko, còn Edge thêm Edg/ vào chuỗi của Chrome. Vì vậy, phân tích đáng tin cậy phải kiểm tra các token theo đúng thứ tự: Edge trước Chrome, Chrome trước Safari.

Cách trình phân tích này hoạt động

• Bot trước tiên: hàng chục token của crawler được đối chiếu, bao gồm công cụ tìm kiếm (Googlebot, Bingbot, YandexBot, Applebot), AI crawler (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, CCBot, Bytespider), xem trước trên mạng xã hội (facebookexternalhit, Twitterbot, Slackbot), công cụ SEO và thư viện HTTP (curl, python-requests, Go-http-client).
• Trình duyệt: các trình duyệt cụ thể (Edge, Opera, Samsung Internet, Vivaldi, Yandex, trình duyệt trong ứng dụng) được kiểm tra trước các token chung của Chrome, Firefox và Safari.
• Engine: Blink cho trình duyệt Chromium, Gecko cho Firefox, WebKit cho Safari, và WebKit cho mọi trình duyệt trên iOS, vì Apple yêu cầu WebKit trên nền tảng này (ngoài EU).
• OS & thiết bị: các phiên bản Windows NT được ánh xạ sang tên gọi, phiên bản iOS/Android được trích xuất, và loại thiết bị được xác định từ các token như Mobile, iPad hoặc SMART-TV.

Giới hạn của việc nhận diện user agent

Vì lý do quyền riêng tư, các trình duyệt hiện nay “đóng băng” một phần chuỗi. Chrome báo phiên bản phụ dưới dạng .0.0.0, Chrome trên Android gửi Android 10; K thay vì phiên bản và model thực, Windows 11 vẫn ghi Windows NT 10.0, và Safari báo macOS là 10_15_7. Giá trị chính xác chỉ có qua User-Agent Client Hints (header Sec-CH-UA-* hoặc navigator.userAgentData), và công cụ này cũng đọc các giá trị đó cho trình duyệt của bạn. Ngoài ra, bất kỳ client nào cũng có thể gửi chuỗi tùy ý, nên đừng bao giờ dùng UA để đưa ra quyết định bảo mật.

Xác minh lưu lượng Googlebot thật

Các scraper thường giả danh Googlebot. Để xác minh, hãy thực hiện reverse DNS lookup với IP của khách truy cập (tên miền phải kết thúc bằng googlebot.com, google.com hoặc googleusercontent.com), sau đó forward lookup với hostname đó và kết quả phải trả về đúng IP ban đầu. Bạn có thể thực hiện cả hai bước với DNS Lookup của chúng tôi. Để kiểm tra AI crawler nào được robots.txt của bạn cho phép, hãy dùng AI Crawler Checker.

Cũng được tìm dưới tên: user agent là gì, ua parser, user agent của tôi, nhận diện trình duyệt, phát hiện bot, googlebot user agent, gptbot, phát hiện thiết bị.

Các công cụ dùng kèm tốt với Phân tích User Agent

• IP Của Tôi Là Gì — Địa chỉ IP công khai của bạn và mọi thông tin trình duyệt tiết lộ cho các website bạn truy cập: user agent, màn hình, ngôn ngữ, múi giờ và request header.
• Kiểm tra Robots.txt — Kiểm tra URL được phép hay bị chặn với Googlebot, Bingbot, GPTBot và các crawler khác, xem chính xác rule nào đã khớp, rồi chỉnh sửa file để thử thay đổi trước khi đưa lên website.
• Kiểm tra HTTP Header — Nhập bất kỳ URL nào và xem chính xác máy chủ trả về gì: mã trạng thái, chuỗi chuyển hướng và mọi response header, kèm giải thích dễ hiểu cho những header quan trọng với SEO, cache và bảo mật.
• Phân tích Email Header — Dán header gốc của email để xem toàn bộ hành trình: từng máy chủ trung gian cùng thời gian xử lý, kết quả SPF, DKIM và DMARC, IP gốc, và các dấu hiệu cảnh báo như Reply-To hoặc Return-Path không khớp.