Cách dùng Xóa Dòng Trùng Lặp
- Dán danh sách vào ô Đầu vào (mỗi mục một dòng) hoặc mở tệp
.txt/.csv. - Chọn cách so sánh dòng: Bỏ qua chữ hoa/thường coi “Apple” và “apple” là một, Cắt khoảng trắng bỏ qua khoảng trắng đầu và cuối dòng.
- Tùy chọn: chọn kiểu Sắp xếp — theo bảng chữ cái, số tự nhiên, độ dài, đảo ngược hoặc xáo trộn.
- Sao chép hoặc tải kết quả về. Bộ đếm sẽ hiển thị số dòng trùng và dòng trống đã bị xóa.
Công cụ xóa dòng trùng lặp làm gì?
Công cụ đọc văn bản theo từng dòng, chỉ giữ lại lần xuất hiện đầu tiên (hoặc cuối cùng) của mỗi dòng, xóa các dòng lặp lại và giữ nguyên thứ tự ban đầu. Đây là cách nhanh nhất để dọn dẹp danh sách email, danh sách từ khóa, URL thu thập từ crawler, nhật ký hệ thống, cột CSV, danh sách thẻ tag hoặc bất kỳ tệp xuất dữ liệu nào có giá trị lặp lại — mà không cần mở bảng tính hay viết script. Mọi xử lý đều diễn ra trên trình duyệt của bạn, nên ngay cả danh sách hàng trăm nghìn dòng cũng được xử lý tức thì và riêng tư.
Các tùy chọn so sánh
| Tùy chọn | Tác dụng | Ví dụ |
|---|---|---|
| Bỏ qua chữ hoa/thường | Các dòng chỉ khác nhau về viết hoa được coi là trùng; giữ cách viết của dòng đầu tiên. | Apple, apple, APPLE → Apple |
| Cắt khoảng trắng | Xóa khoảng trắng và tab ở đầu và cuối dòng trước khi so sánh và trong kết quả. | " red " và "red" → red |
| Xóa dòng trống | Loại bỏ các dòng trống hoặc chỉ chứa khoảng trắng. | — |
| Chỉ giữ dòng không lặp lại | Xóa mọi bản sao của dòng bị trùng, chỉ để lại các giá trị xuất hiện đúng một lần. | a b a c → b c |
| Giữ lần xuất hiện cuối | Mỗi giá trị nằm ở vị trí lần xuất hiện cuối cùng — hữu ích với nhật ký mà mục mới nhất là mục cần giữ. | a b a → b a |
Sắp xếp dòng
- A → Z / Z → A sắp xếp theo bảng chữ cái dựa trên quy tắc ngôn ngữ (locale) của trình duyệt, nên chữ có dấu nằm cạnh chữ gốc (
éđứng cùnge). - Tự nhiên (Natural) sắp xếp các số trong văn bản theo giá trị:
file2,file10,file100thay vì thứ tự chữ cái thông thườngfile10,file100,file2. - Theo độ dài sắp xếp dòng từ ngắn đến dài (hoặc ngược lại), tiện để tìm các dòng bất thường.
- Xáo trộn sắp xếp ngẫu nhiên bằng thuật toán Fisher–Yates không thiên lệch — phù hợp để bốc thăm, lấy mẫu hoặc tạo dữ liệu kiểm thử ngẫu nhiên.
Tương đương với lệnh dòng lệnh
Trên Linux hoặc macOS, sort -u file.txt xóa dòng trùng nhưng cũng sắp xếp luôn; awk '!seen[$0]++' file.txt giữ nguyên thứ tự gốc giống chế độ mặc định của công cụ này; sort file.txt | uniq -u chỉ giữ các dòng không lặp lại; sort -V là sắp xếp tự nhiên. Trang này cho kết quả tương tự mà không cần terminal, đồng thời cho bạn biết chính xác dòng nào bị trùng và trùng bao nhiêu lần.
Cần so sánh hai danh sách? Hãy dùng Diff Checker. Muốn đổi chữ hoa/thường cho toàn bộ danh sách trước, hãy chạy qua Case Converter.
Cũng được tìm dưới tên: loại bỏ dòng trùng, dedupe lines, remove duplicates, sắp xếp dòng theo alphabet, xáo trộn dòng ngẫu nhiên, làm sạch danh sách, lọc dòng duy nhất.
Các công cụ dùng kèm tốt với Xóa Dòng Trùng Lặp
- Đếm từ — Dán hoặc gõ văn bản để đếm từ và ký tự theo thời gian thực, kèm thời gian đọc và thời gian nói, mật độ từ khóa và kiểm tra độ dài cho tiêu đề SEO, mô tả meta và bài đăng mạng xã hội.
- CSV sang JSON — Dán CSV hoặc TSV để nhận mảng JSON gồm các object.
- Tạo slug URL — Chuyển mọi tiêu đề thành slug URL gọn gàng, viết thường, với cách bỏ dấu, chuyển ä/ö/ü và chữ Cyrillic chính xác.
- Trình tạo bảng Markdown — Tạo bảng trong trình soạn thảo kiểu bảng tính — hoặc dán ô từ Excel, Google Sheets hay CSV — chọn căn lề cho cột và nhận ngay bảng Markdown (GitHub-flavored) được căn thẳng hàng, hoặc HTML sạch sẽ.