Как пользоваться: Удаление дублей строк
- Вставьте список в поле Входные данные (по одному элементу в строке) или откройте файл
.txt/.csv. - Выберите, как сравнивать строки: Игнорировать регистр считает «Apple» и «apple» одинаковыми, Убирать пробелы не учитывает пробелы и табуляции в начале и в конце строки.
- При желании выберите порядок Сортировки: по алфавиту, естественная сортировка по числам, по длине, в обратном порядке или случайная.
- Скопируйте или скачайте результат. Счётчики покажут, сколько дубликатов и пустых строк было удалено.
Что делает удаление дубликатов строк?
Инструмент построчно проходит текст и оставляет только первое (или последнее) вхождение каждой строки, удаляя повторы и сохраняя исходный порядок. Это самый быстрый способ почистить списки email-адресов, списки ключевых слов, URL из результатов обхода сайта, записи логов, столбцы CSV, списки тегов или любой экспорт, где одно и то же значение встречается несколько раз. Не нужно открывать таблицу или писать скрипт. Всё работает в вашем браузере, поэтому даже списки из сотен тысяч строк обрабатываются мгновенно и приватно.
Параметры сравнения
| Параметр | Действие | Пример |
|---|---|---|
| Игнорировать регистр | Строки, которые отличаются только регистром, считаются дубликатами; сохраняется первое написание. | Apple, apple, APPLE → Apple |
| Убирать пробелы | Пробелы и табуляции в начале и в конце строки удаляются до сравнения и в результате. | " red " и "red" → red |
| Удалять пустые строки | Пустые строки и строки только из пробелов удаляются. | — |
| Оставить только строки, которые не повторяются | Удаляет все копии повторяющейся строки, оставляя значения, которые встречаются ровно один раз. | a b a c → b c |
| Оставить последнее вхождение | Каждое значение остаётся на позиции своего последнего появления. Удобно для логов, где важна последняя запись. | a b a → b a |
Сортировка строк
- А → Я / Я → А сортирует по алфавиту с учётом локали вашего браузера, поэтому буквы с диакритикой стоят рядом с базовыми (
éрядом сe). - Естественная сортирует числа внутри текста по значению:
file2,file10,file100вместо обычного алфавитного порядкаfile10,file100,file2. - По длине упорядочивает строки от самой короткой к самой длинной (или наоборот), что удобно для поиска выбросов.
- Перемешать случайно переставляет строки алгоритмом Фишера–Йетса без смещения. Подходит для розыгрышей, выборок и случайных тестовых данных.
Эквиваленты в командной строке
В Linux или macOS команда sort -u file.txt удаляет дубликаты, но также сортирует. awk '!seen[$0]++' file.txt сохраняет исходный порядок, как поведение инструмента по умолчанию. sort file.txt | uniq -u оставляет только строки, которые не повторяются. sort -V выполняет естественную сортировку. Эта страница даёт те же результаты без терминала и показывает, какие строки повторялись и how часто.
Нужно сравнить два списка? Используйте Diff Checker. Чтобы сначала изменить регистр всего списка, пропустите его через Case Converter.
Также ищут как: dedupe lines, remove duplicates.
Инструменты, которые хорошо сочетаются с Удаление дублей строк
- Счётчик слов — Вставьте или напишите текст, чтобы сразу увидеть количество слов и символов, а также время чтения и произнесения, плотность ключевых слов и проверку длины для SEO-заголовков, мета-описаний и постов в соцсетях.
- CSV в JSON — Вставьте CSV или TSV и получите JSON-массив объектов.
- Генератор slug — Превратите любой заголовок в чистый URL-slug в нижнем регистре.
- Генератор таблиц Markdown — Соберите таблицу в редакторе, похожем на электронную таблицу, или вставьте ячейки из Excel, Google Sheets или CSV, задайте выравнивание столбцов и получите аккуратно оформленную таблицу Markdown (в стиле GitHub) или чистый HTML.