So nutzt du: Doppelte Zeilen entfernen
- Füge deine Liste in Eingabe ein (ein Eintrag pro Zeile) oder öffne eine
.txt- bzw..csv-Datei. - Lege fest, wie Zeilen verglichen werden: Groß-/Kleinschreibung ignorieren behandelt „Apple“ und „apple“ als gleich, Leerzeichen trimmen ignoriert führende und nachgestellte Leerzeichen.
- Wähle optional eine Sortierung: alphabetisch, natürlich numerisch, nach Länge, umgekehrt oder gemischt.
- Kopiere oder lade das Ergebnis herunter. Die Zähler zeigen, wie viele Duplikate und leere Zeilen entfernt wurden.
Was macht ein Entferner für doppelte Zeilen?
Er geht den Text Zeile für Zeile durch und behält nur das erste (oder letzte) Vorkommen jeder Zeile. Wiederholungen werden gelöscht, während die ursprüngliche Reihenfolge erhalten bleibt. Das ist der schnellste Weg, um E-Mail-Listen, Keyword-Listen, URLs aus einem Crawl, Logeinträge, CSV-Spalten, Tag-Listen oder jeden Export zu bereinigen, der denselben Wert mehrfach enthält – ohne Tabellenkalkulation oder Skript. Alles läuft in deinem Browser, daher werden selbst Listen mit Hunderttausenden Zeilen sofort und privat verarbeitet.
Vergleichsoptionen
| Option | Wirkung | Beispiel |
|---|---|---|
| Groß-/Kleinschreibung ignorieren | Zeilen, die sich nur in der Groß- und Kleinschreibung unterscheiden, gelten als Duplikate; die erste Schreibweise bleibt erhalten. | Apple, apple, APPLE → Apple |
| Leerzeichen trimmen | Führende und nachgestellte Leerzeichen und Tabs werden vor dem Vergleich und in der Ausgabe entfernt. | " rot " und "rot" → rot |
| Leere Zeilen entfernen | Leere Zeilen oder Zeilen, die nur aus Leerzeichen bestehen, werden gelöscht. | — |
| Nur Zeilen behalten, die sich nie wiederholen | Entfernt jede Kopie einer doppelten Zeile, sodass nur Werte übrig bleiben, die genau einmal vorkommen. | a b a c → b c |
| Letztes Vorkommen behalten | Jeder Wert bleibt an der Position seines letzten Auftretens – praktisch bei Logs, bei denen der neueste Eintrag zählt. | a b a → b a |
Zeilen sortieren
- A → Z / Z → A sortiert alphabetisch nach der lokalen Sortierung deines Browsers, sodass akzentuierte Buchstaben neben ihren Grundbuchstaben stehen (
ébeie). - Natürlich sortiert Zahlen im Text nach ihrem Wert:
datei2,datei10,datei100statt der rein alphabetischen Reihenfolgedatei10,datei100,datei2. - Nach Länge ordnet Zeilen von kurz nach lang (oder umgekehrt), praktisch zum Finden von Ausreißern.
- Mischen randomisiert die Reihenfolge mit einem unverzerrten Fisher–Yates-Shuffle – für Verlosungen, Stichproben oder zufällige Testdaten.
Entsprechende Befehlszeilen-Rezepte
Unter Linux oder macOS entfernt sort -u file.txt Duplikate, sortiert aber auch; awk '!seen[$0]++' file.txt behält die ursprüngliche Reihenfolge wie die Standardeinstellung dieses Tools; sort file.txt | uniq -u behält nur Zeilen, die sich nie wiederholen; sort -V ist eine natürliche Sortierung. Diese Seite liefert dieselben Ergebnisse ohne Terminal und zeigt genau, welche Zeilen wie oft doppelt vorkamen.
Willst du stattdessen zwei Listen vergleichen? Nutze den Diff Checker. Um vorher die Groß- und Kleinschreibung der ganzen Liste zu ändern, schicke sie durch den Case Converter.
Auch gesucht als: zeilen deduplizieren, duplikate entfernen, doppelte zeilen löschen, eindeutige zeilen, zeilen sortieren, liste bereinigen, remove duplicates, dedupe lines.
Passende Tools zu: Doppelte Zeilen entfernen
- Wortzähler — Füge deinen Text ein oder gib ihn ein, um Wörter und Zeichen in Echtzeit zu zählen – dazu kommen Lese- und Sprechzeit, Schlüsselwortdichte sowie Längenprüfungen für SEO-Titel, Meta-Beschreibungen und Social-Media-Beiträge.
- CSV zu JSON — Füge CSV oder TSV ein und erhalte ein JSON-Array aus Objekten.
- Slug-Generator — Wandle jeden Titel in einen sauberen, kleingeschriebenen URL-Slug um – mit korrekter Transliteration von Akzenten, Umlauten und kyrillischer Schrift, optionalem Entfernen von Stoppwörtern und einem Massenmodus für ganze Listen.
- Markdown-Tabellen-Generator — Erstelle eine Tabelle in einem tabellenkalkulationsähnlichen Editor — oder füge Zellen aus Excel, Google Sheets oder CSV ein, lege die Spaltenausrichtung fest und erhalte eine sauber ausgerichtete Markdown-Tabelle (GitHub-Flavored) oder sauberes HTML.