Unicode-Normalisierung: warum gleiche Buchstaben verschiedene Strings sein können

Zwei Anzeigen „Café“ können gleich aussehen. Eine enthält U+00E9, die andere e plus U+0301. Beide sind gültiges Unicode, aber ohne gemeinsame Normalisierung erkennt ein binärer Vergleich verschiedene Folgen.
Beispiel mit zerlegtem Buchstaben laden
NFC und NFD bewahren kanonische Bedeutung
NFD zerlegt Zeichen in Grundbuchstaben und kombinierende Marken; NFC setzt sie nach Möglichkeit zusammen. Kanonisch gleichwertiger Text kann dennoch aus anderen Codepoints bestehen und ohne Normalisierung ungleich vergleichen.
NFKC und NFKD verändern mehr
Kompatibilitätsformen falten zusätzlich Darstellungsvarianten. Das kann für einen bewusst entworfenen Suchschlüssel nützlich sein, aber Unterschiede in Mathematik, Produktcodes oder Oberflächen beseitigen. Mehr Änderung bedeutet nicht automatisch mehr Qualität.
Eine Systemgrenze festlegen
Normalisieren Sie dokumentiert vor dem Speichern, beim Indexaufbau oder vor dem Schlüsselvergleich. Werden manche Werte beim Schreiben und andere erst beim Suchen normalisiert, entstehen schwer erkennbare Duplikate.
Exakte Daten nicht still ändern
Passwörter, Signaturen, Hashes, signierte Dokumente und bytegenaue Kennungen dürfen nicht nachträglich normalisiert werden. Bei einer Migration gehören Original, Kandidat und Kollisionsbericht zusammen.
Normalisierung ist keine Bereinigung
NFC entfernt nicht automatisch ZWSP, BiDi- oder C0-Zeichen. Eine kombinierende Marke kann allein keine Breite haben und dennoch orthografisch nötig sein. Vergleich, Anzeige und Filterung sind getrennte Ziele.
Kollisionen testen
Zwei vorhandene Datensätze können denselben normalisierten Schlüssel erhalten. Zählen Sie solche Paare vor der Migration und testen Sie Schriften mit vielen kombinierenden Zeichen. Das Original bleibt abrufbar.
Prüfung in JavaScript
Die Strings sehen gleich aus, vergleichen zunächst aber ungleich. NFC bringt beide in dieselbe Form; Codepoint-Listen machen die Änderung nachvollziehbar.
const composed = "caf\u00E9";
const decomposed = "cafe\u0301";
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));Vor dem Einsatz
- Feld und Form benennen.
- Originalwerte sichern.
- Kollisionen auf einer Kopie suchen.
- Suche, Sortierung und Export testen.
- Normalisierung nicht mit Löschen vermischen.
Quellen und Spezifikationen
- Unicode Standard Annex #15: Normalization Forms
- Unicode Normalization FAQ
- MDN: String.prototype.normalize()
Verwandte Anleitungen
- Verwechselbare Buchstaben verschiedener Schriften: Latein und Kyrillisch
- Codierungsfehler oder unsichtbares Zeichen: zwei Diagnosen
- Unsichtbare Unicode-Zeichen: erst diagnostizieren
Mykola beschreibt hier einen prüfbaren Mechanismus. Der Datenvertrag bestimmt die passende Form.