Unicode-Normalisierung: warum gleiche Buchstaben verschiedene Strings sein können

Thematische Illustration zum Artikel: Unicode-Normalisierung: warum gleiche Buchstaben verschiedene Strings sein können
Praktische Illustration zum Artikel

Zwei Anzeigen „Café“ können gleich aussehen. Eine enthält U+00E9, die andere e plus U+0301. Beide sind gültiges Unicode, aber ohne gemeinsame Normalisierung erkennt ein binärer Vergleich verschiedene Folgen.

Beispiel mit zerlegtem Buchstaben laden

NFC und NFD bewahren kanonische Bedeutung

NFD zerlegt Zeichen in Grundbuchstaben und kombinierende Marken; NFC setzt sie nach Möglichkeit zusammen. Kanonisch gleichwertiger Text kann dennoch aus anderen Codepoints bestehen und ohne Normalisierung ungleich vergleichen.

NFKC und NFKD verändern mehr

Kompatibilitätsformen falten zusätzlich Darstellungsvarianten. Das kann für einen bewusst entworfenen Suchschlüssel nützlich sein, aber Unterschiede in Mathematik, Produktcodes oder Oberflächen beseitigen. Mehr Änderung bedeutet nicht automatisch mehr Qualität.

Eine Systemgrenze festlegen

Normalisieren Sie dokumentiert vor dem Speichern, beim Indexaufbau oder vor dem Schlüsselvergleich. Werden manche Werte beim Schreiben und andere erst beim Suchen normalisiert, entstehen schwer erkennbare Duplikate.

Exakte Daten nicht still ändern

Passwörter, Signaturen, Hashes, signierte Dokumente und bytegenaue Kennungen dürfen nicht nachträglich normalisiert werden. Bei einer Migration gehören Original, Kandidat und Kollisionsbericht zusammen.

Normalisierung ist keine Bereinigung

NFC entfernt nicht automatisch ZWSP, BiDi- oder C0-Zeichen. Eine kombinierende Marke kann allein keine Breite haben und dennoch orthografisch nötig sein. Vergleich, Anzeige und Filterung sind getrennte Ziele.

Kollisionen testen

Zwei vorhandene Datensätze können denselben normalisierten Schlüssel erhalten. Zählen Sie solche Paare vor der Migration und testen Sie Schriften mit vielen kombinierenden Zeichen. Das Original bleibt abrufbar.

Prüfung in JavaScript

Die Strings sehen gleich aus, vergleichen zunächst aber ungleich. NFC bringt beide in dieselbe Form; Codepoint-Listen machen die Änderung nachvollziehbar.

const composed = "caf\u00E9";
const decomposed = "cafe\u0301";
console.log(composed === decomposed);
console.log(composed.normalize("NFC") === decomposed.normalize("NFC"));

Vor dem Einsatz

  1. Feld und Form benennen.
  2. Originalwerte sichern.
  3. Kollisionen auf einer Kopie suchen.
  4. Suche, Sortierung und Export testen.
  5. Normalisierung nicht mit Löschen vermischen.

Textbereiniger öffnen

Quellen und Spezifikationen

Verwandte Anleitungen

Mykola beschreibt hier einen prüfbaren Mechanismus. Der Datenvertrag bestimmt die passende Form.