Невидимі символи Unicode: спочатку діагностика

Однакові на вигляд рядки можуть містити різні кодові точки. U+200B дозволяє перенесення, U+00A0 запобігає йому, U+200D з’єднує знаки, зокрема в деяких емодзі. Це не обов’язково помилки.
Перевірити цей приклад в очищувачі
Збережіть оригінал, перевірте знайдені коди й очищуйте копію. Залишайте з’єднувальні знаки, потрібні для мови або емодзі. Перевірте результат у цільовій програмі. NFC не видаляє всі невидимі символи. Нуль знахідок не доводить відсутності всіх проблем Unicode.
Як перевірити відмінність
Приклад нижче порівнює invoice42 із рядком, що містить U+200B. Сувора рівність повертає false. Список кодових точок показує причину незалежно від шрифту. Це не доказ поведінки пошуковика: він може перетворювати вхідні дані.
Нормалізація — інша операція
NFC може узгодити складене é та e з комбінованим наголосом. NFKC змінює також сумісні форми, що може вплинути на зміст або вигляд. Не перетворюйте довільно паролі та підписані документи.
Якщо виправлення не допомогло
Перевірте регістр, схожі літери різних абеток і діакритику. Видалення ZWJ може розділити емодзі, а ZWNJ — змінити написання слова. Інструмент не визначає автора тексту й не видаляє універсальну мітку ШІ.
Спочатку визначте тип поля
Для артикула, логіна або ідентифікатора часто існує точний дозволений алфавіт. У такому полі U+200B між цифрами майже напевно порушує перевірку. У звичайному абзаці, емодзі чи слові перською мовою такий самий підхід небезпечний: ZWJ і ZWNJ можуть керувати з’єднанням знаків, а NBSP — утримувати число з одиницею на одному рядку. Правило очищення має походити з вимог поля, а не з загального списку «невидимих» знаків.
Таблиця рішень на практиці
- U+200B ZWSP: перевірте, чи потрібна невидима межа перенесення; у машинному коді часто видаляють точково.
- U+00A0 NBSP: у тексті може бути правильною типографікою; у CSV іноді нормалізують до U+0020.
- U+00AD SHY: підказує місце перенесення; всередині пошукового ключа його зазвичай прибирають без пробілу.
- U+200D ZWJ: може формувати послідовність емодзі або написання; автоматичне видалення змінює відображення.
- U+202A–U+202E: впливають на напрямок; аналізуйте логічний порядок і контекст.
Відтворювана діагностика
- Збережіть оригінал і окремо скопіюйте один проблемний рядок.
- Запишіть очікуваний результат: точний збіг, коректний перенос чи правильне відображення.
- Підсвітіть знаки й випишіть їхні коди та позиції.
- Створіть одну змінену копію, а не запускайте кілька перетворень одночасно.
- Повторіть операцію в системі, де сталася помилка, і порівняйте результат.
Наприклад, після видалення U+200B з invoice[ZWSP]42 перевірте не тільки вигляд, а й сувору рівність, пошук у базі та довжину рядка. Так можна довести, що саме ця зміна усунула проблему.
Чого очищення не виправляє
Схожі латинські й кириличні літери залишаються видимими кодовими точками, помилки OCR — неправильними літерами, а пошкоджене кодування — окремою проблемою декодування. Нормалізація NFC узгоджує деякі складені форми, але не видаляє всі керувальні знаки. Якщо знайдено нуль підтримуваних символів, перевірте ці інші причини.
Конфіденційність і контроль
Для робочих документів використовуйте короткий знеособлений фрагмент. Не вставляйте паролі, токени чи повний список клієнтів. Після зміни збережіть результат під новим ім’ям і залиште початковий файл для порівняння.
Приклад JavaScript
const a = "invoice42";
const b = "invoice\u200B42";
a === b; // false
[...b].map(c => "U+" + c.codePointAt(0).toString(16).toUpperCase());