Декодер Unicode

Этот инструмент поддерживает \uXXXX (BMP), \UXXXXXXXX (полный Unicode), &#DDDD; (десятичная HTML-сущность), &#xHHHH; (шестнадцатеричная HTML-сущность) и U+XXXX (нотация кодовой точки) для декодирования.

UTF-8 кодирует каждую кодовую точку Unicode, используя от 1 до 4 байтов. Символы ASCII (от U+0000 до U+007F) используют 1 байт, латинские и другие распространённые символы — 2 байта, большинство CJK-символов — 3 байта, а эмодзи и редкие символы — 4 байта.

\uXXXX использует 4 шестнадцатеричные цифры и может представлять символы в базовой многоязычной плоскости (от U+0000 до U+FFFF). \UXXXXXXXX использует 8 шестнадцатеричных цифр и может представлять любой символ Unicode, включая символы за пределами BMP.

Это признаки mojibake: байты UTF-8 были декодированы как Windows-1252/Latin-1. «Ã©» означает, что два байта UTF-8 буквы «é» (0xC3 0xA9) показаны как два отдельных символа. Используйте режим исправления. «ï¿½» — это U+FFFD, символ замены: байты уже потеряны и восстановить их нельзя.

UTF-8 кодирует символы 1–4 байтами и полностью совместим с ASCII — это стандарт для веба, JSON и API. UTF-16 использует 2 или 4 байта (суррогатные пары для символов после U+FFFF) и применяется внутри JavaScript, Java и Windows. Для веб-текстов UTF-8 обычно компактнее и надёжнее.

Кодовая точка — это число, присвоенное символу в стандарте Unicode (U+00E9 для буквы é); кодовая единица — это единица хранения, которую использует кодировка. Кодовые единицы UTF-8 — это 8-битные байты, и U+00E9 занимает две, в то время как кодовые единицы UTF-16 — 16-битные, и символам за пределами U+FFFF требуются две такие единицы (суррогатная пара). Строки в JavaScript — это UTF-16, поэтому 'hello'.length равно 5, а .length эмодзи — 2.

Один и тот же видимый символ может быть представлен несколькими байтовыми последовательностями: é как один прекомпозированный символ (NFC) или e плюс комбинируемое ударение (NFD). NFC выполняет композицию, NFD — декомпозицию, а NFKC/NFKD дополнительно сворачивают символы совместимости (полноширинные формы, лигатуры). Сравнение или хеширование пользовательского ввода без предварительной нормализации — классическая причина дублирующихся учётных записей и неудачных поисков — лигатура fi против f+i.

Маркер порядка байтов (BOM) — это U+FEFF, закодированный в начале потока (EF BB BF в UTF-8) для указания кодировки. Редакторы обычно его скрывают, но дальше по цепочке он становится невидимым первым символом: заголовок CSV получает фантомный ключ, разбор JSON падает на лишнем токене, а сессии PHP выводят его до отправки заголовков. UTF-8 не нуждается в BOM, так как не имеет неоднозначности порядка байтов — сохраняйте файлы без него.