Decodificador de Unicode

Esta ferramenta suporta \uXXXX (BMP), \UXXXXXXXX (Unicode completo), &#DDDD; (entidade HTML decimal), &#xHHHH; (entidade HTML hexadecimal) e U+XXXX (notação de ponto de código) para decodificação.

UTF-8 codifica cada ponto de código Unicode usando 1 a 4 bytes. Caracteres ASCII (U+0000 a U+007F) usam 1 byte, caracteres latinos e outros comuns usam 2 bytes, a maioria dos caracteres CJK usa 3 bytes e emojis e caracteres raros usam 4 bytes.

\uXXXX usa 4 dígitos hexadecimais e pode representar caracteres no Plano Multilíngue Básico (U+0000 a U+FFFF). \UXXXXXXXX usa 8 dígitos hexadecimais e pode representar qualquer caractere Unicode, incluindo aqueles além do BMP.

São sinais de mojibake: bytes UTF-8 descodificados como Windows-1252/Latin-1. «Ã©» significa que os dois bytes UTF-8 de «é» (0xC3 0xA9) foram mostrados como caracteres separados. Use o modo Corrigir. «ï¿½» é U+FFFD: esses bytes estão perdidos para sempre.

O UTF-8 codifica caracteres em 1–4 bytes e é compatível com ASCII — é o padrão da web, JSON e APIs. O UTF-16 usa 2 ou 4 bytes (pares substitutos além de U+FFFF) e é usado internamente por JavaScript, Java e Windows. Para texto web, UTF-8 é mais compacto e seguro.

Um ponto de código é um número atribuído a um caractere na norma Unicode (U+00E9 para o e com acento agudo); uma unidade de código é a unidade de armazenamento que uma codificação utiliza. As unidades de código de UTF-8 são bytes de 8 bits - U+00E9 ocupa duas - enquanto as unidades de código de UTF-16 têm 16 bits, e os caracteres para além de U+FFFF precisam de duas delas (um par surrogate). As strings de JavaScript são UTF-16, pelo que 'hello'.length é 5, mas o .length de um emoji é 2.

O mesmo caractere visível pode ter várias sequências de bytes: o e com acento agudo como um único caractere pré-composto (NFC) ou como e mais um acento combinante (NFD). NFC compõe, NFD decompõe, e NFKC/NFKD adicionalmente dobram os caracteres de compatibilidade (formas full-width, ligaduras). Comparar ou fazer hash de dados introduzidos pelo utilizador sem normalizar primeiro é uma fonte clássica de contas duplicadas e de pesquisas falhadas - a ligadura fi vs f+i.

A marca de ordem de bytes (byte order mark, BOM) é U+FEFF codificado no início de um fluxo (EF BB BF em UTF-8) para sinalizar a codificação. Os editores normalmente escondem-na, mas a jusante torna-se um primeiro caractere invisível: um cabeçalho CSV ganha uma chave fantasma, a análise de JSON falha no token intruso, e as sessões PHP emitem-na antes dos cabeçalhos. UTF-8 não precisa de BOM, pois não tem ambiguidade de ordem de bytes - guarde sem ele.