Unicode-decoder

Deze tool ondersteunt voor het decoderen \uXXXX (BMP), \UXXXXXXXX (volledige Unicode), &#DDDD; (decimale HTML-entiteit), &#xHHHH; (hexadecimale HTML-entiteit) en U+XXXX (codepointnotatie).

UTF-8 codeert elk Unicode-codepoint met 1 tot 4 bytes. ASCII-tekens (U+0000 tot U+007F) gebruiken 1 byte, Latijnse en andere gangbare tekens 2 bytes, de meeste CJK-tekens 3 bytes, en emoji en zeldzame tekens 4 bytes.

\uXXXX gebruikt 4 hexadecimale cijfers en kan tekens in het Basic Multilingual Plane (U+0000 tot U+FFFF) weergeven. \UXXXXXXXX gebruikt 8 hexadecimale cijfers en kan elk Unicode-teken weergeven, ook die voorbij het BMP.

Dit zijn tekenen van mojibake: UTF-8-bytes zijn gedecodeerd als Windows-1252/Latin-1. "é" betekent dat de twee UTF-8-bytes van "é" (0xC3 0xA9) als twee afzonderlijke tekens zijn getoond. Gebruik de modus Verminkte tekst repareren om dit te herstellen. "�" is U+FFFD, het vervangingsteken dat ontstaat wanneer bytes al ongeldig waren - die informatie is verloren en kan niet worden hersteld.

UTF-8 codeert tekens in 1–4 bytes en is volledig ASCII-compatibel, wat het de standaard maakt voor het web, JSON en de meeste API's. UTF-16 codeert tekens in 2 of 4 bytes (met surrogaatparen voor tekens voorbij U+FFFF) en wordt intern gebruikt door JavaScript, Java en Windows. Voor de meeste tekst op het web is UTF-8 kleiner en veiliger.

Een codepoint is een getal dat aan een teken is toegewezen in de Unicode-standaard (U+00E9 voor e-acigu); een code-eenheid is de opslageenheid die een encoding gebruikt. UTF-8-code-eenheden zijn 8-bit bytes - U+00E9 kost er twee - terwijl UTF-16-code-eenheden 16-bit zijn, en tekens voorbij U+FFFF hebben er twee nodig (een surrogaatpaar). JavaScript-strings zijn UTF-16, dus 'hello'.length is 5, maar de .length van een emoji is 2.

Hetzelfde zichtbare teken kan meerdere bytesequenties hebben: e-acigu als één voorgevormd teken (NFC) of als e plus een combinerend accent (NFD). NFC composeert, NFD decomposeert, en NFKC/NFKD vouwen bovendien compatibiliteitstekens samen (fullwidth vormen, ligaturen). Gebruikersinvoer vergelijken of hashen zonder vooraf te normaliseren is een klassieke bron van dubbele accounts en mislukte opzoekingen - fi-ligatuur vs f+i.

De byte-order mark is U+FEFF aan het begin van een stream (EF BB BF in UTF-8) om de encoding aan te duiden. Editors verbergen hem meestal, maar stroomafwaarts wordt hij een onzichtbaar eerste teken: een CSV-kop krijgt een spooksleutel, JSON-parsen faalt op het verdwaalde token, en PHP-sessies sturen hem vóór de headers. UTF-8 heeft geen BOM nodig omdat er geen byte-volgorde-twijdudigheid is - sla op zonder BOM.