Unicode デコーダー

\uXXXX（BMP）、\UXXXXXXXX（全 Unicode）、&#DDDD;（10進数 HTML エンティティ）、&#xHHHH;（16進数 HTML エンティティ）、U+XXXX（コードポイント表記）のデコードに対応しています。

UTF-8 は各 Unicode コードポイントを1〜4バイトでエンコードします。ASCII 文字（U+0000〜U+007F）は1バイト、ラテン文字や一般的な文字は2バイト、ほとんどの CJK 文字は3バイト、絵文字や希少文字は4バイトを使用します。

\uXXXX は4桁の16進数で基本多言語面（U+0000〜U+FFFF）の文字を表現できます。\UXXXXXXXX は8桁の16進数で BMP を超えるすべての Unicode 文字を表現できます。

それは mojibake（文字化け）の兆候です：UTF-8 のバイトが Windows-1252/Latin-1 としてデコードされました。「é」は「é」の UTF-8 2 バイト（0xC3 0xA9）が別々の文字として表示されたものです。「文字化けを修復」モードで修復できます。「�」は U+FFFD 置換文字で、バイトが既に失われているため復元できません。

UTF-8 は文字を 1〜4 バイトで符号化し ASCII と完全互換のため、Web・JSON・API の標準です。UTF-16 は 2 または 4 バイト（U+FFFF 超はサロゲートペア）で、JavaScript・Java・Windows の内部表現に使われます。Web のテキストでは UTF-8 の方が小さく安全です。

コードポイントは Unicode 規格で文字に割り当てられた番号(é なら U+00E9)であり、コード単位はエンコーディングが使用する格納単位です。UTF-8 のコード単位は 8 ビットのバイトで、U+00E9 は 2 つを必要とします。一方、UTF-16 のコード単位は 16 ビットで、U+FFFF を超える文字は 2 つのコード単位(サロゲートペア)を必要とします。JavaScript の文字列は UTF-16 なので、'hello'.length は 5 ですが、絵文字の .length は 2 になります。

同じ見た目の文字でも、複数のバイト列が存在する場合があります。é は 1 つの合成済み文字(NFC)でも、e に結合アクセントを付けた形(NFD)でも表現できます。NFC は合成し、NFD は分解します。NFKC/NFKD はさらに互換文字(全角形、合字)を分解します。正規化せずにユーザー入力を比較したりハッシュ化したりすると、アカウントの重複や検索の失敗という典型的な問題が起こります(fi 合字と f+i がその例です)。

バイトオーダーマーク(BOM)は、エンコーディングを示すためにストリームの先頭に配置された U+FEFF の符号表現(UTF-8 では EF BB BF)です。エディターでは通常非表示になりますが、その後の処理では目に見えない先頭文字として振る舞います。CSV ではヘッダーの最初のキーに見えない文字が混ざり、JSON は余計なトークンのせいでパースに失敗し、PHP のセッションではヘッダーの前に BOM が出力されてしまいます。UTF-8 にはバイト順の曖昧さがないため BOM は不要です。BOM を付けずに保存してください。