Unicode 文字エンコード

UCS-2

国際標準化機構 (ISO) および国際電気標準会議 (IEC) 標準 10646 (ISO/IEC 10646) は、Universal Multiple-Octet Coded Character Set (UCS) を規定しています。 この文字セットには、16 ビット (2 バイト) バージョン (UCS-2) と 32 ビット (4 バイト) バージョン (UCS-4) があります。 UCS-2 は、サロゲートのない Unicode 16 ビット形式と同一です。 UCS-2 は、Unicode バージョン 3.0 レパートリーで定義されているすべての (16 ビット) 文字をエンコードできます。 Unicode バージョン 3.1以降では、新しい補足文字をそれぞれエンコードするために、2 つの UCS-2 文字 (高位の後に低位のサロゲートが続く) が必要です。 これらの補足文字は、 オリジナルの 16 ビットの Basic Multilingual Plane (BMP または Plane 0) の外部で定義されています。

UTF-16

ISO/IEC 10646 では、2 つの UCS-2 文字を使用して一部の UCS-4 文字をエンコードするための拡張技法も定義されています。 この拡張は UTF-16 といい、サロゲートのある Unicode 16 ビットのエンコード形式と同じです。 要約すると、 UTF-16 文字レパートリーは、すべての UCS-2 文字と、サロゲート・ペアを介してアクセス可能な追加の 1,000,000 文字で構成されます。

16 ビット Unicode 文字をバイトにシリアライズする場合、バイトが表示される順序は、使用されているプロセッサーによって異なります。 プロセッサーの中には、最初の位置に最上位バイトを置くもの (ビッグ・エンディアン・オーダーと呼ばれる) と、最下位バイトを最初に置くもの (リトル・エンディアン・オーダーと呼ばれる) があります。 Unicode のデフォルトのバイト・オーダーはビッグ・エンディアンです。

UTF-8

16 ビットの Unicode 文字には、 バイト試行の ASCII ベース・アプリケーションとファイル・システムに関する大きな問題があります。 例えば、非 Unicode 対応アプリケーションは、大文字「A」(U+0041) の先行 8 個のゼロ・ビットを 1 バイト ASCII NULL 文字と誤って解釈する可能性があります。

UTF-8 (UCS 変換形式 8) は、一種の変換アルゴリズムであり、 固定長の Unicode 文字を可変長の ASCII セーフ・バイト・ストリングに変換します。 UTF-8 では、ASCII 文字や制御文字はそれぞれ通常の単一バイト・コードで表されますが、 他の文字は 2 バイト以上の長さになります。 UTF-8 は、非補足文字と補足文字の両方をエンコードできます。

UTF-8 文字は最大で 4 バイト長までです。 非補足文字の長さは最大 3 バイトで、補足文字の長さは 4 バイトです。