【Unicode】Unicodeについて整理してみた

基本多言語面（BMP）

 UCS-4およびUnicodeの最初の面であり、
最初の65536の符号位置 000016-FFFF16からなります。
基本他言語面には、通常使われる文字のほとんどが収録されています。

追加多言語面（SMP）

 現在使うもののいない古代の用字系や人工文字など、
基本多言語面に入りきらなかった文字のうち漢字以外が収録されています。

追加漢字面（SIP）

 追加漢字面（SIP）には、基本他言語面に入りきらなかった漢字が収録されています。

第三漢字面（TIP）

 第三漢字面（TIP）には、追加漢字面に入りきらなかった漢字および古代の漢字が収録されています。

追加特殊用途面（SSP）

 追加特殊用途面（(SSP)には、書式制御文字が収録されています。

私用面

 第15-16面が（BMPのE00016-F8FF16に加え）、
当事者間の私的な合意によって文字を定義できる私用領域を私用面とされています。
 
ISO/IEC 10646（略称: UCS）では
さらに第0群第224-255面と第96-127群が私用領域とされていましたが、
2002年の改訂で削除され、Unicodeと同等になりました。

予約された面

 ISO/IEC 10646では、
第0群第17-223面と第1-95群は将来の標準化のために予約されていました。
2006年の改訂で、Unicodeで使用できない第0群第17面以降と第1群以降は
全て永久に予約された面および群となり、文字が定義されないことになりました。

2.3.1　概説

最初の65536の符号位置である000016～FFFF16からなります。
最もよく使う、基本的な文字・記号のほとんどが含まれます。

2.3.2　符号化

基本他言語面の符号位置は、
UTF-8やUTF-16では、他の面より少ないオクテット（バイト）数で符号化されます。

・ UTF-8では、1～3オクテットで符号化される。
・ UTF-16では、2オクテットで符号化される。
サロゲートペア（代用対）は必要がないため使われない。
・ UTF-32では、他の面と同様4オクテットで符号化される。

2.3.3　配置領域

基本多言語面は、同種の用字をまとめた、いくつかの配置領域に分かれています。

2.3.4　Unicodeコード一覧の見本

CJK統合漢字コード表の一部を下に示します。

CJK統合漢字（シージェーケーとうごうかんじ、英: CJK unified ideographs）は、
ISO/IEC 10646およびUnicodeにて採用されている符号化用漢字集合およびその符号表です。

CJK統合漢字の名称は、 中国語（英: Chinese）、日本語（英: Japanese）、朝鮮語（英: Korean）で
使われている漢字をひとまとめにしたことからきています。

2.4.1　概説

現在使うもののいない古代の用字系や人工文字など、
基本多言語面に入りきらなかった文字のうち漢字以外を収録します。

追加多言語面には、以下のようなスクリプトが収録されています。

・ 希に使われる歴史的スクリプト: 線文字B、ゴート文字など
・ 特殊用途の創作スクリプト: デザレット文字、シェイヴィアン文字など
・ 特殊な表記システム: 音楽記号など。

2.4.2　符号化

追加多言語面の文字は、2オクテット固定長方式のUCS-2では使用することが出来ず、
UTF-8、UTF-16、UTF-32のいずれの符号化方式でも4オクテットで符号化されます。
UTF-16ではサロゲートペア（代用対）を使う必要があります。

2.4.3　配置領域

表2.4-1に、日本語に関係すると思われる追加他言語面の領域を示します。

2.5.1　概説

追加漢字面には、基本他言語面に入りきらなかった漢字が収録されています。

2.5.2　符号化

追加漢字面の文字は、2オクテット固定長方式のUCS-2では使用することが出来ず、
UTF-8、UTF-16、UTF-32のいずれの符号化方式でも4オクテットで符号化されます。
UTF-16ではサロゲートペア（代用対）を使う必要があります。

2.6.1　概説

ロードマップにおいては甲骨文字・金文・小篆といった現在一般的には使用されない
古代の漢字を将来的に収録する予定の追加面の一つでありましたが、
後述の通り、追加漢字面に入りきらなかった（現代の書体に基づく）漢字が最初に収録されました。

2.6.2　符号化

第三漢字面の文字は、2オクテット固定長方式のUCS-2では使用することが出来ず、
UTF-8、UTF-16、UTF-32のいずれの符号化方式でも4オクテットで符号化されます。
UTF-16ではサロゲートペア（代用対）を使う必要があります。

2.7.1　概説

追加特殊用途面には、言語タグや異体字セレクタなどの制御コードが収録されています。

言語タグは、テキストにそれが何語かという言語情報を付けるものです。

異体字セレクタは、文字の字形をより詳細に指定するものであり、基本多言語面にもありますが、
IVSではこの追加特殊用途面にあるものを使います。

IVSについては、こちらのページを参照してください。
VD/IVSとは / 文字情報技術促進協議会

2.7.2　符号化

追加特殊用途面は、2オクテット固定長方式のUCS-2では使用することが出来ず、
UTF-8、UTF-16、UTF-32のいずれの符号化方式でも4オクテットで符号化されます。
UTF-16ではサロゲートペア（代用対）を使う必要があります。

2.8.1　概説

Unicodeでは、基本他言語のE00016-F8FF16に加え、
第15-16面が 当事者間の私的な合意によって文字（外字）を定義できる私用領域 とされています。
このうち、私用領域だけに使われる面（すなわち、第15面と第16面）を私用面といいます。

規格としては、この範囲にいかなる文字も規定していません。
私用領域の内容を定義するものとしては、
ISOやユニコードコンソーシアム以外の個人、組織およびソフトウェアベンダが想定されています。

2.8.2　符号化

私用面は、2オクテット固定長方式のUCS-2では使用することが出来ず、
UTF-8、UTF-16、UTF-32のいずれの符号化方式でも4オクテットで符号化されます。
UTF-16ではサロゲートペア（代用対）を使う必要があります。

【サロゲートペア（代用対）】

表3.2-1の2行目は、 サロゲートペアによる符号化を示したものです。

サロゲートはUnicodeの符号位置のU+010000～U+10FFFFの範囲を
16ビットユニットのペア（2つ）で表現する集合で、
最初の16ビットユニットを前半サロゲートもしくはハイサロゲート、
二番目を後半サロゲートもしくはローサロゲートと称します。

ハイサロゲートはU+D800～U+DBFFの範囲、 ローサロゲートはU+DC00～U+DFFFの範囲です。

【BOM】

BOMは、通信やファイルの読み書き等、8ビット単位の処理でオクテット順を識別するための印で、
データストリームの先頭に付与されます。

値はU+FEFF。
システムが読み込んだ先頭2オクテットがFF FEならリトルエンディアン、
FE FFならビッグエンディアンとして後に続く文書を処理します。