一預(yù)備知識(shí)?

1，字符：字符是抽象的最小文本單位。?它沒有固定的形狀（可能是一個(gè)字形），而且沒有值。?“A”是一個(gè)字符，“”（德國、法國和許多其他歐洲國家通用貨幣的標(biāo)志）也是一個(gè)字符。?“中”“國”這是兩個(gè)漢字字符。?字符僅僅代表一個(gè)符號(hào)，沒有任何實(shí)際值的意義。?

2，字符集：字符集是字符的集合。?例如，漢字字符是中國人最先發(fā)明的字符，在中文、日文、韓文和越南文的書寫中使用。?這也說明了字符和字符集之間的關(guān)系，字符組成字符集（iso8859-1，GB2312/GBK，unicode）。?

3，代碼點(diǎn)：字符集中的每個(gè)字符都被分配到一個(gè)“代碼點(diǎn)”。?每個(gè)代碼點(diǎn)都有一個(gè)特定的唯一數(shù)值，稱為標(biāo)值。?該標(biāo)量值通常用十六進(jìn)制表示。?

4，代碼單元： 在每種編碼形式中，代碼點(diǎn)被映射到一個(gè)或多個(gè)代碼單元。?“代碼單元”是各個(gè)編碼方式中的單個(gè)單元。?代碼單元的大小等效于特定編碼方式的位數(shù)：?
UTF-8 ：UTF-8 中的代碼單元由8 位組成；在UTF-8 中，因?yàn)榇a單元較小的緣故，每個(gè)代碼點(diǎn)常常被映射到多個(gè)代碼單元。?代碼點(diǎn)將被映射到一個(gè)、兩個(gè)、三個(gè)或四個(gè)代碼單元；?
UTF-16 ：UTF-16 中的代碼單元由16 位組成；UTF-16 的代碼單元大小是8 位代碼單元的兩倍。?所以，標(biāo)量值小于U+10000 的代碼點(diǎn)被編碼到單個(gè)代碼單元中；?
UTF-32：UTF-32 中的代碼單元由32 位組成； UTF-32 中使用的32 位代碼單元足夠大，每個(gè)代碼點(diǎn)都可編碼為單個(gè)代碼單元；?
GB18030：GB18030 中的代碼單元由8 位組成；在GB18030 中，因?yàn)榇a單元較小的緣故，每個(gè)代碼點(diǎn)常常被映射到多個(gè)代碼單元。?代碼點(diǎn)將被映射到一個(gè)、兩個(gè)或四個(gè)代碼單元。?

5，舉例：?

“中國北京香蕉是個(gè)大笨蛋”這是我定義的aka字符集；各字符對應(yīng)代碼點(diǎn)為：?
北00000001?
京00000010?
香10000001?
蕉10000010?
是10000100?
個(gè)10001000?
大10010000?
笨10100000?
蛋11000000?
中00000100?
國00001000?
下面是我定義的zixia 編碼方案（8位），可以看到它的編碼中表示了aka字符集的所有字符對應(yīng)的代碼單元；?
北10000001?
京10000010?
香00000001?
蕉00000010?
是00000100?
個(gè)00001000?
大00010000?
笨00100000?
蛋01000000?
中10000100?
國10001000?
所謂文本文件就是我們按一定編碼方式將二進(jìn)制數(shù)據(jù)表示為對應(yīng)的文本如00000001000000100000010000001000000100000010000001000000這樣的文件。?我用一個(gè)支持zixia編碼和aka字符集的記事本打開，它就按照編碼方案顯示為 “香蕉是個(gè)大笨蛋”?
如果我把這些字符按照GBK另存一個(gè)文件，那么則肯定不是這個(gè)，而是?
1100111111100011 1011110110110110 1100101011000111 1011100011110110 1011010011110011 1011000110111111 1011010110110000 110100001010?

二，字符集?

1， 常用字符集分類?
ASCII及其擴(kuò)展字符集?
作用：表語英語及西歐語言。?
位數(shù)：ASCII是用7位表示的，能表示128個(gè)字符；其擴(kuò)展使用8位表示，表示256個(gè)字符。?
范圍：ASCII從00到7F，擴(kuò)展從00到FF。?
ISO-8859-1字符集?
作用：擴(kuò)展ASCII，表示西歐、希臘語等。?
位數(shù)：8位，?
范圍：從00到FF，兼容ASCII字符集。?
GB2312字符集?
作用：國家簡體中文字符集，兼容ASCII。?
位數(shù)：使用2個(gè)字節(jié)表示，能表示7445個(gè)符號(hào)，包括6763個(gè)漢字，幾乎覆蓋所有高頻率漢字。?
范圍：高字節(jié)從A1到F7, 低字節(jié)從A1到FE。?將高字節(jié)和低字節(jié)分別加上0XA0即可得到編碼。?
BIG5字符集?
作用：統(tǒng)一繁體字編碼。?
位數(shù)：使用2個(gè)字節(jié)表示，表示13053個(gè)漢字。?
范圍：高字節(jié)從A1到F9，低字節(jié)從40到7E，A1到FE。?
GBK字符集?
作用：它是GB2312的擴(kuò)展，加入對繁體字的支持，兼容GB2312。?
位數(shù)：使用2個(gè)字節(jié)表示，可表示21886個(gè)字符。?
范圍：高字節(jié)從81到FE，低字節(jié)從40到FE。?
GB18030字符集?
作用：它解決了中文、日文、朝鮮語等的編碼，兼容GBK。?
位數(shù)：它采用變字節(jié)表示(1 ASCII，2，4字節(jié))。?可表示27484個(gè)文字。?
范圍：1字節(jié)從00到7F; 2字節(jié)高字節(jié)從81到FE，低字節(jié)從40到7E和80到FE；4字節(jié)第一三字節(jié)從81到FE，第二四字節(jié)從30到39。?
UCS字符集?
作用：國際標(biāo)準(zhǔn)ISO 10646 定義了通用字符集(Universal Character Set)。?它是與UNICODE同類的組織，UCS-2和UNICODE兼容。?
位數(shù)：它有UCS-2和UCS-4兩種格式，分別是2字節(jié)和4字節(jié)。?
范圍：目前，UCS-4只是在UCS-2前面加了0×0000。?
UNICODE字符集?
作用：為世界650種語言進(jìn)行統(tǒng)一編碼，兼容ISO-8859-1。?
位數(shù)：UNICODE字符集有多個(gè)編碼方式，分別是UTF-8，UTF-16和UTF-32。?

2 ，按所表示的文字分類?
語言 字符集 正式名稱?
英語、西歐語 ASCII，ISO-8859-1 MBCS 多字節(jié)?
簡體中文 GB2312 MBCS 多字節(jié)?
繁體中文 BIG5 MBCS 多字節(jié)?
簡繁中文 GBK MBCS 多字節(jié)?
中文、日文及朝鮮語 GB18030 MBCS 多字節(jié)?
各國語言 UNICODE，UCS DBCS 寬字節(jié)?

三，編碼?

UTF-8：采用變長字節(jié)(1 ASCII, 2 希臘字母, 3 漢字, 4 平面符號(hào)) 表示，網(wǎng)絡(luò)傳輸, 即使錯(cuò)了一個(gè)字節(jié)，不影響其他字節(jié)，而雙字節(jié)只要一個(gè)錯(cuò)了，其他也錯(cuò)了，具體如下：?
如果只有一個(gè)字節(jié)則其最高二進(jìn)制位為0；如果是多字節(jié)，其第一個(gè)字節(jié)從最高位開始，連續(xù)的二進(jìn)制位值為1的個(gè)數(shù)決定了其編碼的字節(jié)數(shù)，其余各字節(jié)均以10開頭。?UTF-8最多可用到6個(gè)字節(jié)。?

UTF- 16：采用2字節(jié)，Unicode中不同部分的字符都同樣基于現(xiàn)有的標(biāo)準(zhǔn)。?這是為了便于轉(zhuǎn)換。?從0×0000到0×007F是ASCII字符，從0×0080到0×00FF是ISO-8859-1對ASCII的擴(kuò)展。?希臘字母表使用從0×0370到0×03FF 的代碼，斯拉夫語使用從0×0400到0×04FF的代碼，美國使用從0×0530到0×058F的代碼，希伯來語使用從0×0590到0×05FF的代碼。?中國、日本和韓國的象形文字（總稱為CJK）占用了從0×3000到0×9FFF的代碼；由于0×00在c語言及操作系統(tǒng)文件名等中有特殊意義，故很多情況下需要UTF-8編碼保存文本，去掉這個(gè)0×00。?舉例如下：?
UTF-16: 0×0080 = 0000 0000 1000 0000?
UTF-8: 0xC280 = 1100 0010 1000 0000?
UTF-32：采用4字節(jié)。?
優(yōu)缺點(diǎn)?
UTF-8、UTF-16和UTF-32都可以表示有效編碼空間(U+000000-U+10FFFF) 內(nèi)的所有Unicode字符。?
使用UTF-8編碼時(shí)ASCII字符只占1個(gè)字節(jié)，存儲(chǔ)效率比較高，適用于拉丁字符較多的場合以節(jié)省空間。?
對于大多數(shù)非拉丁字符（如中文和日文）來說，UTF-16所需存儲(chǔ)空間最小，每個(gè)字符只占2個(gè)字節(jié)。?
Windows NT內(nèi)核是Unicode（UTF-16），采用UTF-16編碼在調(diào)用系統(tǒng)API時(shí)無需轉(zhuǎn)換，處理速度也比較快。?
采用UTF-16和UTF-32會(huì)有Big Endian和Little Endian之分，而UTF-8則沒有字節(jié)順序問題，所以UTF-8適合傳輸和通信。?
UTF-32采用4字節(jié)編碼，一方面處理速度比較快，但另一方面也浪費(fèi)了大量空間，影響傳輸速度，因而很少使用。?

四，如何判斷字符集?

1，字節(jié)序?
首先說一下字節(jié)序?qū)幋a的影響，字節(jié)序分為Big Endian字節(jié)序和Little Endian字節(jié)序。?不同的處理器可能不一樣。?所以，傳輸時(shí)需要告訴處理器當(dāng)時(shí)的編碼字節(jié)序。?對于前者而言，高位字節(jié)存在低地址，低字節(jié)存于高地址；后者相反。?例如，0X03AB,?
Big Endian字節(jié)序?
0000: 0 3?
0001: AB?
Little Endian字節(jié)序是?
0000: AB?
0001: 0 3?

2，編碼識(shí)別?
UNICODE，根據(jù)前幾個(gè)字節(jié)可以判斷UNICODE字符集的各種編碼，叫做Byte Order Mask方法BOM：?
UTF-8: EFBBBF (符合UTF-8格式，請看上面。但沒有含義在UCS即UNICODE中)?
UTF-16 Big Endian：FEFF (沒有含義在UCS-2中)?
UTF-16 Little Endian：FFFE (沒有含義在UCS-2中)?
UTF-32 Big Endian：0000FEFF (沒有含義在UCS-4中)?
UTF-32 Little Endian：FFFE0000 (沒有含義在UCS-4中)?

GB2312：高字節(jié)和低字節(jié)的第1位都是1。?

BIG5，GBK&GB18030：高字節(jié)的第1位為1。?操作系統(tǒng)有默認(rèn)的編碼，常為GBK，可以下載別的并升級。?通過判斷高字節(jié)的第1位從而知道是ASCII或者漢字編碼。

總結(jié)

以上是生活随笔為你收集整理的UTF-8、GB2312、GB18030、GBK和BIG5等字符集编码范围的具体说明的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。