原文地址：http://gitbook.cn/books/599d075614d1bc13375caeaf/index.html

前言

很多程序員對(duì)字符編碼不太理解，雖然他們大概知道 ASCII、UTF8、GBK、Unicode 等術(shù)語概念，但在寫代碼過程中還是會(huì)遇到各種奇怪的編碼問題，在 Java 中最常見的是亂碼，而 Python 開發(fā)中遇到最多的是編碼錯(cuò)誤，如：UnicodeDecodeError、UnicodeEncodeError，幾乎每個(gè) Python 開發(fā)者都會(huì)碰到這種問題，對(duì)此都是一籌莫展，這篇文章從字符編碼的起源開始，講述了編程中應(yīng)該如何應(yīng)對(duì)編碼的問題，通過理解本文，你可以從容地定位、分析、解決字符編碼相關(guān)的問題。

說到「字符編碼」我們先要理解什么是編碼以及為什么要編碼。

什么是編碼

但凡學(xué)過計(jì)算機(jī)的同學(xué)都知道，計(jì)算機(jī)只能處理0和1組成的二進(jìn)制數(shù)據(jù)，人類借助計(jì)算機(jī)所看到的、聽到的任何信息，包括：文本、視頻、音頻、圖片在計(jì)算機(jī)中都是以二進(jìn)制形式進(jìn)行存儲(chǔ)和運(yùn)算。計(jì)算機(jī)善于處理二進(jìn)制數(shù)據(jù)，但是人類對(duì)于二進(jìn)制數(shù)據(jù)顯得捉襟見肘，為了降低人與計(jì)算機(jī)的交流成本，人們決定把每個(gè)字符進(jìn)行編號(hào)，比如給字母 A 的編號(hào)是 65，對(duì)應(yīng)的二進(jìn)制數(shù)是「01000001」，當(dāng)把 A 存到計(jì)算機(jī)中時(shí)就用 01000001 來代替，當(dāng)要加載顯示在文件中或網(wǎng)頁中用來閱覽時(shí)，就把二進(jìn)制數(shù)轉(zhuǎn)換成字符 A，這個(gè)過程中就會(huì)涉及到不同格式數(shù)據(jù)之間的轉(zhuǎn)換。

編碼(encode)是把數(shù)據(jù)從一種形式轉(zhuǎn)換為另外一種形式的過程，它是一套算法，比如這里的字符 A 轉(zhuǎn)換成 01000001 就是一次編碼的過程，解碼(decode)就是編碼的逆過程。今天我們討論的是關(guān)于字符的編碼，是字符和二進(jìn)制數(shù)據(jù)之間轉(zhuǎn)換的算法。密碼學(xué)中的加密解密有時(shí)也稱為編碼與解碼，不過它不在本文討論范圍內(nèi)。

什么是字符集

字符集是一個(gè)系統(tǒng)支持的所有抽象字符的集合。它是各種文字和符號(hào)的總稱，常見的字符集種類包括 ASCII 字符集、GBK 字符集、Unicode字符集等。不同的字符集規(guī)定了有限個(gè)字符，比如：ASCII 字符集只含有拉丁文字字母，GBK 包含了漢字，而 Unicode 字符集包含了世界上所有的文字符號(hào)。

有人不禁要問，字符集與字符編碼是什么關(guān)系？別急，先往下面

ASCII：字符集與字符編碼的起源

世界上第一臺(tái)計(jì)算機(jī)，1945年由美國賓夕法尼亞大學(xué)的兩位教授-莫奇利和埃克特設(shè)計(jì)和研制出來，美國人起草了計(jì)算機(jī)的第一份字符集和編碼標(biāo)準(zhǔn)，叫 ASCII（American Standard Code for Information Interchange，美國信息交換標(biāo)準(zhǔn)代碼），一共規(guī)定了 128 個(gè)字符及對(duì)應(yīng)的二進(jìn)制轉(zhuǎn)換關(guān)系，128 個(gè)字符包括了可顯示的26個(gè)字母（大小寫）、10個(gè)數(shù)字、標(biāo)點(diǎn)符號(hào)以及特殊的控制符，也就是英語與西歐語言中常見的字符，這128個(gè)字符用一個(gè)字節(jié)來表示綽綽有余，因?yàn)橐粋€(gè)字節(jié)可以表示256個(gè)字符，所以當(dāng)前只利用了字節(jié)的7位，最高位用來當(dāng)作奇偶校驗(yàn)。如下圖所以，字符小寫 a 對(duì)應(yīng) 01100001，大寫 A 對(duì)應(yīng) 01000001。

ASCII?字符集是字母、數(shù)字、標(biāo)點(diǎn)符號(hào)以及控制符（回車、換行、退格）等組成的128個(gè)字符。ASCII?字符編碼是將這128個(gè)字符轉(zhuǎn)換為計(jì)算機(jī)可識(shí)別的二進(jìn)制數(shù)據(jù)的一套規(guī)則（算法）。現(xiàn)在可以回答前面的那個(gè)問題了，通常來說，字符集同時(shí)定義了一套同名的字符編碼規(guī)則，例如 ASCII 就定義了字符集以及字符編碼，當(dāng)然這不是絕對(duì)的，比如 Unicode 就只定義了字符集，而對(duì)應(yīng)的字符編碼是 UTF-8，UTF-16。

ASCII 由美國國家標(biāo)準(zhǔn)學(xué)會(huì)制定，1967年定案，最初是美國國家標(biāo)準(zhǔn)，后來被國際標(biāo)準(zhǔn)化組織（International Organization for Standardization, ISO）定為國際標(biāo)準(zhǔn)，稱為ISO 646標(biāo)準(zhǔn)，適用于所有拉丁文字字母。

EASCII：擴(kuò)展的ASCII

隨著計(jì)算機(jī)的不斷普及，計(jì)算機(jī)開始被西歐等國家使用，然后西歐語言中還有很多字符不在 ASCII 字符集中，這給他們使用計(jì)算機(jī)造成了很大的限制，就好比在中國，你只能用英語跟人家交流一樣。于是乎，他們想著法子把 ASCII 字符集進(jìn)行擴(kuò)充，以為 ASCII 只使用了字節(jié)的前 7 位，如果把第八位也利用起來，那么可表示的字符個(gè)數(shù)就是 256。這就是后來的 EASCII（Extended ASCII，延伸美國標(biāo)準(zhǔn)信息交換碼）EASCII 碼比 ASCII 碼擴(kuò)充出來的符號(hào)包括表格符號(hào)、計(jì)算符號(hào)、希臘字母和特殊的拉丁符號(hào)。

然后 EASCII 并沒有形成統(tǒng)一的標(biāo)準(zhǔn)，各國個(gè)商家都有自己的小算盤，都想在字節(jié)的高位做文章，比如 MS-DOS， IBM PC上使用了各自定義的編碼字符集，為了結(jié)束這種混亂的局面，國際標(biāo)準(zhǔn)化組織（ISO）及國際電工委員會(huì)（IEC）聯(lián)合制定的一系列8位元字符集的標(biāo)準(zhǔn)，叫 ISO 8859，全稱ISO/IEC 8859，它在 ASCII 基礎(chǔ)之上擴(kuò)展而來，所以完全 ASCII，ISO 8859 字符編碼方案所擴(kuò)展的這128個(gè)編碼中，只有0xA0~0xFF(十進(jìn)制為160~255)被使用，其實(shí) ISO 8859是一組字符集的總稱，旗下共包含了15個(gè)字符集，分別是 ISO 8859-1 ~ ISO 8859-15，ISO 8859-1 又稱之為 Latin-1，它是西歐語言，其它的分別代表 中歐、南歐、北歐等字符集。

GB2312：滿足國人需求的字符集

后來，計(jì)算機(jī)開始普及到了中國，但面臨的一個(gè)問題就是字符，漢字博大精深，常用漢字有3500個(gè)，已經(jīng)大大超出了 ASCII 字符集所能表示的字符范圍了，即使是 EASCII 也顯得杯水車薪，1981 年國家標(biāo)準(zhǔn)化管理委員會(huì)定了一套字符集叫?GB2312，每個(gè)漢字符號(hào)由兩個(gè)字節(jié)組成，理論上它可以表示65536個(gè)字符，不過它只收錄了7445個(gè)字符，6763個(gè)漢字和682個(gè)其他字符，同時(shí)它能夠兼容 ASCII，ASCII 中定義的字符只占用一個(gè)字節(jié)的空間。

GB2312 所收錄的漢字已經(jīng)覆蓋中國大陸99.75%的使用頻率，但是對(duì)一些罕見的字和繁體字還有很多少數(shù)民族使用的字符都沒法處理，于是后來就在 GB2312 的基礎(chǔ)上創(chuàng)建了一種叫 GBK 的字符編碼，GBK 不僅收錄了27484 個(gè)漢字，同時(shí)還收錄了藏文、蒙文、維吾爾文等主要的少數(shù)民族文字。GBK 是利用了 GB2312 中未被使用的編碼空間上進(jìn)行擴(kuò)充，所以它能完全兼容 GB2312和 ASCII。而 GB 18030 是現(xiàn)時(shí)最新的字符集，兼容 GB 2312-1980 和 GBK， 共收錄漢字70244個(gè)，采用多字節(jié)編碼，每個(gè)字符可以有1、2、4個(gè)字節(jié)組成，某種意義上它能容納161 萬個(gè)字符，包含繁體漢字以及日韓漢字，單字節(jié)與ASCII兼容，雙字節(jié)與GBK標(biāo)準(zhǔn)兼容。

Unicode ：統(tǒng)一江湖的字符集

盡管我們有了屬于自己的字符集和字符編碼 GBK，可世界上還有很多國家擁有自己的語言和文字，比如日本用 JIS，臺(tái)灣用 BIG5，不同國家之間交流起來就很困難，因?yàn)闆]有統(tǒng)一的編碼標(biāo)準(zhǔn)，可能同一個(gè)字符，在A國家用兩字字節(jié)存儲(chǔ)，而到了B國家是3個(gè)字節(jié)，這樣很容易出現(xiàn)編碼問題，于是在 1991 年，國際標(biāo)準(zhǔn)化組織和統(tǒng)一碼聯(lián)盟組織各自開發(fā)了 ISO/IEC 10646（USC）和 Unicode 項(xiàng)目，這兩個(gè)項(xiàng)目的目的都是希望用一種字符集來統(tǒng)一全世界所有字符，不過很快雙方都意識(shí)到世界上并不需要兩個(gè)不兼容的字符集。于是他們就編碼問題進(jìn)行了非常友好地會(huì)晤，決定彼此把工作內(nèi)容合并，雖然項(xiàng)目還是獨(dú)立存在，各自發(fā)布各自的標(biāo)準(zhǔn)，但前提是兩者必須保持兼容。不過由于 Unicode 這一名字比較好記，因而它使用更為廣泛，成為了事實(shí)上的統(tǒng)一編碼標(biāo)準(zhǔn)。

以上是對(duì)字符集歷史的一個(gè)簡要回顧，現(xiàn)在重點(diǎn)來說說Unicode，Unicode 是一個(gè)囊括了世界上所有字符的字符集，其中每一個(gè)字符都對(duì)應(yīng)有唯一的編碼值（code point），注意了！它不是字符編碼，僅僅是字符集而已，Unicode 字符如何進(jìn)行編碼，可以是 UTF-8、UTF-16、甚至用 GBK 來編碼。例如：

>>> a = u"好" >>> a u'\u597d' >>> b = a.encode("utf-8") >>> b '\xe5\xa5\xbd' >>> >>> b = a.encode("gbk") >>> b '\xba\xc3'

Unicode 本身并沒有規(guī)定一個(gè)字符究竟是用一個(gè)還是三個(gè)或者四個(gè)字節(jié)表示。Unicode 只規(guī)定了每個(gè)字符對(duì)應(yīng)到唯一的代碼值（code point），代碼值 從 0000 ~ 10FFFF 共 1114112 個(gè)值 ，真正存儲(chǔ)的時(shí)候需要多少個(gè)字節(jié)是由具體的編碼格式?jīng)Q定的。比如：字符 「A」用 UTF-8 的格式編碼來存儲(chǔ)就只占用1個(gè)字節(jié)，用 UTF-16 就占用2個(gè)字節(jié)，而用 UTF-32 存儲(chǔ)就占用4個(gè)字節(jié)。

UTF-8：Unicode編碼

UTF（ Unicode Transformation Format）編碼 和 USC（Universal Coded Character Set） 編碼分別是 Unicode 、ISO/IEC 10646 編碼體系里面兩種編碼方式，UCS 分為 UCS-2 和 UCS-4，而 UTF 常見的種類有 UTF-8、UTF-16、UTF-32。因?yàn)?Unicode 與 USC 兩種字符集是相互兼容的，所以這幾種編碼格式也有著對(duì)應(yīng)的等值關(guān)系

UCS-2 使用兩個(gè)定長的字節(jié)來表示一個(gè)字符，UTF-16 也是使用兩個(gè)字節(jié)，不過 UTF-16 是變長的（網(wǎng)上很多錯(cuò)誤的說法說 UTF-16是定長的），遇到兩個(gè)字節(jié)沒法表示時(shí)，會(huì)用4個(gè)字節(jié)來表示，因此 UTF-16 可以看作是在 UCS-2 的基礎(chǔ)上擴(kuò)展而來的。而 UTF-32 與 USC-4 是完全等價(jià)的，使用4個(gè)字節(jié)表示，顯然，這種方式浪費(fèi)的空間比較多。

UTF-8 的優(yōu)勢(shì)是：它以單字節(jié)為單位用 1~4 個(gè)字節(jié)來表示一個(gè)字符，從首字節(jié)就可以判斷一個(gè)字符的UTF-8編碼有幾個(gè)字節(jié)。如果首字節(jié)以0開頭，肯定是單字節(jié)編碼，如果以110開頭，肯定是雙字節(jié)編碼，如果是1110開頭，肯定是三字節(jié)編碼，以此類推。除了單字節(jié)外，多字節(jié)UTF-8碼的后續(xù)字節(jié)均以10開頭。

1～4 字節(jié)的 UTF-8 編碼看起來是這樣的：

0xxxxxxx 110xxxxx 10xxxxxx 1110xxxx 10xxxxxx 10xxxxxx 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

• 單字節(jié)可編碼的 Unicode 范圍：\u0000~\u007F（0~127）

• 雙字節(jié)可編碼的 Unicode 范圍：\u0080~\u07FF（128~2047）

• 三字節(jié)可編碼的 Unicode 范圍：\u0800~\uFFFF（2048~65535）

• 四字節(jié)可編碼的 Unicode 范圍：\u10000~\u1FFFFF（65536~2097151）

UTF-8 兼容了 ASCII，在數(shù)據(jù)傳輸和存儲(chǔ)過程中節(jié)省了空間，其二是UTF-8 不需要考慮大小端問題。這兩點(diǎn)都是 UTF-16 的劣勢(shì)。不過對(duì)于中文字符，用 UTF-8 就要用3個(gè)字節(jié)，而 UTF-16 只需2個(gè)字節(jié)。而UTF-16 的優(yōu)點(diǎn)是在計(jì)算字符串長度，執(zhí)行索引操作時(shí)速度會(huì)很快。Java 內(nèi)部使用 UTF-16 編碼方案。而 Python3 使用 UTF-8。UTF-8 編碼在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用更加廣泛。

來看一張圖，下圖是Windows平臺(tái)保存文件時(shí)可選擇的字符編碼類型，你可以指定系統(tǒng)以什么樣的編碼格式來存儲(chǔ)文件，ANSI 是 ISO 8859-1的超集，之所以在 Windows下有 Unicode 編碼這樣一種說法，其實(shí)是 Windows 的一種錯(cuò)誤表示方法，或許是因?yàn)闅v史原因一直沿用至今，其實(shí)它真正表示的是 UTF-16 編碼，更具體一點(diǎn)是 UTF-16小端，什么是大端和小端呢？

大端與小端

大小端是數(shù)據(jù)在存儲(chǔ)器中的存放順序，大端模式，是指數(shù)據(jù)的高字節(jié)在前，保存在內(nèi)存的低地址中，與人類的讀寫法一致，數(shù)據(jù)的低字節(jié)在后，保存在內(nèi)存的高地址中，小端與之相反，小端模式，是指數(shù)據(jù)的高字節(jié)在后，保存在內(nèi)存的高地址中，而數(shù)據(jù)的低字節(jié)在前，保存在內(nèi)存的低地址中例如，十六進(jìn)制數(shù)值?0x1234567的大端字節(jié)序和小端字節(jié)序的寫法：

至于為什么會(huì)有大端和小端之分呢？對(duì)于 16 位或者 32 位的處理器，由于寄存器寬度大于一個(gè)字節(jié)，那么必然存在著一個(gè)如何將多個(gè)字節(jié)排放的問題，因?yàn)椴煌僮飨到y(tǒng)讀取多字節(jié)的順序不一樣，，x86和一般的OS（如windows，FreeBSD,Linux）使用的是小端模式。但比如Mac OS是大端模式。因此就導(dǎo)致了大端存儲(chǔ)模式和小端存儲(chǔ)模式的存在，兩者并沒有孰優(yōu)孰劣。

為什么UTF-8不需要考慮大小端問題？

UTF-8 的編碼單元是1個(gè)字節(jié)，所以就不用考慮字節(jié)序問題。而 UTF-16 是用 2個(gè)字節(jié)來編碼 Unicode 字符，編碼單位是兩個(gè)字節(jié)，因此需要考慮字節(jié)序問題，因?yàn)?個(gè)字節(jié)哪個(gè)存高位哪個(gè)存低位需要確定。

Python2 中的字符編碼

現(xiàn)在總算把理論說完了，再來說說 Python 中的編碼問題，也是每個(gè)Python開發(fā)者最關(guān)心、最經(jīng)常遇到的問題，Python 的誕生時(shí)間比 Unicode 還要早幾年，所以，Python的第一個(gè)版本一直延續(xù)到Python2.7，Python 的默認(rèn)編碼都是 ASCII

>>> import sys >>> sys.getdefaultencoding() 'ascii'

所以在 Python 源代碼，要能夠正常保存中文字符就必須先指定utf

8 或者 gbk 格式

# coding=utf-8或者是：#!/usr/bin/python # -*- coding: utf-8 -*-

str 與 unicode

在前面我們介紹過字符，這里還有必要重復(fù)一下字符和字節(jié)的區(qū)別，字符就是一個(gè)符號(hào)，比如一個(gè)漢字、一個(gè)字母、一個(gè)數(shù)字、一個(gè)標(biāo)點(diǎn)都可以稱為一個(gè)字符，而字節(jié)就是字符就是編碼之后轉(zhuǎn)換而成的二進(jìn)制序列，一個(gè)字節(jié)是8個(gè)比特位。例如字符 "p" 存儲(chǔ)到硬盤是一串二進(jìn)制數(shù)據(jù) 01110000，占用一個(gè)字節(jié)。字節(jié)方便存儲(chǔ)和網(wǎng)絡(luò)傳輸，而字符用于顯示方便閱讀。

在Python2中，字符與字節(jié)的表示很微妙，兩者的界限很模糊，Python2 中把字符串分為 unicode 和 str 兩種類型。本質(zhì)上 str 類型是二進(jìn)制字節(jié)序列， unicode 類型的字符串是字符，下面的示例代碼可以看出 str 類型的 "禪" 打印出來是十六進(jìn)制的 \xec\xf8 ，對(duì)應(yīng)的二進(jìn)制字節(jié)序列就是 '11101100 11111000'。

>>> s = '禪' >>> s '\xec\xf8' >>> type(s) <type 'str'>

而 unicode 類型的 u"禪" 對(duì)應(yīng)的 unicode 符號(hào)是 u'\u7985'

>>> u = u"禪" >>> u u'\u7985' >>> type(u) <type 'unicode'>

我們要把 unicode 字符保存到文件或者傳輸?shù)骄W(wǎng)絡(luò)就需要經(jīng)過編碼處理轉(zhuǎn)換成二進(jìn)制形式的 str 類型，于是 python 的字符串提供了 encode 方法，從 unicode 轉(zhuǎn)換到 str，反之亦然。

encode

>>> u = u"禪" >>> u u'\u7985' >>> u.encode("utf-8") '\xe7\xa6\x85'

decode

>>> s = "禪" >>> s.decode("utf-8") u'\u7985' >>>

不少初學(xué)者怎么也記不住 str 與 unicode 之間的轉(zhuǎn)換用 encode 還是 decode，如果你記住了 str 本質(zhì)上其實(shí)是一串二進(jìn)制數(shù)據(jù)，而 unicode 是字符（符號(hào)），編碼（encode）就是把字符（符號(hào)）轉(zhuǎn)換為 二進(jìn)制數(shù)據(jù)的過程，因此 unicode 到 str 的轉(zhuǎn)換要用 encode 方法，反過來就是用 decode 方法。

encoding always takes a Unicode string and returns a bytes sequence, and decoding always takes a bytes sequence and returns a Unicode string".

清楚了 str 與 unicode 之間的轉(zhuǎn)換關(guān)系之后，我們來看看什么時(shí)候會(huì)出現(xiàn) UnicodeEncodeError、UnicodeDecodeError 錯(cuò)誤。

UnicodeEncodeError

UnicodeEncodeError 發(fā)生在 unicode 字符串轉(zhuǎn)換成 str 字節(jié)序列的時(shí)候，來看一個(gè)例子，把一串 unicode 字符串保存到文件

# -*- coding:utf-8 -*- def main(): name = u'Python之禪' f = open("output.txt", "w") f.write(name)

錯(cuò)誤日志

UnicodeEncodeError: 'ascii' codec can't encode characters in position 6-7: ordinal not in range(128)

為什么會(huì)出現(xiàn) UnicodeEncodeError？

因?yàn)檎{(diào)用 write 方法時(shí)，程序會(huì)把字符經(jīng)過編碼轉(zhuǎn)換成二進(jìn)制字節(jié)序列，內(nèi)部會(huì)有 unicode 到 str 的編碼轉(zhuǎn)換過程，程序會(huì)先判斷字符串是什么類型，如果是 str，就直接寫入文件，不需要編碼，因?yàn)?str 類型的字符串本身就是一串二進(jìn)制的字節(jié)序列了。如果字符串是 unicode 類型，那么它會(huì)先調(diào)用 encode 方法把 unicode 字符串轉(zhuǎn)換成二進(jìn)制形式的 str 類型，才保存到文件，而 Python2中，encode 方法默認(rèn)使用 ascii 進(jìn)行 encde.

相當(dāng)于：

>>> u"Python之禪".encode("ascii")

但是，我們知道 ASCII 字符集中只包含了128個(gè)拉丁字母，不包括中文字符，因此 出現(xiàn)了 'ascii' codec can't encode characters 的錯(cuò)誤。要正確地使用 encode ，就必須指定一個(gè)包含了中文字符的字符集，比如：UTF-8、GBK。

>>> u"Python之禪".encode("utf-8") 'Python\xe4\xb9\x8b\xe7\xa6\x85'>>> u"Python之禪".encode("gbk") 'Python\xd6\xae\xec\xf8'

所以要把 unicode 字符串正確地寫入文件，就應(yīng)該預(yù)先把字符串進(jìn)行 UTF-8 或 GBK 編碼轉(zhuǎn)換。

def main():name = u'Python之禪' name = name.encode('utf-8') with open("output.txt", "w") as f: f.write(name)

或者直接寫str類型的字符串

def main():name = 'Python之禪' with open("output.txt", "w") as f: f.write(name)

當(dāng)然，把 unicode 字符串正確地寫入文件不止一種方式，但原理是一樣的，這里不再介紹，把字符串寫入數(shù)據(jù)庫，傳輸?shù)骄W(wǎng)絡(luò)都是同樣的原理

UnicodeDecodeError

UnicodeDecodeError 發(fā)生在 str 類型的字節(jié)序列解碼成 unicode 類型的字符串時(shí)

>>> a = u"禪" >>> a u'\u7985' >>> b = a.encode("utf-8") >>> b '\xe7\xa6\x85' >>> b.decode("gbk") Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: 'gbk' codec can't decode byte 0x85 in position 2: incomplete multibyte sequence

把一個(gè)經(jīng)過 UTF-8 編碼后生成的字節(jié)序列 '\xe7\xa6\x85' 再用 GBK 解碼轉(zhuǎn)換成 unicode 字符串時(shí)，出現(xiàn) UnicodeDecodeError，因?yàn)?（對(duì)于中文字符）GBK 編碼只占用兩個(gè)字節(jié)，而 UTF-8 占用3個(gè)字節(jié)，用 GBK 轉(zhuǎn)換時(shí)，還多出一個(gè)字節(jié)，因此它沒法解析。避免 UnicodeDecodeError 的關(guān)鍵是保持 編碼和解碼時(shí)用的編碼類型一致。

這也回答了文章開頭說的字符 "禪"，保存到文件中有可能占3個(gè)字節(jié)，有可能占2個(gè)字節(jié)，具體處決于 encode 的時(shí)候指定的編碼格式是什么。

再舉一個(gè) UnicodeDecodeError 的例子

>>> x = u"Python" >>> y = "之禪" >>> x + y Traceback (most recent call last): File "<stdin>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128) >>>

str 與 unicode 字符串 執(zhí)行 + 操作時(shí)，Python 會(huì)把 str 類型的字節(jié)序列隱式地轉(zhuǎn)換成（解碼）成 和 x 一樣的 unicode 類型，但Python是使用默認(rèn)的 ascii 編碼來轉(zhuǎn)換的，而 ASCII字符集中不包含有中文，所以報(bào)錯(cuò)了。相當(dāng)于：

>>> y.decode('ascii') Traceback (most recent call last):File "<stdin>", line 1, in <module> UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

正確地方式應(yīng)該是找到一種包含有中文字符的字符編碼，比如 UTF-8或者 GBK 顯示地把 y 進(jìn)行解碼轉(zhuǎn)換成 unicode 類型

>>> x = u"Python" >>> y = "之禪" >>> y = y.decode("utf-8") >>> x + y u'Python\u4e4b\u7985'

Python3中的字符串與字節(jié)序列

Python3對(duì)字符串和字符編碼進(jìn)行了很徹底的重構(gòu)，完全不兼容Python2，同時(shí)也很多想遷移到Python3的項(xiàng)目帶來了很大的麻煩，Python3 把系統(tǒng)默認(rèn)編碼設(shè)置為 UTF-8，字符和二進(jìn)制字節(jié)序列區(qū)分得更清晰，分別用 str 和 bytes 表示。文本字符全部用 str 類型表示，str 能表示 Unicode 字符集中所有字符，而二進(jìn)制字節(jié)數(shù)據(jù)用一種全新的數(shù)據(jù)類型，用 bytes 來表示，盡管Python2中也有bytes類型，但那只不過是str的一個(gè)別名。

str

>>> a = "a" >>> a 'a' >>> type(a) <class 'str'> >>> b = "禪" >>> b '禪' >>> type(b) <class 'str'>

bytes

Python3 中，在字符引號(hào)前加‘b’，明確表示這是一個(gè) bytes 類型的對(duì)象，實(shí)際上它就是一組二進(jìn)制字節(jié)序列組成的數(shù)據(jù)，bytes 類型可以是 ASCII范圍內(nèi)的字符和其它十六進(jìn)制形式的字符數(shù)據(jù)，但不能用中文等非ASCII字符表示。

>>> c = b'a' >>> c b'a' >>> type(c) <class 'bytes'> >>> d = b'\xe7\xa6\x85' >>> d b'\xe7\xa6\x85' >>> type(d) <class 'bytes'> >>> >>> e = b'禪' File "<stdin>", line 1 SyntaxError: bytes can only contain ASCII literal characters.

bytes 類型提供的操作和 str 一樣，支持分片、索引、基本數(shù)值運(yùn)算等操作。但是 str 與 bytes 類型的數(shù)據(jù)不能執(zhí)行?+?操作，盡管在python2中是可行的。

>>> b"a"+b"c" b'ac' >>> b"a"*2 b'aa' >>> b"abcdef\xd6"[1:] b'bcdef\xd6' >>> b"abcdef\xd6"[-1] 214 >>> b"a" + "b" Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: can't concat bytes to str

python2 與 python3 字節(jié)與字符對(duì)比

python2python3表現(xiàn)轉(zhuǎn)換作用

str	bytes	字節(jié)	encode	存儲(chǔ)
unicode	str	字符	decode	顯示

總結(jié)

字符編碼本質(zhì)上是字符到字節(jié)的轉(zhuǎn)換過程

字符集的演進(jìn)過程是：ascii、eascii、ios8895-x，gb2312... Unicode

Unicode是字符集，對(duì)應(yīng)的編碼格式有UTF-8，UTF-16

字節(jié)序列存儲(chǔ)的時(shí)候有大小端之分

python2中字符與字節(jié)分別用unicode和str類型表示

python3中字符與字節(jié)分別用str與bytes表示

參考鏈接

• https://en.wikipedia.org/wiki/Unicode
• https://en.wikipedia.org/wiki/UTF-32
• https://en.wikipedia.org/wiki/UTF-16
• https://zh.wikipedia.org/wiki/%E4%BD%8D%E5%85%83%E7%B5%84%E9%A0%86%E5%BA%8F%E8%A8%98%E8%99%9F
• https://zh.wikipedia.org/wiki/%E9%80%9A%E7%94%A8%E5%AD%97%E7%AC%A6%E9%9B%86
• https://en.wikipedia.org/wiki/Universal_Coded_Character_Set
• http://unicode.org/faq/utf_bom.html
• http://www.fmddlmyy.cn/text6.html
• http://stackoverflow.com/questions/643694/utf-8-vs-unicode
• http://stackoverflow.com/questions/700187/unicode-utf-ascii-ansi-format-differences
• https://www.meridiandiscovery.com/articles/unicode-and-character-encodings/
• https://www.praim.com/character-encodings-linux-ascii-utf-8-iso-8859
• http://stackoverflow.com/questions/4655250/difference-between-utf-8-and-utf-16
• http://www.guokr.com/blog/83367/

轉(zhuǎn)載于:https://www.cnblogs.com/davidwang456/p/7766956.html

總結(jié)

以上是生活随笔為你收集整理的字符编码的前世今生--转的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。