unc = stringa.decode("gb2312")

print unc.encode("utf-8")

LovelyPython中的通用解決方案，使用chardet模塊，該模塊是用來檢測(cè)目標(biāo)編碼的

[python]?view plaincopy

import?chardet,?os??

??

def?_smartCode(item):??

????codedetect?=?chardet.detect(item)["encoding"]??

????print?codedetect??

????try:??

????????print?item??

????????item?=?unicode(item,?codedetect)??

????????print?item??

????????return?item.encode("utf-8")??

????except:??

????????return?u"bad?unicode?encode?try!"??

??

?

為什么會(huì)報(bào)錯(cuò)“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就來研究一下這個(gè)問題。

---

字符串在Python內(nèi)部的表示是unicode?編碼，因此，在做編碼轉(zhuǎn)換時(shí)，通常需要以u(píng)nicode作為中間編碼，即先將其他編碼的字符串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。

decode的作用是將其他編碼的字符串轉(zhuǎn)換成unicode編碼，如str1.decode('gb2312')，表示將gb2312編碼的字符串str1轉(zhuǎn)換成unicode編碼。

encode的作用是將unicode編碼轉(zhuǎn)換成其他編碼的字符串，如str2.encode('gb2312')，表示將unicode編碼的字符串str2轉(zhuǎn)換成gb2312編碼。

因此，轉(zhuǎn)碼的時(shí)候一定要先搞明白，字符串str是什么編碼，然后decode成unicode，然后再encode成其他編碼

---

代碼中字符串的默認(rèn)編碼與代碼文件本身的編碼一致?。

如：s='中文'

如果是在utf8的文件中，該字符串就是utf8編碼，如果是在gb2312的文件中，則其編碼為gb2312。這種情況下，要進(jìn)行編碼轉(zhuǎn)換，都需要先用decode方法將其轉(zhuǎn)換成unicode編碼，再使用encode方法將其轉(zhuǎn)換成其他編碼。通常，在沒有指定特定的編碼方式時(shí)，都是使用的系統(tǒng)默認(rèn)編碼創(chuàng)建的代碼文件。

如果字符串是這樣定義：s=u'中文'

則該字符串的編碼就被指定為unicode了，即python的內(nèi)部編碼，而與代碼文件本身的編碼無關(guān)。因此，對(duì)于這種情況做編碼轉(zhuǎn)換，只需要直接使用encode方法將其轉(zhuǎn)換成指定編碼即可。

---

如果一個(gè)字符串已經(jīng)是unicode了，再進(jìn)行解碼則將出錯(cuò)，因此通常要對(duì)其編碼方式是否為unicode進(jìn)行判斷：

isinstance(s, unicode) #用來判斷是否為unicode

用非unicode編碼形式的str來encode會(huì)報(bào)錯(cuò)

---

如何獲得系統(tǒng)的默認(rèn)編碼?？

#!/usr/bin/env python
#coding=utf-8
import sys
print sys.getdefaultencoding()

該段程序在英文WindowsXP?上輸出為：ascii

---

在某些IDE中，字符串的輸出總是出現(xiàn)亂碼，甚至錯(cuò)誤，其實(shí)是由于IDE的結(jié)果輸出控制臺(tái)自身不能顯示字符串的編碼，而不是程序本身的問題。

如在UliPad中運(yùn)行如下代碼：

s=u"中文"
print s

會(huì)提示：UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)。這是因?yàn)閁liPad在英文WindowsXP?上的控制臺(tái)信息輸出窗口是按照ascii編碼輸出的（英文系統(tǒng)的默認(rèn)編碼是ascii），而上面代碼中的字符串是Unicode編碼的，所以輸出時(shí)產(chǎn)生了錯(cuò)誤。

將最后一句改為：print s.encode('gb2312')

則能正確輸出“中文”兩個(gè)字。

若最后一句改為：print s.encode('utf8')

則輸出：/xe4/xb8/xad/xe6/x96/x87，這是控制臺(tái)信息輸出窗口按照ascii編碼輸出utf8編碼的字符串的結(jié)果。

---

unicode(str,'gb2312')與str.decode('gb2312')是一樣的，都是將gb2312編碼的str轉(zhuǎn)為unicode編碼

使用str.__class__可以查看str的編碼形式

---

原理說了半天，最后來個(gè)包治百病的吧：）

復(fù)制代碼?代碼如下:

#!/usr/bin/env python?
#coding=utf-8?
s="中文"?
if isinstance(s, unicode):?
#s=u"中文"?
print s.encode('gb2312')?
else:?
#s="中文"?
print s.decode('utf-8').encode('gb2312')

?

---

?

對(duì)于Python的初學(xué)者來說，處理漢字估計(jì)是最頭疼的一件事了，我也算是個(gè)初學(xué)者，斷斷續(xù)續(xù)接觸Python也有一年多了，最近才終于搞明白了Python里對(duì)多字節(jié)字符的處理是怎么回事。

其實(shí)Python里對(duì)編碼的處理能力還是很強(qiáng)大的，只是需要理解它處理字符的方式。Python里有兩種字符串，str和unicode，他們都是字符的序列（相當(dāng)于字符數(shù)組），區(qū)別在于字符的不同，str里一個(gè)字符就是一個(gè)字節(jié)，unicode中的一個(gè)字符是一個(gè)unicode里的字，長度可能是2字節(jié)，也可能是4字節(jié)。

Unicode是Python對(duì)多字節(jié)字符使用的一種內(nèi)部編碼，也就是說在Python內(nèi)部處理多字節(jié)字符的官方編碼，但它并不是我們常見的utf-8，具體是什么編碼我也不清楚。在Python里處理字符串時(shí)，都需要先將來自文件、網(wǎng)絡(luò)、或者str的字符串轉(zhuǎn)換成Unicode格式，這一步是通過unicode工廠函數(shù)或者str的decode方法（decode可以理解為是從一種被編碼的二進(jìn)制字節(jié)流解碼為Python內(nèi)部通用的格式），但這是Python并不知道這個(gè)外部格式到底是什么格式，decode方法可以傳入一個(gè)參數(shù)，表示這個(gè)數(shù)據(jù)是什么編碼。

得到Unicode對(duì)象后，就可以對(duì)字符串進(jìn)行各種操作了。在完成操作，要把字符串輸出到文件、網(wǎng)絡(luò)、或者數(shù)據(jù)庫的時(shí)候，就要根據(jù)需要再把Unicode轉(zhuǎn)換成需要的目標(biāo)編碼了，這是就要用到encode方法了，將字符串編碼成需要的格式

總結(jié)

以上是生活随笔為你收集整理的pythonGB2312乱码问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。