關(guān)于爬蟲亂碼有很多各式各樣的問題，這里不僅是中文亂碼，編碼轉(zhuǎn)換、還包括一些如日文、韓文 、俄文、藏文之類的亂碼處理，因為解決方式是一致的，故在此統(tǒng)一說明。

網(wǎng)絡(luò)爬蟲出現(xiàn)亂碼的原因

源網(wǎng)頁編碼和爬取下來后的編碼格式不一致。

如源網(wǎng)頁為gbk編碼的字節(jié)流，而我們抓取下后程序直接使用utf-8進行編碼并輸出到存儲文件中，這必然會引起亂碼 即當(dāng)源網(wǎng)頁編碼和抓取下來后程序直接使用處理編碼一致時，則不會出現(xiàn)亂碼; 此時再進行統(tǒng)一的字符編碼也就不會出現(xiàn)亂碼了

注意區(qū)分

源網(wǎng)編碼A、

程序直接使用的編碼B、

統(tǒng)一轉(zhuǎn)換字符的編碼C。

亂碼的解決方法

確定源網(wǎng)頁的編碼A,編碼A往往在網(wǎng)頁中的三個位置

1.http header的Content-Type

獲取服務(wù)器 header 的站點可以通過它來告知瀏覽器一些頁面內(nèi)容的相關(guān)信息。 Content-Type 這一條目的寫法就是 "text/html; charset=utf-8"。

2.meta charset

3.網(wǎng)頁頭中Document定義

在獲取源網(wǎng)頁編碼時，依次判斷下這三部分數(shù)據(jù)即可，從前往后，優(yōu)先級亦是如此。

以上三者中均沒有編碼信息 一般采用chardet等第三方網(wǎng)頁編碼智能識別工具來做

安裝： pip install chardet

Python chardet 字符編碼判斷

使用 chardet 可以很方便的實現(xiàn)字符串/文件的編碼檢測 雖然HTML頁面有charset標簽，但是有些時候是不對的。那么chardet就能幫我們大忙了。

chardet實例

chardet可以直接用detect函數(shù)來檢測所給字符的編碼。函數(shù)返回值為字典，有2個元素，一個是檢測的可信度，另外一個就是檢測到的編碼。

在開發(fā)自用爬蟲過程中如何處理漢字編碼?

下面所說的都是針對python2.7,如果不加處理，采集到的都是亂碼，解決的方法是將html處理成統(tǒng)一的utf-8編碼 遇到windows-1252編碼，屬于chardet編碼識別訓(xùn)練未完成

python代碼文件的編碼

py文件默認是ASCII編碼，中文在顯示時會做一個ASCII到系統(tǒng)默認編碼的轉(zhuǎn)換，這時就會出錯：SyntaxError: Non-ASCII character。需要在代碼文件的第一行添加編碼指示：

像上面那樣直接輸入的字符串是按照代碼文件的編碼'utf-8'來處理的

如果用unicode編碼,以下方式：

s1 = u'中文' #u表示用unicode編碼方式儲存信息

decode是任何字符串具有的方法，將字符串轉(zhuǎn)換成unicode格式，參數(shù)指示源字符串的編碼格式。

encode也是任何字符串具有的方法，將字符串轉(zhuǎn)換成參數(shù)指定的格式。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持服務(wù)器之家。

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的python爬虫脚本ie=utf-8_Python网络爬虫出现乱码问题的解决方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。