python抓取中文网页乱码
生活随笔
收集整理的這篇文章主要介紹了
python抓取中文网页乱码
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
我們經常通過python做采集網頁數據的時候,會碰到一些亂碼問題,今天給大家分享一個解決網頁亂碼,尤其是中文網頁的通用方法。
首頁我們需要安裝chardet模塊,這個可以通過easy_install 或者pip來安裝。
安裝完以后我們在控制臺上導入模塊,如果正常就可以。
比如我們遇到的一些ISO-8859-2也是可以通過下面的方法解決的。
直接上代碼吧:
import urllib2import sys
import chardet
req = urllib2.Request("http://www.163.com/")##這里可以換成http://www.baidu.com,http://www.sohu.com
content = urllib2.urlopen(req).read()
typeEncode = sys.getfilesystemencoding()##系統默認編碼
infoencode = chardet.detect(content).get('encoding','utf-8')##通過第3方模塊來自動提取網頁的編碼
html = content.decode(infoencode,'ignore').encode(typeEncode)##先轉換成unicode編碼,然后轉換系統編碼輸出
print html
?通過上面的代碼,相信能夠解決你采集亂碼的問題。
轉載于:https://www.cnblogs.com/wanpython/archive/2013/06/04/3117957.html
總結
以上是生活随笔為你收集整理的python抓取中文网页乱码的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: asp.net生命周期
- 下一篇: Android:数据库增删改查、SQLi