抓取策略

確定目標：確定抓取哪個網站的哪些頁面的哪部分數據。本實例抓取百度百科python詞條頁面以及python相關詞條頁面的標題和簡介。

分析目標：分析要抓取的url的格式，限定抓取范圍。分析要抓取的數據的格式，本實例中就要分析標題和簡介這兩個數據所在的標簽的格式。分析要抓取的頁面編碼的格式，在網頁解析器部分，要指定網頁編碼，然后才能進行正確的解析。

編寫代碼：在網頁解析器部分，要使用到分析目標得到的結果。

執行爬蟲：進行數據抓取。

分析目標

1、url格式

進入百度百科python詞條頁面，頁面中相關詞條的鏈接比較統一，大都是/view/xxx.htm。

2、數據格式

標題位于類lemmaWgt-lemmaTitle-title下的h1子標簽，簡介位于類lemma-summary下。

3、編碼格式

查看頁面編碼格式，為utf-8。

經過以上分析，得到結果如下：

代碼編寫

項目結構

在sublime下，新建文件夾baike-spider，作為項目根目錄。

新建spider_main.py，作為爬蟲總調度程序。

新建url_manger.py，作為url管理器。

新建html_downloader.py，作為html下載器。

新建html_parser.py，作為html解析器。

新建html_outputer.py，作為寫出數據的工具。

最終項目結構如下圖：

spider_main.py

url_manger.py

html_downloader.py

html_parser.py

html_outputer.py

運行

在命令行下，執行python spider_main.py。

運行結果

總結

以上是生活随笔為你收集整理的python类百度百科_Python抓取百度百科数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。