scrapy

Scrapy：Python的爬蟲框架

實例Demo

抓取：汽車之家、瓜子、鏈家 等數據信息

版本+環境庫

Python2.7 + Scrapy1.12

初窺Scrapy Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

應用

生成帶 json的數據文件 $ scrapy crawl car -o Trunks.json

直接執行 $ scrapy crawl car

查看多少爬蟲 $ scrapy list

其最初是為了 網絡抓取 所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。

網絡爬蟲，是在網上進行數據抓取的程序，使用它能夠抓取特定網頁的HTML數據。雖然我們利用一些庫開發一個爬蟲程序，但是使用框架可以大大提高效率，縮短開發時間。Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，并且使用起來非常的方便。

Scrapy主要包括了以下組件：

引擎，用來處理整個系統的數據流處理，觸發事務。 調度器，用來接受引擎發過來的請求，壓入隊列中，并在引擎再次請求的時候返回。 下載器，用于下載網頁內容，并將網頁內容返回給蜘蛛。 蜘蛛，蜘蛛是主要干活的，用它來制訂特定域名或網頁的解析規則。 項目管道，負責處理有蜘蛛從網頁中抽取的項目，他的主要任務是清晰、驗證和存儲數據。當頁面被蜘蛛解析后，將被發送到項目管道，并經過幾個特定的次序處理數據。 下載器中間件，位于Scrapy引擎和下載器之間的鉤子框架，主要是處理Scrapy引擎與下載器之間的請求及響應。 蜘蛛中間件，介于Scrapy引擎和蜘蛛之間的鉤子框架，主要工作是處理蜘蛛的響應輸入和請求輸出。 調度中間件，介于Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。 使用Scrapy可以很方便的完成網上數據的采集工作，它為我們完成了大量的工作，而不需要自己費大力氣去開發。

總結

以上是生活随笔為你收集整理的python爬虫scrapy框架爬取网页数据_Scrapy-Python的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。