功能點(diǎn)：CrawlSpider的基本使用

爬取網(wǎng)站：保監(jiān)會(huì)

主要代碼：

cf.py

# -*- coding: utf-8 -*- import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule import reclass CfSpider(CrawlSpider): # 繼承自CrawlSpider"""主要是介紹CrawlSpider的用法"""name = 'cf'allowed_domains = ['circ.gov.cn']# 第一次請求的url，如果有特殊需求，可以定義一個(gè)parse_start_url函數(shù)來處理這個(gè)url所對應(yīng)的響應(yīng)start_urls = ['http://circ.gov.cn/web/site0/tab5240/']rules = (# LinkExtractor 鏈接提取器，提取url地址# callback 可以沒有# follow 當(dāng)前url的響應(yīng)是否重新經(jīng)過rules來提取url# 注意點(diǎn)：# 1、兩個(gè)Rule的callback解析函數(shù)，不能直接傳遞參數(shù)# 2、如果多個(gè)Rule都滿足同一個(gè)url，會(huì)從rules中選擇第一個(gè)滿足的操作# 詳情的url提取器Rule(LinkExtractor(allow=r'/web/site0/tab5240/info\d+\.htm'), callback='parse_item'),# 列表的url提取器Rule(LinkExtractor(allow=r'/web/site0/tab5240/module14430/page\d+\.htm'), follow=True),)# parse是發(fā)送url請求的，不能在此定義# 解析詳情頁def parse_item(self, response):item = {}# 通過正則匹配item["title"] = re.findall("<!--TitleStart-->(.*?)<!--TitleEnd-->", response.body.decode())[0]item["publish_time"] = re.findall("發(fā)布時(shí)間：(20\d{2}-\d{2}-\d{2})", response.body.decode())[0]print(item)print("*"*30)# # 此處也可以接著構(gòu)造請求# yield scrapy.Request(# url,# callback=self.parse_detail,# meta={"item": item}# )# # # 構(gòu)造其他屬性# def parse_detail(self, response):# item = response.meta["item"]# item["price"] = 11# yield item

?

轉(zhuǎn)載于:https://www.cnblogs.com/bookwed/p/10633734.html

總結(jié)

以上是生活随笔為你收集整理的scrapy爬虫系列之五--CrawlSpider的使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。