網(wǎng)絡(luò)爬蟲（又被稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人）就是模擬客戶端發(fā)送網(wǎng)絡(luò)請(qǐng)求，接收請(qǐng)求響應(yīng)，一種按照一定的規(guī)則，自動(dòng)地抓取互聯(lián)網(wǎng)信息的程序。

只要是瀏覽器能做的事情，原則上，爬蟲都能夠做

先來看一下最簡(jiǎn)單的網(wǎng)絡(luò)爬蟲百度Logo圖片提取：

import requestsr = requests.get("https://www.baidu.com/img/bd_logo1.png")with open("baidu.png","wb") as f:f.write(r.content)

接下來按照爬蟲基本工作流程提取內(nèi)涵社區(qū)網(wǎng)站文本內(nèi)容：

1.獲取url：

url=http://neihanshequ.com/ headers= {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}

2.發(fā)送請(qǐng)求，接受響應(yīng)：

r = requests.get(url,headers=headers) html_str = r.content.decode() 3.提取數(shù)據(jù)：

''' <h1 class="title"><p>公交車上，一小伙對(duì)著手機(jī)打公放點(diǎn)微信語音：“臭小子，你是不是一點(diǎn)也不想你老娘？都不知道陪我聊聊天，回家來看看我...”每點(diǎn)開這段語音，小伙都自言自語說道：“別嘮叨啦，我每天都陪你聊天，好不好！想你了，老媽...”一大爺看不下去了，說道：“小伙子！你能不能不循環(huán)播這段語音，你要是想你媽了，能不能給她打個(gè)電話？”小伙說道：“上個(gè)月她走了，就只剩下這段語音了...”</p></h1>''' t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>",html_str,re.S) 4.保存數(shù)據(jù)：

with open("neihan.txt","w",encoding="utf-8") as f:for i in t:f.write(i)f.write("\n")
這是最簡(jiǎn)單的面向過程網(wǎng)站爬取，最終代碼如下：

import re import requests def Neihan（）：url=http://neihanshequ.com/headers= {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}r = requests.get(url,headers=headers)html_str = r.content.decode()'''<h1 class="title"><p>公交車上，一小伙對(duì)著手機(jī)打公放點(diǎn)微信語音：“臭小子，你是不是一點(diǎn)也不想你老娘？都不知道陪我聊聊天，回家來看看我...”每點(diǎn)開這段語音，小伙都自言自語說道：“別嘮叨啦，我每天都陪你聊天，好不好！想你了，老媽...”一大爺看不下去了，說道：“小伙子！你能不能不循環(huán)播這段語音，你要是想你媽了，能不能給她打個(gè)電話？”小伙說道：“上個(gè)月她走了，就只剩下這段語音了...”</p></h1>'''t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>",html_str,re.S)with open("neihan.txt","w",encoding="utf-8") as f:for i in t:f.write(i)f.write("\n") Neihan（）

按照面向?qū)ο笈廊?nèi)涵社區(qū)網(wǎng)站文本，爬蟲工作流程代碼如下：

# coding=utf-8 import requests import re import jsonclass Neihan:def __init__(self):self.start_url = "http://neihanshequ.com/"self.headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}self.next_url_temp = "http://neihanshequ.com/joke/?is_json=1&app_name=neihanshequ_web&max_time={}"def parse_url(self,url): #發(fā)送url地址的請(qǐng)求，獲取響應(yīng)r = requests.get(url,headers=self.headers)return r.content.decode()def get_first_page_content_list(self,html_str):t = re.findall(r"<h1 class=\"title\">.*?<p>(.*?)</p>.*?</h1>", html_str, re.S)#獲取max——timemax_time = re.findall("max_time: '(.*?)'",html_str,re.S)[0]return t,max_timedef save_content_list(self,content_list): #保存for content in content_list:print(content)def get_content_list(self,html_str):dict_response = json.loads(html_str)content_list = [i["group"]['text'] for i in dict_response["data"]["data"]]max_time = dict_response["data"]["max_time"]#獲取has_morehas_more = dict_response["data"]["has_more"]return content_list,max_time,has_moredef run(self):#實(shí)現(xiàn)主要邏輯#1.start_url#2.發(fā)送請(qǐng)求，獲取響應(yīng)html_str = self.parse_url(self.start_url)#3.提取數(shù)據(jù)content_list,max_time = self.get_first_page_content_list(html_str)#4.保存self.save_content_list(content_list)#5.獲取第二頁的urlhas_more=Truewhile has_more:next_url = self.next_url_temp.format(max_time)html_str = self.parse_url(next_url) #發(fā)送下一頁的請(qǐng)求content_list,max_time,has_more = self.get_content_list(html_str)#獲取json中的段子和max——timeself.save_content_list(content_list)if __name__ == '__main__':neihan = Neihan()neihan.run()

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的爬虫最基本的工作流程：内涵社区网站为例的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。