當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

爬虫学习笔记（3）

發布時間：2024/3/26 编程问答 28 豆豆

生活随笔收集整理的這篇文章主要介紹了爬虫学习笔记（3）小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

?網絡爬蟲之實戰

1正則表達式
2 淘寶商品比價定向爬蟲
3 股票數據定向爬蟲

4.1正則表達式

正則表達式語法由字符和操作符構成
常用操作符
. 表示任何單個字符
[ ] 字符集，對單個字符給出取值范圍[abc]表示a、b、c，[a‐z]表示a到z單個字符
[^ ] 非字符集，對單個字符給出排除范圍[^abc]表示非a或b或c的單個字符
* 前一個字符0次或無限次擴展abc* 表示ab、abc、abcc、abccc等
+ 前一個字符1次或無限次擴展abc+ 表示abc、abcc、abccc等
? 前一個字符0次或1次擴展abc? 表示ab、abc
| 左右表達式任意一個abc|def 表示abc、def
{m} 擴展前一個字符m次ab{2}c表示abbc
{m,n} 擴展前一個字符m至n次（含n） ab{1,2}c表示abc、abbc
^ 匹配字符串開頭^abc表示abc且在一個字符串的開頭
匹配字符串結尾𝑎𝑏𝑐匹配字符串結尾abc表示abc且在一個字符串的結尾
( ) 分組標記，內部只能使用| 操作符(abc)表示abc，(abc|def)表示abc、def
\d 數字，等價于[0‐9]
\w 單詞字符，等價于[A‐Za‐z0‐9_]

經典正則表達式
^[A‐Za‐z]+由26個字母組成的字符串[𝐴‐𝑍𝑎‐𝑧0‐9]+由26個字母組成的字符串[A‐Za‐z0‐9]+??? 由26個字母和數字組成的字符串
^‐?\d+整數形式的字符串[0‐9]?[1‐9][0‐9]?整數形式的字符串[0‐9]?[1‐9][0‐9]???? 正整數形式的字符串
[1‐9]\d{5}??? 中國境內郵政編碼，6位
[\u4e00‐\u9fa5]??? 匹配中文字符
\d{3}‐\d{8}|\d{4}‐\d{7}??? 國內電話號碼，010‐68913536

ip地址
精確寫法0‐99： [1‐9]?\d
100‐199: 1\d{2}
200‐249: 2[0‐4]\d
250‐255: 25[0‐5]
(([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5]).){3}([1‐9]?\d|1\d{2}|2[0‐4]\d|25[0‐5])

raw string類型（原生字符串類型）
re庫采用raw string類型表示正則表達式，表示為：r’text’ 例如： r'[1‐9]\d{5}’????? r’\d{3}‐\d{8}|\d{4}‐\d{7}’
raw string是不包含對轉義符再次轉義的字符串
re庫也可以采用string類型表示正則表達式，但更繁瑣
例如：
‘[1‐9]\\d{5}’
‘\\d{3}‐\\d{8}|\\d{4}‐\\d{7}’
建議：當正則表達式包含轉義符時，使用raw string

re庫主要功能函數
re.search() 在一個字符串中搜索匹配正則表達式的第一個位置，返回match對象
re.match() 從一個字符串的開始位置起匹配正則表達式，返回match對象
re.findall() 搜索字符串，以列表類型返回全部能匹配的子串
re.split() 將一個字符串按照正則表達式匹配結果進行分割，返回列表類型
re.finditer() 搜索字符串，返回一個匹配結果的迭代類型，每個迭代元素是match對象
re.sub() 在一個字符串中替換所有匹配正則表達式的子串，返回替換后的字符串

re.search(pattern, string, flags=0)
? pattern : 正則表達式的字符串或原生字符串表示
? string : 待匹配字符串
? flags : 正則表達式使用時的控制標記
常用標記
re.I re.IGNORECASE 忽略正則表達式的大小寫，[A‐Z]能夠匹配小寫字符
re.M re.MULTILINE 正則表達式中的^操作符能夠將給定字符串的每行當作匹配開始
re.S re.DOTALL 正則表達式中的.操作符能夠匹配所有字符，默認匹配除換行外的所有字符

import re match = re.search(r'[1-9]\d{5}','BIT 100081') if match:print(match.group(0))

match() 在開始位置起
.findall() 搜索字符串返回全部
.split() 將一個字符串按照正則表達式匹配結果分割，列表

pattern,string,maxsplit=0,flags=0

maxsplit:最大分割數，剩余部分作為最后一個元素輸出
import re re.split(r'[1-9]\d{5}','BIT100081 TSU100084') re.split(r'[1-9]\d{5}','BIT100081 TSU100084',maxsplit=1)
finditer() 搜索字符串返回匹配結果迭代類型，match對象
import re for m in re.finditer(r'[1-9]\d{5}','BIT100081 TSU100084'):if m:print(m.group(0))
sub() 替換所有匹配子串

pattern,repl, string, count=0, flags=0

repl：替換字符串

count:最大替換次數
import re re.sub(r'[1-9]\d{5}',':zipcode','BIT100081 TSU100084')
面向對象方式：編譯后多次操作

pat = re.compile(r'')

rst = pat.search(目標串)

3 match對象的屬性和方法

屬性：

.string: 待匹配文本

.re: pattern對象正則表達式

.pos: 搜索文本的開始位置

.endpos: 搜索文本的結束位置

方法：

.group(0): 獲得匹配后的字符串

.start(): 匹配字符串在原始字符串的開始位置

.end(): 匹配字符串在原始字符串的結束位置

.span(): 返回( .start(), .end() )

4 貪婪匹配/最小匹配

Re庫默認采用貪婪匹配，輸出最長字符串

最小匹配方法：

*？

+？

？？

｛m,n｝？

import re match = re.search(r'PY.*?N','PYANBNCNDN') # PYAN

淘寶商品定向爬蟲實例

# -*- coding: utf-8 -*-import requests import redef getHTMLText(url):try:headers = {'authority': 'i.taobao.com','cache-control': 'max-age=0','upgrade-insecure-requests': '1','user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/79.0.3945.79 Chrome/79.0.3945.79 Safari/537.36','sec-fetch-user': '?1','accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9','sec-fetch-site': 'same-origin','sec-fetch-mode': 'navigate','referer': 'https://i.taobao.com/my_taobao.htm?spm=a1z02.1.1997525045.1.7ed8782d01orMX&nekot=srvSqsLytqvO9zEyMzQ11580371470661','accept-encoding': 'gzip, deflate, br','accept-language': 'zh-CN,zh;q=0.9','cookie': 'cna=aKSzFJReIwQCAd9ouU+xLVRl; tracknick=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; tg=0; thw=cn; enc=kGsJZRMi8sLuqaIqWGfVgr14lEDCu0rwoxrBwwSHirgO46pL0ejpWfUqsozPkB7LY6EHYAH5Vtod7SgL6yEZ0g%3D%3D; hng=CN%7Czh-CN%7CCNY%7C156; x=e%3D1%26p%3D*%26s%3D0%26c%3D0%26f%3D0%26g%3D0%26t%3D0; t=7866b67fcc4852b72dcc409df7ae3a8b; miid=1660903413519974036; cookie2=1960a680d2327d8ed55f3c437eb2214b; v=0; _tb_token_=e068eeeb73078; _samesite_flag_=true; tk_trace=oTRxOWSBNwn9dPyorMJE%2FoPdY8zfvmw%2Fq5hp3RAy%2BB78AjIISjkLHYxC8Hi9aw%2BOn1Mmce9eQe4dYqPFeIf6XFRwroDHstiDfCCbrEHSYdwVx950L8UOoTrt3BJfV2vZ%2BA6jqT%2B5VhwvgjZYCMJvCEmZmO0xfYbfqBf287WSjh6LG18k6Hldf2CO4Rn2vBLGtbNcU%2FZO3h0i6dEnWJAHewwcTX0neDO1L7a4l%2FsOwhIxi5MdPiVNGK5fPT3wWqUZPY2GJqry0h2hFZhgUPgoV%2Bp0jhF7gQ%3D%3D; lgc=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; dnk=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; mt=ci=26_1; _mw_us_time_=1580371451116; unb=2587169755; uc3=id2=UU26%2BwkfS3OYwA%3D%3D&vt3=F8dBxdrF9iQYli44QUg%3D&lg2=VT5L2FSpMGV7TQ%3D%3D&nk2=0XnmPO%2FdbuCfk4F7RgiV; csg=3695fb45; cookie17=UU26%2BwkfS3OYwA%3D%3D; skt=3549bd3e927e65a2; existShop=MTU4MDM3MTQ3MA%3D%3D; uc4=id4=0%40U2%2F9qCOWvqgfTzg6W4LH999hwpCV&nk4=0%4000HNS3vTfljhnAAFpXHEYObTzggZAuOMVzI%3D; _cc_=W5iHLLyFfA%3D%3D; _l_g_=Ug%3D%3D; sg=558; _nk_=%5Cu4E0D%5Cu8981%5Cu4E70%5Cu4E1C%5Cu897F12345; cookie1=B0TxayK6e13xyAeqM1K%2FQv4uIYEG6Dw2mInyq8oCLsc%3D; l=cBg7nZncvrgIP5isBOCwnurza77OIIRAguPzaNbMi_5ac6L6-f7Ooq7dBFp6cjWd9TTB4Eg2dKJ9-eteiG4pJAR8E5vP.; isg=BF9fY4mpfSQzXXkWcOH0TOcU7rrpxLNmQdsNm_Gs9Y5VgH8C-Za6ttxSRhD-GIve; uc1=cookie16=URm48syIJ1yk0MX2J7mAAEhTuw%3D%3D&cookie21=WqG3DMC9Edo1TBf%2BcZ0sSw%3D%3D&cookie15=VFC%2FuZ9ayeYq2g%3D%3D&existShop=false&pas=0&cookie14=UoTUOqOukqta%2Fw%3D%3D&tag=8&lng=zh_CN',}params = (('spm', 'a1z02.1.1997525045.1.6736782d9pnR2V'),)r = requests.get(url, headers=headers, params=params)# NB. Original query string below. It seems impossible to parse and# reproduce query strings 100% accurately so the one below is given# in case the reproduced version is not "correct".# response = requests.get('https://i.taobao.com/my_taobao.htm?spm=a1z02.1.1997525045.1.6736782d9pnR2V', headers=headers)r.raise_for_status()r.encoding = r.apparent_encodingreturn r.textexcept:return ""

股票數據定向爬蟲實例

import requests
from bs4 import BeautifulSoup
import traceback
import re

#獲得URL對應的頁面
def getHTMLText(url,code='utf-8'):
? ? try:
? ? ? ? r=requests.get(url,timeout=30)
? ? ? ? r.raise_for_status()
? ? ? ? '''
? ? ? ? 速度提高：編碼識別的優化
? ? ? ? r.apparent_encoding是將獲得的html頁面文本內容交給程序來判斷
? ? ? ? 而r.encoding只是從html的頭文件中解析其用的方式
? ? ? ? '''
? ? ? ? #r.encoding=r.apparent_encoding
? ? ? ? r.encoding=code
? ? ? ? return r.text
? ? except:
? ? ? ? return ""

#獲得股票的信息列表
def getStockList(lst,stockURL):
? ? html=getHTMLText(stockURL,'GB2312')
? ? soup=BeautifulSoup(html,'html.parser')
? ? #通過觀察東方財富網的源代碼，我們發現我們要找的股票代碼都存在了<a>標簽里，所以我們需要找到所有的<a>標簽
? ? a=soup.find_all('a')
? ? for i in a:
? ? ? ? # 我們找到<a>標簽里面的href屬性中的最后html前面有股票代碼我們將其提取出來即可
? ? ? ? # <a target="_blank" href="http://quote.eastmoney.com/sh201000.html">
? ? ? ? # 股票代碼的規律，上交所的為“sh+6位數字”，深交所的為“sz+6位數字”
? ? ? ? try:
? ? ? ? ? ? href=i.attrs['href']
? ? ? ? ? ? lst.append(re.findall(r"[s][hz]\d{6}",href)[0])
? ? ? ? except:
? ? ? ? ? ? continue#出現異常程序繼續執行即可，可能一些匹配出現問題

#獲得每一個個股的股票信息，并將其存在一個文件中
def getStockInfo(lst,stockURL,fpath):
? ? #在百度股票中
? ? count = 0
? ? for stock in lst:
? ? ? ? print(stock)
? ? ? ? url=stockURL+stock+".html"
? ? ? ? html=getHTMLText(url)
? ? ? ? try:
? ? ? ? ? ? if html=="":
? ? ? ? ? ? ? ? continue
? ? ? ? ? ? #定義一個字典，存儲從頁面中返回的所有的個股信息
? ? ? ? ? ? infoDict={}
? ? ? ? ? ? soup=BeautifulSoup(html,"html.parser")
? ? ? ? ? ? stockInfo=soup.find('div',attrs={'class':'stock-bets'})
? ? ? ? ? ? name=stockInfo.find_all(attrs={'class':'bets-name'})[0]
? ? ? ? ? ? #可能待會兒在這出現差錯，是因為在東方財富網上的有關基金在百度股票網上找不到對應的股票
? ? ? ? ? ? infoDict.update({'股票名稱':name.text.split()[0]})

? ? ? ? ? ? keyList=stockInfo.find_all('dt')
? ? ? ? ? ? valueList=stockInfo.find_all('dd')

? ? ? ? ? ? for i in range(len(keyList)):
? ? ? ? ? ? ? ? key=keyList[i].text
? ? ? ? ? ? ? ? val=valueList[i].text
? ? ? ? ? ? ? ? infoDict[key]=val#字典的用法

? ? ? ? ? ? #體驗提高：增加動態進度顯示

? ? ? ? ? ? with open(fpath,'a',encoding='utf-8') as f:
? ? ? ? ? ? ? ? f.write(str(infoDict)+'\n')
? ? ? ? ? ? ? ? count+=1
? ? ? ? ? ? ? ? print("\r當前進度：{:.2f}%".format(count*100/len(lst)),end="")#\r打印的內容會覆蓋之前的內容

? ? ? ? except:
? ? ? ? ? ? #traceback.print_exc()#知道哪些地方發生了異常，獲得錯誤信息
? ? ? ? ? ? count+=1
? ? ? ? ? ? print("\r當前進度：{:.2f}%".format(count * 100 / len(lst)), end="")
? ? ? ? ? ? continue

if __name__ == '__main__':
? ? stock_list_url="http://quote.eastmoney.com/stock_list.html"#股票列表的網站
? ? stock_info_url='https://gupiao.baidu.com/stock/'
? ? output_file="/home/george/Downloads/爬蟲/BaiduStockInfo.txt'"
? ? slist=[]#存儲股票的信息
? ? getStockList(slist,stock_list_url)
? ? getStockInfo(slist,stock_info_url,output_file)

百度股票不行了，所以得不到個股信息

總結

以上是生活随笔為你收集整理的爬虫学习笔记（3）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：离散数学笔记（一）
下一篇：高恪新路由三硬盘_新路由3刷高恪教程