Requests

?

?

?

post方法如果提交字典會(huì)被存到form下，如果直接提交字符串，會(huì)被存到data下

put方法和post類似，只不過他會(huì)覆蓋原始數(shù)據(jù)

?

?　　　　　　　　　　　　　　###各個(gè)方法的使用###

?

13個(gè) 訪問參數(shù)

?

url修改的字段

//模擬瀏覽器進(jìn)行訪問

//模擬不同的IP地址對(duì)這個(gè)網(wǎng)站進(jìn)行訪問

?

?

?Beauyiful Soup

?

?

?

?

?

tag.a只會(huì)找第一個(gè)a，》》tag.a.attrs["id"]

?

?

?

?

soup.prettify()
讓頁面打印的時(shí)候，更加清楚的顯示

?

###信息提取###

find_all()

#可以find_all(‘a(chǎn)’)/find_all([‘a(chǎn)’,'b'])/find_all(True)#打印出所有標(biāo)簽

?

?#找到id以link開頭的所有標(biāo)簽

?

?#由于find_all函數(shù)特別常用，因此

?

?

?

正則表達(dá)式

?

Match

?re默認(rèn)貪婪匹配，即如果我調(diào)用search，如果如果從索引開始，有多個(gè)可匹配項(xiàng)，則它會(huì)默認(rèn)選擇會(huì)長的匹配

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/ningxinjie/p/11420391.html

總結(jié)

以上是生活随笔為你收集整理的北理工爬虫课程学习记录的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。