學(xué)習(xí)筆記

---

fake_useragent模塊

通常，我都是自己在網(wǎng)上找User-Agent，然后寫一個模塊，把收集到的User-Agent一股腦塞進(jìn)這個模塊中，爬蟲的時候再import這個模塊，隨機(jī)調(diào)用模塊里的User-Agent。

現(xiàn)在，有一個fake_useragent模塊，可以在線隨機(jī)生成User-Agent供我們使用，似不似很方便？

• 語法

from fake_useragent import UserAgent ua = UserAgent() user_agent = ua.random

• 舉個例子

我們向測試網(wǎng)站(http://httpbin.org/get, 當(dāng)我們向這個網(wǎng)站發(fā)起請求時，網(wǎng)站會返回我們的請求頭)發(fā)起請求, 并打印出網(wǎng)站響應(yīng)給我們的內(nèi)容：

from fake_useragent import UserAgent import requestsurl = 'http://httpbin.org/get' ua = UserAgent() headers = {'User-Agent':ua.random} html = requests.get(url, headers = headers).content.decode('utf-8') print(html)

輸出：

{"args": {}, "headers": {"Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 7.0; InfoPath.3; .NET CLR 3.1.40767; Trident/6.0; en-IN)", "X-Amzn-Trace-Id": "Root=1-5e915065-2d8689c8c024b608cb156ba0"}, "origin": "60.171.97.20", "url": "http://httpbin.org/get" }[Finished in 4.1s]

可以看到fake_useragent模塊的確幫助我們生成了一個User-Agent。

總結(jié)

以上是生活随笔為你收集整理的利用python爬虫(part12)--随机获取UserAgent的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。