# -*- coding: utf-8 -*- # @Time： 2020/1/2 19:03 # @Author: gaoyanshun # @ Site: # @File: 獲取西刺代理 # @ Explain: # 當前維護者: gaoyanshun # 修改記錄: 時間，用戶名，修改內容。 最上面一條為最近記錄 # 環境：Python2.7,requests,bs4,re,import requests from bs4 import BeautifulSoup import reuser_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5)' headers = {'User-Agent': user_agent}def getListProxies():session = requests.session()page = session.get("http://www.xicidaili.com/nn", headers=headers)soup = BeautifulSoup(page.text, 'lxml')proxyList = []taglist = soup.find_all('tr', attrs={'class': re.compile("(odd)|()")})for trtag in taglist:tdlist = trtag.find_all('td')proxy = {'http': tdlist[1].string + ':' + tdlist[2].string,'https': tdlist[1].string + ':' + tdlist[2].string}proxyList.append(proxy)# 設定代理ip個數if len(proxyList) >= 10:breakreturn proxyListres = getListProxies() print len(res) print(res)

總結

以上是生活随笔為你收集整理的获取西刺代理IP构建代理池的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。