python爬取西刺网代理IP地址
生活随笔
收集整理的這篇文章主要介紹了
python爬取西刺网代理IP地址
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
python IP代理
- 1、ip信息
- 2、使用python爬取西刺代理IP信息
1、ip信息
IP是英文Internet Protocol的縮寫,意思是“網(wǎng)絡之間互連的協(xié)議”,也就是為計算機網(wǎng)絡相互連接進行通信而設計的協(xié)議。在因特網(wǎng)中,它是能使連接到網(wǎng)上的所有計算機網(wǎng)絡實現(xiàn)相互通信的一套規(guī)則,規(guī)定了計算機在因特網(wǎng)上進行通信時應當遵守的規(guī)則。任何廠家生產(chǎn)的計算機系統(tǒng),只要遵守IP協(xié)議就可以與因特網(wǎng)互連互通。正是因為有了IP協(xié)議,因特網(wǎng)才得以迅速發(fā)展成為世界上最大的、開放的計算機通信網(wǎng)絡。因此,IP協(xié)議也可以叫做“因特網(wǎng)協(xié)議”。
2、使用python爬取西刺代理IP信息
import requests import traceback import reheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}def download(url):print('正在下載頁面:{}'.format(url))try:res = requests.get(url, headers=headers)res.encoding = res.apparent_encodingif res.status_code == 200:return res.textelse:raise ConnectionErrorexcept Exception:print('下載頁面出錯:{}'.format(url))traceback.print_exc()def get_ip_list(resp):try:pattrens = 'alt="Cn" /></td>([\d\D]*?)</tr>'root = re.findall(pattrens ,resp)list_ip = []# 再次匹配數(shù)據(jù)的正則for i in range(len(root)):key = re.findall('<td>([\d\D]*?)</td>' ,root[i])list_ip.append(key[3].lower( ) + '://' +key[0 ] + ':' +key[1])return list_ipexcept Exception:print('解析IP地址出錯l')traceback.print_exc()def main():url ='https://www.xicidaili.com/'res = download(url)info = get_ip_list(res)for i in info:print(i)if __name__ == '__main__':main()總結(jié)
以上是生活随笔為你收集整理的python爬取西刺网代理IP地址的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 对CMMI3的学习和思考
- 下一篇: 程序常识