Python3 学习过程-爬虫示例-抓取热榜
生活随笔
收集整理的這篇文章主要介紹了
Python3 学习过程-爬虫示例-抓取热榜
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
實現一個簡單的爬蟲,此處以抓取頭條熱榜為例,記錄學習過程。
一、使用瀏覽器打開頭條熱榜頁面
二、打開開發者工具,找到請求內容url
三、在頁面,右鍵查看源碼,找到要獲取的內容標簽
?
四、編寫抓取代碼
#爬蟲demo 實現 抓取頭條排行榜 #引入請求訪問組件 import requests #引入html解析組件 from bs4 import BeautifulSoup #添加請求頭 kv = {'user-agent': 'Mozilla/5.0'} #請求頭條熱榜 response = requests.get('https://tophub.today/n/x9ozB4KoXb',headers=kv) #獲取請求結果并轉換為html soup = BeautifulSoup(response.text, 'html.parser') #獲取標簽為td,class 屬性為al的所有標簽 tdList=soup.find_all('td',attrs={"class": "al"})#輸出標簽內容 for td in tdList:print("排名"+str((tdList.index(td) + 1)), td.get_text())總結
以上是生活随笔為你收集整理的Python3 学习过程-爬虫示例-抓取热榜的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 房屋公寓出租房小程序开发
- 下一篇: 【手撕红黑树】