python简单爬豆瓣电影排名
生活随笔
收集整理的這篇文章主要介紹了
python简单爬豆瓣电影排名
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
爬豆瓣電影
?
網站分析:
? ? ? ? ? ? ? ? ? 1 打開https://movie.douban.com,選擇? 【排行榜】,然后隨便選擇一類型,我這里選擇科幻
? ?2 一直瀏覽網頁,發現沒有下一的標簽,是下滑再加載的,可以判定使用了 ajax 請求,進行異步的加載
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
檢查請求信息:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ?1.右鍵【檢查】>【Network】
? ? ? ? ? ? ? ? ? ? ? ? ? ?2 找url
?
簡單實現代碼
1 from urllib import request 2 import json 3 import time 4 5 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"} 6 # url 信息:interval_id 表示排名段 可修改 ,limit 限制20個,就是每頁請求多少個 7 url = "https://movie.douban.com/j/chart/top_list?type=17&interval_id=100%3A90&action=&start=20&limit=20" 8 9 rsp = request.urlopen(url) 10 data = rsp.read().decode() 11 12 data = json.loads(data) 13 14 print(data)
?
運行效果
?
?
?
優化輸出格式,代碼
1 from urllib import request 2 import json 3 4 url = "https://movie.douban.com/j/chart/top_list?type=5&interval_id=100%3A90&action=&start=20&limit=20" 5 6 rsp = request.urlopen(url) 7 data = rsp.read().decode() 8 9 data = json.loads(data) 10 11 #遍歷輸出每個'k'和‘v’的值 12 for item in data: 13 print("排名:", item['rank'],"\n", 14 "名稱:",item['title'],"\n", 15 "類型:",item['types'],"\n", 16 "主演:",item['actors'],"\n", 17 "國家:",item['regions'],"\n", 18 "分數:",item['score'],"\n", 19 "圖片:",item['cover_url'],"\n---------------")?
優化效果
?
好了,這樣的效果,看起來更順眼了
?
轉載于:https://www.cnblogs.com/lanyincao/p/10829239.html
總結
以上是生活随笔為你收集整理的python简单爬豆瓣电影排名的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: JavaScript中错误正确处理方式,
- 下一篇: python爬虫06 | 你的第一个爬虫