著名站点的爬虫 —— 豆瓣
生活随笔
收集整理的這篇文章主要介紹了
著名站点的爬虫 —— 豆瓣
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
0. 網(wǎng)址分類
- 大類:
- https://book.douban.com/
- https://music.douban.com/
- https://movie.douban.com/
- https://movie.douban.com/subject/電影ID/
- 小類:
- 評(píng)論:https://movie.douban.com/subject/xxx/comments
1. 爬取“喜歡這部劇集的人也喜歡 ”
import requests from bs4 import BeautifulSoupurl = "https://movie.douban.com/subject/25953429/" soup = BeautifulSoup(requests.get(url).text, 'html.parser')also_likes = set() links = soup.find_all('dd') for link in links:also_like = link.find_next('a')['href']also_likes.add(also_like)2. 電影評(píng)論
https://mp.weixin.qq.com/s/uTIhyNVE7W6mGMneSKQNlw
轉(zhuǎn)載于:https://www.cnblogs.com/mtcnn/p/9421077.html
《新程序員》:云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結(jié)
以上是生活随笔為你收集整理的著名站点的爬虫 —— 豆瓣的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 2018冬令营模拟测试赛(九)
- 下一篇: saltstack学习-9:批量安装ng