起點(diǎn)中文網(wǎng)的歷史比較悠久，一般來說，新的小說和古老的小說的格式恐怕是不太一樣的，甚至vip章節(jié)和普通章節(jié)也是不一樣的，因此，我們就盡量挑選最新的小說研究一下。

首先是排行榜的地址

https://www.qidian.com/rank/hotsales/

直接通過requests發(fā)起請(qǐng)求，就可以獲得所有的數(shù)據(jù)，沒有任何的反爬措施，可以說，起點(diǎn)是到目前為止見到過的最友好的網(wǎng)站，輕松就可以拿到排行榜數(shù)據(jù)。

然后我們選擇當(dāng)前最熱門的小說《大奉打工人》

https://book.qidian.com/info/1019664125/

同樣，沒有任何反爬措施，輕松就可以拿到所有的小說章節(jié)

進(jìn)入小說章節(jié)后，我們發(fā)現(xiàn)，現(xiàn)在遇到了第一個(gè)小的麻煩，對(duì)方網(wǎng)站禁止了右鍵

但是，我們不用管他，直接對(duì)地址發(fā)起請(qǐng)求，可以看到，所有的數(shù)據(jù)都直接拿到了

<p>許七安幽幽醒來，嗅到了空氣中潮濕的腐臭味，令人輕微的不適，胃酸翻涌。 <p>這撲面而來的臭味是怎么回事，家里的二哈又跑床上拉屎來了....根據(jù)熏人程度，怕不是在我頭頂拉的... <p>許七安家里養(yǎng)了一條狗，品種哈士奇，俗稱二哈。 <p>北漂了十年，孤孤單單的，這人啊，寂寞久了，難免會(huì)想養(yǎng)條狗里慰藉和消遣....不是肉體上。 <p>睜開眼，看了下周遭，許七安懵了一下。 <p>石塊壘砌的墻壁，三個(gè)碗口大的方塊窗，他躺在冰涼的破爛草席上，陽光透過方塊窗照射在他胸口，光束中塵糜浮動(dòng)。

除了這個(gè)p標(biāo)簽看著有點(diǎn)奇怪以外，所有的數(shù)據(jù)全部都是可以正常獲得

當(dāng)然了，起點(diǎn)是一個(gè)收費(fèi)網(wǎng)站，所有的vip章節(jié)是必須要賬號(hào)登錄，花錢購買才能爬取的，除此之外，起點(diǎn)是非常友好的，所有的數(shù)據(jù)獲取沒有反爬，沒有加密，隨便就可以獲得了

查看2021更多爬蟲分析，點(diǎn)擊這里

總結(jié)

以上是生活随笔為你收集整理的第4期-通过起点中文网爬取小说的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。