今天心血來潮，想爬取起點vip小說章節，花費了足足0.27大洋后，悟出來一個人生道理，這個應該是爬不下來。但是這0.27大洋也教會了我兩個知識點。

1.服務器只會響應客戶端的請求，不會主動給客戶端發送信息

例如我爬取的這一章vip章節

image.png

客戶端就會一直向服務器發送checkStatus?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz的請求，如果我沒有付錢，服務器就會返回

image.png

如果我付錢了

就會返回

{"code":0,"data":{"readUrl":"//vipreader.qidian.com/chapter/3242304/67958436"},"msg":"suc"}

接收到這個返回后客戶端會在發送一個請求章節內容的request（是不是我冒充服務器給瀏覽器發一個{"code":0,"data":{"readUrl":"//vipreader.qidian.com/chapter/3242304/67958436"},"msg":"suc"}的response，瀏覽器就會發一個請求全部內容的request，是不是就可以獲得全部章節內容，就可以爬取vip章節了，前提是服務器不會在驗證我是否已經付錢），這時候如果驗證我猜服務器會去數據庫查查我這個用戶有沒有付錢，如果有的話就會返回全部章節信息，如果沒有的話就返回試讀的信息（這是不是一個反爬蟲的手段？服務器再次驗證是否有vip權限）。

所以目前我認為 如果不修改起點數據庫中我付費字段的標記，那應該是爬取不到全部vip章節信息的。

2.cookie是服務器識別用戶的手段

因為我付費是在谷歌瀏覽器付費，所以當我輸入

https://vipreader.qidian.com/ajax/chapter/chapterInfo?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz&bookId=3242304&chapterId=67743698&authorId=4362948

谷歌瀏覽器顯示全部章節內容：

image.png

但是換一個瀏覽器后，輸入相同的網址，則只會顯示試讀內容：

image.png

總結

以上是生活随笔為你收集整理的python爬取vip小说章节_python 爬取起点小说vip章节（失败）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。