這里以這個網站為例
https://knewone.com/
在上下滾動中可以發現,這個網頁底端沒有下一頁按鈕,但是隨著向下翻頁,會出現新的內容,這是用js生成的,我們打開F12開發者工具
選擇Network,XHR

可以看到出現的新頁面,然后可以用requests,beautifulsoup庫進行爬取

總結

以上是生活随笔為你收集整理的爬取网页动态内容的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。