本節書摘來自異步社區《用Python寫網絡爬蟲》一書中的第1章，第1.5節，作者 [澳]Richard Lawson（理查德 勞森），李斌 譯，更多章節內容可以訪問云棲社區“異步社區”公眾號查看。

1.5 本章小結

本章介紹了網絡爬蟲，然后開發了一個能夠在后續章節中復用的成熟爬蟲。此外，我們還介紹了一些外部工具和模塊的使用方法，用于了解網站、用戶代理、網站地圖、爬取延時以及各種爬取策略。

下一章中，我們將討論如何從已爬取到的網頁中獲取數據。

總結

以上是生活随笔為你收集整理的《用Python写网络爬虫》——1.5 本章小结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。