1、需求說明

需求：
爬取虎嗅網站的所有新聞，并保存到數據庫中。
http://www.huxiu.com

技術：
1、爬蟲
獲取服務器的資源（urllib）
解析html網頁（BeautifulSoup）
2、數據庫技術
數據庫 MySQLdb
業務邏輯的分析：
（1）、虎嗅網站的新聞，包括首頁和分頁信息（下一頁）
（2）、需要從首頁的資源和分頁的資源中獲取每個新聞的url連接
如何獲取url：
解析網站html文件，如果A標簽的href屬性包含 article字段，就表示這是一個新聞
（3）訪問新聞的url，解析出想要的字段

總結

以上是生活随笔為你收集整理的Python爬虫项目，获取所有网站上的新闻，并保存到数据库中，解析html网页等(未完待续)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。