前言：

編寫一個爬蟲腳本，用于爬取東方財富網(wǎng)的上海股票代碼，并通過爬取百度股票的單個股票數(shù)據(jù)，將所有上海股票數(shù)據(jù)爬取下來并保存到本地文件中

系統(tǒng)環(huán)境：

64位win10系統(tǒng)，64位python3.6,IDE位pycharm

預(yù)備知識：

BeautifulSoup的基本知識，re正則表達式的基本知識

代碼：

代碼解釋：

第一個getHTMLText函數(shù)的作用是獲得所需的網(wǎng)頁源代碼

第二個getStockList函數(shù)的作用是獲得東方財富網(wǎng)上面上海股票的全部代碼，查看網(wǎng)頁源代碼可知，股票代碼的數(shù)據(jù)放在'a'標簽里面，如下圖所示：

因此，首先用find_all方法遍歷所有'a'標簽，然后在'a'標簽里面提取出href部分信息，在提取出來的href信息里面，用正則表達式匹配所需的信息，“shd{6}”，即徐亞匹配例如sh200010的信息

第三個函數(shù)需要根據(jù)第二個函數(shù)得到的股票代碼，拼接出一個url，在這個特定的url的網(wǎng)頁里，使用第一個函數(shù)解析網(wǎng)頁，首先加一個判斷，如果遇到html為空，那么要繼續(xù)執(zhí)行下去，同樣，我們也需要再加一個判斷（關(guān)鍵之處），遇到網(wǎng)頁不存在，

但html源代碼仍然是存在的，因此接下去這個命令

stockInfo = soup.find('div',attrs = {'class':'stock-bets'})

可能為空，如果不加判斷，程序執(zhí)行到這里就會報錯而無法繼續(xù)執(zhí)行，因此添加：

if stockInfo == None:

continue

總結(jié)

以上是生活随笔為你收集整理的mysql 数据为空 none 网页显示空白_用python爬虫爬取股票数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。