#這里的mysql數據庫用的是phpstudy里的，安裝方便 #需要下載MySqldb第三方庫 import MySQLdb,requests from bs4 import BeautifulSoupdef get_ip_list(url, headers):web_data = requests.get(url, headers=headers)soup = BeautifulSoup(web_data.text, 'lxml')ips = soup.find_all('tr')#ip_list = []for i in range(1, len(ips)):ip_info = ips[i]tds = ip_info.find_all('td')yield (tds[1].text,tds[2].text,tds[5].text)def main():url= 'http://www.xicidaili.com/nn/'#要爬取的網站headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'}db = MySQLdb.connect(host='localhost',user='root',passwd='root',db='mydatebase')#連接數據庫(地址,用戶名，密碼，數據庫名)cur = db.cursor()#取游標sql = "insert into ips(IP,Port,Type) VALUES ('%s','%s','%s')"for index in range(1,51):t = url+str(index)print("第%d頁面下載"%index)for i in get_ip_list(t,headers):#迭代下載的代理IP數組print(str(i).rjust(50," "))cur.execute(sql%(i[0],i[1],i[2]))#執行數據庫插入操作cur.close()db.close()if __name__=="__main__":main()

總結

以上是生活随笔為你收集整理的python爬取数据存入mysql的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。