一、將爬取的數(shù)據(jù)保存到mysql數(shù)據(jù)庫(kù)的代碼（已經(jīng)能將爬取的數(shù)據(jù)保存到j(luò)son文件）

　　（1）編輯Pipeline.py文件

　　　　

　　（2）編輯settings.py文件

　　　　

　　　　

二、將數(shù)據(jù)保存至mysql數(shù)據(jù)庫(kù)出現(xiàn)的問題

　　（1）在將數(shù)據(jù)存儲(chǔ)至數(shù)據(jù)庫(kù)的時(shí)候，一直報(bào)1366的錯(cuò)，經(jīng)查資料，發(fā)現(xiàn)是數(shù)據(jù)編碼的問題，在博客里找了好幾個(gè)解決方法，比較好的記錄下：

　　　　 ?1. 首先停掉mysql服務(wù)，編輯配置文件my.cnf

　　　　　　sudo stop mysql

　　　　　　sudo vim/etc/mysql.cnf

　　　　　　添加：

　　　　　　

　　　　　2. 重啟服務(wù)

　　　　　　sudo start mysql

　　　　　　sudo mysql -u root -p

　　　　　　use root

　　　　　　show variables like '%char%';#更改前存在的用戶字符集不會(huì)改變，以后新建的用戶字符集都會(huì)變成utf8，重新在數(shù)據(jù)庫(kù)里建字段

　　　　　　本段借鑒https://my.oschina.net/sldk/blog/266268

　　（2）在進(jìn)行爬取保存的時(shí)候，存的數(shù)據(jù)不完全，經(jīng)檢查后發(fā)現(xiàn)在爬取的數(shù)據(jù)里有空數(shù)據(jù)，所以在爬取的時(shí)候應(yīng)做非空處理

三、導(dǎo)出數(shù)據(jù)庫(kù)（以FP為例）（我使用的是root用戶）

　　（1）導(dǎo)出數(shù)據(jù)和表結(jié)構(gòu)

　　　　使用mysqldump命令，導(dǎo)出sql腳本（如果不指定導(dǎo)出路徑，默認(rèn)導(dǎo)出至當(dāng)前路徑）

　　　　格式：mysqldump -u 用戶名 -p （密碼） 數(shù)據(jù)庫(kù)名 > 數(shù)據(jù)庫(kù)名.sql

　　　　　　　mysqldump -u root -p FP > FP.sql

　　　　　　　回車后提示輸入密碼

　　　（2）只導(dǎo)出表結(jié)構(gòu)

　　　　格式：mysqldump -u 用戶名 -p （密碼） -d 數(shù)據(jù)庫(kù)名 > 數(shù)據(jù)庫(kù)名.sql

　　　　　　　mysqldump -u root -p -d FP > FP.sql

二、導(dǎo)入數(shù)據(jù)庫(kù)

　　導(dǎo)入和導(dǎo)出我學(xué)習(xí)了這位仁兄的博客

　　https://my.oschina.net/linuxphp/blog/693650

　　

轉(zhuǎn)載于:https://www.cnblogs.com/songxiangyangKing/p/8682906.html

總結(jié)

以上是生活随笔為你收集整理的在ubuntu 16.04里使用python—scrapy将爬取到的数据存到mysql数据库中的一些随笔的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。