to_sql結(jié)論可以對齊字段（dataframe的columns和數(shù)據(jù)庫字段一一對齊）

可以缺少字段（dataframe的columns可以比數(shù)據(jù)庫字段少）

不可以多出字段，會報錯

if_exists='append’進行新增（bug：如果設(shè)置了PK,ignore 和 replace會報錯）

一定要先創(chuàng)建好數(shù)據(jù)庫，設(shè)置好格式，

否則使用if_exists='append’自動創(chuàng)建的字段格式亂七八糟

項目需求excel表格按字段存入數(shù)據(jù)庫，近幾年的excel表格，業(yè)務(wù)系統(tǒng)幾經(jīng)迭代

所以每張表格的字段順序不一致，甚至有的字段已經(jīng)不需要剔除了

我本以為python的to_sql是按順序一一映射進mysql里，

于是便有了下面這篇特憨的一篇的文章：

當(dāng)時找遍了百度、CSDN都沒找到解決辦法，

偶然間靈感乍現(xiàn)的思路，還以為自己開創(chuàng)了先河

現(xiàn)在想想當(dāng)時多么自豪，現(xiàn)在就有多羞愧！

不過幾經(jīng)迭代，倒也幫我解決了to_sql不能 ignore和replace的問題

代碼比對

to_sql代碼#構(gòu)建數(shù)據(jù)庫連接

engine=create_engine(f'mysql+pymysql://{user}:{passwd}@{host}:3306/{db}')

#可以對齊字段，以及缺少字段；不可以增加字段

data.to_sql(sql_name,engine,index=False,if_exists='append')

自定義w_sql (迭代后版本)# 定義寫入數(shù)據(jù)庫函數(shù)

def w_sql(sql_name,data,db_name,host=host,user=user,passwd=passwd):

zd=""

for j in data.columns:

zd=zd+j+","

connent = pymysql.connect(host=host, user=user, passwd=passwd, db=db_name, charset='utf8mb4') #連接數(shù)據(jù)庫

cursor = connent.cursor()#創(chuàng)建游標(biāo)

for i in data.values:

va=""

for j in i:

if pd.isnull(j):

va=va+","+'null' #缺失值判斷和轉(zhuǎn)換

else:

va=va+","+'"'+str(j)+'"'

# sql=u"""insert ignore into %s (%s) values(%s)"""%(sql_name,zd[:-1],va[1:])

sql=u"""replace into %s (%s) values(%s)"""%(sql_name,zd[:-1],va[1:])

cursor.execute(sql)

connent.commit() #提交事務(wù)

cursor.close()#關(guān)閉游標(biāo)

connent.close()#斷開連接

優(yōu)劣對比

對比項to_sql自定義w_sql運行速度整表寫入，運行速度快一行行寫入，運行速度特慢

新表創(chuàng)建提前創(chuàng)建（格式問題，函數(shù)本身可以創(chuàng)建）提前創(chuàng)建

字段對齊可以對齊可以對齊

字段多余報錯警示報錯警示

主鍵處理不可以ignore可以ignore

數(shù)據(jù)修改不可以修改replace替換

運行速度慢可以說是這個自定義函數(shù)唯一也是最大，甚至于說致命的劣勢！

這也是我為什么會發(fā)現(xiàn)我這么憨的原因

畢竟自從有了這個自定義函數(shù)，以往都是無往而不利的，

基本上沒在使用過to_sql

如果不是碰到了那個她

一個上百萬行的excel文件

我恐怕這輩子都不會發(fā)現(xiàn) to_sql的秘密

慶幸的是相比去年多少進步了點兒，知道測試了，不只是憑感覺了

總的來說，自定義的sql寫入語句更靈活，但是相對于to_sql官方函數(shù)來說效率比較低下，如果參考下源碼，或許可以優(yōu)化下效率問題，如果有更好的想法，歡迎評論交流！

總結(jié)

以上是生活随笔為你收集整理的python to sql_python的to_sql那点儿事的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。