超级好用的使用python批量更新MYsql,速度从一万条需要一天变道一万条需要10分钟左右
生活随笔
收集整理的這篇文章主要介紹了
超级好用的使用python批量更新MYsql,速度从一万条需要一天变道一万条需要10分钟左右
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
推薦網(wǎng)址:https://www.jb51.net/article/100747.html
MySQL批量插入的語法為:
主要思想:將42W條數(shù)據(jù)分批次進(jìn)行更新,我這里分42次,即每次批量更新1萬條,然后編寫Python程序按上面的語法格式構(gòu)建相應(yīng)的SQL語句,代碼如下:
f=open("senti_values.txt",'r',encoding='utf8')res=f.readlines()for i in range(0,42):sql1 = "UPDATE nine_tuple SET SENTI_VALUE = CASE N_T_ID "sql2 = '1'for j in range(j*10000, (j+1)*10000):r = res[j].split('\n')[0].split(';')ntid = int(r[0])f_senti_sala = float(r[1])senti_sala = str(float('%.3f' % f_senti_sala))sql1 += ' WHEN %d THEN \'%s\'' % (ntid, senti_sala)if (i != 0):sql2 += ',' + str(ntid)sql = sql1 + ' END' + " WHERE N_T_ID IN (%s)" % (sql2)print(str(i + 1))cursor.execute(sql)db.commit()db.close()print('OK')總結(jié)
以上是生活随笔為你收集整理的超级好用的使用python批量更新MYsql,速度从一万条需要一天变道一万条需要10分钟左右的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: jieba分词并做分析
- 下一篇: AAAI 2018 论文 | 蚂蚁金服公