mysql插10万条数据_MySQL数据库插入100w条数据要花多久?
MySQL數(shù)據(jù)庫插入100w條數(shù)據(jù)要花多久?
1、多線程插入(單表)
2、多線程插入(多表)
3、預(yù)處理SQL
4、多值插入SQL
5、事務(wù)(N條提交一次)
# 多線程插入(單表)
問:為何對同一個表的插入多線程會比單線程快?同一時間對一個表的寫操作不應(yīng)該是獨占的嗎?
答:在數(shù)據(jù)里做插入操作的時候,整體時間的分配是這樣的:
1、多鏈接耗時 (30%)
2、多發(fā)送query到服務(wù)器 (20%)
3、多解析query (20%)
4、多插入操作 (10% * 詞條數(shù)目)
5、多插入index (10% * Index的數(shù)目)
6、多關(guān)閉鏈接 (10%)
從這里可以看出來,真正耗時的不是操作,而是鏈接,解析的過程。
MySQL插入數(shù)據(jù)在寫階段是獨占的,但是插入一條數(shù)據(jù)仍然需要解析、計算、最后才進(jìn)行寫處理,比如要給每一條記錄分配自增id,校驗主鍵唯一鍵屬性,或者其他一些邏輯處理,都是需要計算的,所以說多線程能夠提高效率。
# 多線程插入(多表)
分區(qū)分表后使用多線程插入。
# 預(yù)處理SQL
普通SQL:即使用Statement接口執(zhí)行SQL
預(yù)處理SQL:即使用PreparedStatement接口執(zhí)行SQL
使用PreparedStatement接口允許數(shù)據(jù)庫預(yù)編譯SQL語句,以后只需傳入?yún)?shù),避免了數(shù)據(jù)庫每次都編譯SQL語句,因此性能更好。
·
String sql = "insert into testdb.tuser
總結(jié)
以上是生活随笔為你收集整理的mysql插10万条数据_MySQL数据库插入100w条数据要花多久?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python pandas 数据透视表_
- 下一篇: java 初始化duration_jav