java要从数据查出五百多万条数据_100w条数据 | 插入Mysql你要用多长时间？
目錄
1、多線程插入(單表)2、多線程插入(多表)3、預(yù)處理SQL4、多值插入SQL5、事務(wù)(N條提交一次)
多線程插入(單表)
問：為何對同一個表的插入多線程會比單線程快？同一時間對一個表的寫操作不應(yīng)該是獨占的嗎？
答：在數(shù)據(jù)里做插入操作的時候，整體時間的分配是這樣的：
1、多鏈接耗時 (30%)?
2、多發(fā)送query到服務(wù)器 (20%)?
3、多解析query (20%)?
4、多插入操作 (10% * 詞條數(shù)目)?
5、多插入index (10% * Index的數(shù)目)
6、多關(guān)閉鏈接 (10%)
從這里可以看出來，真正耗時的不是操作，而是鏈接，解析的過程。
MySQL插入數(shù)據(jù)在寫階段是獨占的，但是插入一條數(shù)據(jù)仍然需要解析、計算、最后才進行寫處理，比如要給每一條記錄分配自增id，校驗主鍵唯一鍵屬性，或者其他一些邏輯處理，都是需要計算的，所以說多線程能夠提高效率。
多線程插入(多表)
分區(qū)分表后使用多線程插入。
預(yù)處理SQL
普通SQL：即使用Statement接口執(zhí)行SQL預(yù)處理SQL：即使用PreparedStatement接口執(zhí)行SQL使用PreparedStatement接口允許數(shù)據(jù)庫預(yù)編譯SQL語句，以后只需傳入?yún)?shù)，避免了數(shù)據(jù)庫每次都編譯SQL語句，因此性能更好。
String sql = "insert into testdb.tuser (name, remark, createtime, updatetime) values (?, ?, ?, ?)";
for(int i = 0; i < m; i++) {
//從池中獲取連接
Connection conn = myBroker.getConnection();
PreparedStatement pstmt = conn.prepareStatement(sql);
for(int k = 0; k < n; k++) {
pstmt.setString(1, RandomToolkit.generateString(12));
pstmt.setString(2, RandomToolkit.generateString(24));
pstmt.setDate(3, newDate(System.currentTimeMillis()));
pstmt.setDate(4, newDate(System.currentTimeMillis()));
//加入批處理
pstmt.addBatch();
}
pstmt.executeBatch(); //執(zhí)行批處理
pstmt.close();
myBroker.freeConnection(conn); //連接歸池
}
多值插入SQL
普通插入SQL：INSERT INTO TBL_TEST (id) VALUES(1)多值插入SQL：INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)使用多值插入SQL，SQL語句的總長度減少，即減少了網(wǎng)絡(luò)IO，同時也降低了連接次數(shù)，數(shù)據(jù)庫一次SQL解析，能夠插入多條數(shù)據(jù)。
事務(wù)(N條提交一次)
在一個事務(wù)中提交大量INSERT語句可以提高性能。
1、將表的存儲引擎修改為myisam 2、將 sql 拼接成字符串，每 1000 條左右提交事務(wù)。
執(zhí)行多條SQL語句，實現(xiàn)數(shù)據(jù)庫事務(wù)。??
mysql數(shù)據(jù)庫??
多條SQL語句
public?void?ExecuteSqlTran(List?SQLStringList)
{
????using?(MySqlConnection?conn?=?new?MySqlConnection(connectionString))
????{
????????if?(DBVariable.flag)
????????{
????????????conn.Open();
????????????MySqlCommand?cmd?=?new?MySqlCommand();
????????????cmd.Connection?=?conn;
????????????MySqlTransaction?tx?=?conn.BeginTransaction();
????????????cmd.Transaction?=?tx;
????????????try
????????????{
????????????????for?(int?n?=?0;?n?SQLStringList.Count;?n++)
????????????????{
????????????????????string?strsql?=?SQLStringList[n].ToString();
????????????????????if?(strsql.Trim().Length?>?1)
????????????????????{
????????????????????????cmd.CommandText?=?strsql;
????????????????????????cmd.ExecuteNonQuery();
????????????????????}
????????????????????//后來加上的??
????????????????????if?(n?>?0?&&?(n?%?1000?==?0?||?n?==?SQLStringList.Count?-?1))
????????????????????{
????????????????????????tx.Commit();
????????????????????????tx?=?conn.BeginTransaction();
????????????????????}
????????????????}
????????????????//tx.Commit();//原來一次性提交??
????????????}
????????????catch?(System.Data.SqlClient.SqlException?E)
????????????{
????????????????tx.Rollback();
????????????????throw?new?Exception(E.Message);
????????????}
????????}
????}
}
10w條數(shù)據(jù)大概用時10s！
原文：https://blog.csdn.net/qq_36691683/article/details/89297261
參考資料：
https://www.cnblogs.com/aicro/p/3851434.html
http://blog.jobbole.com/29432/
歡迎點贊+收藏+轉(zhuǎn)發(fā)朋友圈素質(zhì)三連文章不錯？點個【在看】吧！??
總結(jié)
以上是生活随笔為你收集整理的java要从数据查出五百多万条数据_100w条数据 | 插入Mysql你要用多长时间？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： c与c十十与python_浅要分析Pyt
- 下一篇： js最小化浏览器_Handtrack.j