MySQL 5.7临时表空间怎么玩才能不掉坑里
導讀
MySQL 5.7起支持獨立臨時表空間,但個別時候也可能會踩坑的。
MySQL 5.7起,開始采用獨立的臨時表空間(和獨立的undo表空間不是一回事喲),命名ibtmp1文件,初始化12M,且默認無上限。
選項?innodb_temp_data_file_path?可配置臨時表空間相關參數。
innodb_temp_data_file_path = ibtmp1:12M:autoextend臨時表空間的幾點說明
-
臨時表空間不像普通InnoDB表空間那樣,不支持裸設備(raw device)。
-
臨時表空間使用動態的表空間ID,因此每次重啟時都會變化(每次重啟時,都會重新初始化臨時表空間文件)。
-
當選項設置錯誤或其他原因(權限不足等原因)無法創建臨時表空間時,mysqld實例也無法啟動。
-
臨時表空間中存儲這非壓縮的InnoDB臨時表,如果是壓縮的InnoDB臨時表,則需要單獨存儲在各自的表空間文件中,文件存放在?tmpdir(/tmp)目錄下。
-
臨時表元數據存儲在?INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO?視圖中。
有時執行SQL請求時會產生臨時表,極端情況下,可能導致臨時表空間文件暴漲,幫人處理過的案例中最高漲到快300G,比以前遇到的 ibdata1 文件暴漲還要猛…
臨時表使用的幾點建議
-
設置?innodb_temp_data_file_path?選項,設定文件最大上限,超過上限時,需要生成臨時表的SQL無法被執行(一般這種SQL效率也比較低,可借此機會進行優化)。
-
檢查?INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO,找到最大的臨時表對應的線程,kill之即可釋放,但 ibtmp1 文件則不能釋放(除非重啟)。
-
擇機重啟實例,釋放 ibtmp1 文件,和 ibdata1 不同,ibtmp1 重啟時會被重新初始化而 ibdata1 則不可以。
-
定期檢查運行時長超過N秒(比如N=300)的SQL,考慮干掉,避免垃圾SQL長時間運行影響業務。
附:臨時表測試案例
表DDL
CREATE TEMPORARY TABLE `tmp1` (`id` int(10) unsigned NOT NULL DEFAULT '0',`name` varchar(50) NOT NULL DEFAULT '',`aid` int(10) unsigned NOT NULL AUTO_INCREMENT,`nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,`nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,PRIMARY KEY (`aid`),KEY `name` (`name`),KEY `id` (`id`),KEY `nid` (`nid`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8原表大小只有 120MB,從這個表直接?INSERT…SELECT?導數據到tmp1表。
-rw-r----- ?1 yejr ?imysql ? 120M Apr 14 10:52 /data/mysql/test/sid.ibd生成臨時表(去掉虛擬列,臨時表不支持虛擬列,然后寫入數據),還更大了(我也不解,以后有機會再追查原因)。
-rw-r----- ?1 yejr ?imysql ? 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1查看臨時表元數據信息
yejr@imysql.com [test]>select * from INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G *********************** 1. row ***********************TABLE_ID: 405NAME: #sql14032_300000005_3N_COLS: 6SPACE: 421 PER_TABLE_TABLESPACE: FALSEIS_COMPRESSED: FALSE再刪除索引,結果,又更大了
-rw-r----- ?1 yejr ?imysql ? 204M Jun 25 09:57 /data/mysql/ibtmp1第二次測試刪除索引后,變成了200M(因為第二次測試時,我設置了臨時表最大200M)
innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M -rw-r----- ?1 yejr ?imysql ? 200M Jun 25 10:15 /data/mysql/ibtmp1 執行一個會產生臨時表的慢SQL。
注:MySQL 5.7起,執行UNION ALL不再產生臨時表(除非需要額外排序)。
文件漲到588M還沒結束,我直接給卡了
-rw-r----- ?1 yejr ?imysql ? 588M Jun 25 10:07 /data/mysql/ibtmp1第二次測試時,設置了臨時表空間文件最大200M,再執行會報錯:
yejr@imysql.com [test]>select * from tmp1 union select id,name,aid from sid;ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full
轉自:老葉茶館
總結
以上是生活随笔為你收集整理的MySQL 5.7临时表空间怎么玩才能不掉坑里的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql主从同步-问题梳理
- 下一篇: show slave status\G中