MySQL 之 索引
一 初識索引
為什么要有索引?
一般的應用系統,讀寫比例在10:1左右,而且插入操作和一般的更新操作很少出現性能問題,在生產環境中,我們遇到最多的,也是最容易出問題的,還是一些復雜的查詢操作,因此對查詢語句的優化顯然是重中之重。說起加速查詢,就不得不提到?索引?了。
什么是索引?
類似于字典中的目錄,查找字典內容時可以根據目錄查找到數據的存放位置,然后直接獲取即可。
索引在MySQL中也叫是一種“鍵”,是存儲引擎用于快速找到記錄的一種數據結構。索引對于良好的性能非常關鍵,尤其是當表中的數據量越來越大時,索引對于性能的影響愈發重要。索引優化應該是對查詢性能優化最有效的手段了。索引能夠輕易將查詢性能提高好幾個數量級。索引相當于字典的音序表,如果要查某個字,如果不使用音序表,則需要從幾百頁中逐頁去查。
你是否對索引存在誤解?
索引是應用程序設計和開發的一個重要方面。若索引太多,應用程序的性能可能會受到影響。而索引太少,對查詢性能又會產生影響,要找到一個平衡點,這對應用程序的性能至關重要。一些開發人員總是在事后才想起添加索引----其實這源于一種錯誤的開發模式。如果知道數據的使用,從一開始就應該在需要處添加索引。開發人員往往對數據庫的使用停留在應用的層面,比如編寫SQL語句、存儲過程之類,他們甚至可能不知道索引的存在,或認為事后讓相關DBA加上即可。DBA往往不夠了解業務的數據流,而添加索引需要通過監控大量的SQL語句進而從中找到問題,這個步驟所需的時間肯定是遠大于初始添加索引所需的時間,并且可能會遺漏一部分的索引。當然索引也并不是越多越好。
二 索引的原理
一 索引原理
索引的目的在于提高查詢效率,與我們查閱圖書所用的目錄是一個道理:先定位到章,然后定位到該章下的一個小節,然后找到頁數。
本質都是:通過不斷地縮小想要獲取數據的范圍來篩選出最終想要的結果,同時把隨機的事件變成順序的事件,也就是說,有了這種索引機制,我們可以總是用同一種查找方式來鎖定數據。
數據庫也是一樣,但顯然要復雜的多,因為不僅面臨著等值查詢,還有范圍查詢(>、<、between、in)、模糊查詢(like)、并集查詢(or)等等。數據庫應該選擇怎么樣的方式來應對所有的問題呢?我們回想字典的例子,能不能把數據分成段,然后分段查詢呢?最簡單的如果1000條數據,1到100分成第一段,101到200分成第二段,201到300分成第三段......這樣查第250條數據,只要找第三段就可以了,一下子去除了90%的無效數據。但如果是1千萬的記錄呢,分成幾段比較好?稍有算法基礎的同學會想到搜索樹,其平均復雜度是lgN,具有不錯的查詢性能。但這里我們忽略了一個關鍵的問題,復雜度模型是基于每次相同的操作成本來考慮的。而數據庫實現比較復雜,一方面數據是保存在磁盤上的,另外一方面為了提高性能,每次又可以把部分數據讀入內存來計算,因為我們知道訪問磁盤的成本大概是訪問內存的十萬倍左右,所以簡單的搜索樹難以滿足復雜的應用場景。
二 磁盤IO與預讀
先簡單介紹一下磁盤IO和預讀,磁盤讀取數據靠的是機械運動,每次讀取數據花費的時間可以分為尋道時間、旋轉延遲、傳輸時間三個部分,尋道時間指的是磁臂移動到指定磁道所需要的時間,主流磁盤一般在5ms以下;旋轉延遲就是我們經常聽說的磁盤轉速,比如一個磁盤7200轉,表示每分鐘能轉7200次,也就是說1秒鐘能轉120次,旋轉延遲就是1/120/2 = 4.17ms;傳輸時間指的是從磁盤讀出或將數據寫入磁盤的時間,一般在零點幾毫秒,相對于前兩個時間可以忽略不計。那么訪問一次磁盤的時間,即一次磁盤IO的時間約等于5+4.17 = 9ms左右,聽起來還挺不錯的,但要知道一臺500 MIPS(Million Instructions Per Second)的機器每秒可以執行5億條指令,因為指令依靠的是電的性質,換句話說執行一次IO的時間可以執行約450萬條指令,數據庫動輒十萬百萬乃至千萬級數據,每次9毫秒的時間,顯然是個災難。下圖是計算機硬件延遲的對比圖,供大家參考:
考慮到磁盤IO是非常高昂的操作,計算機操作系統做了一些優化,當一次IO時,不光把當前磁盤地址的數據,而是把相鄰的數據也都讀取到內存緩沖區內,因為局部預讀性原理告訴我們,當計算機訪問一個地址的數據的時候,與其相鄰的數據也會很快被訪問到。每一次IO讀取的數據我們稱之為一頁(page)。具體一頁有多大數據跟操作系統有關,一般為4k或8k,也就是我們讀取一頁內的數據時候,實際上才發生了一次IO,這個理論對于索引的數據結構設計非常有幫助
三 索引的兩大類型hash與btree
# 索引類型,分兩類 hash類型的索引:查詢單條快,范圍查詢慢 btree類型的索引:b+樹,層數越多,數據量指數級增長(我們就用它,因為innodb默認支持它)# 不同的存儲引擎支持的索引類型也不一樣 InnoDB 支持事務,支持行級別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引; MyISAM 不支持事務,支持表級別鎖定,支持 B-tree、Full-text 等索引,不支持 Hash 索引; Memory 不支持事務,支持表級別鎖定,支持 B-tree、Hash 等索引,不支持 Full-text 索引; NDB 支持事務,支持行級別鎖定,支持 Hash 索引,不支持 B-tree、Full-text 等索引; Archive 不支持事務,支持表級別鎖定,不支持 B-tree、Hash、Full-text 等索引;四 btree索引的數據結構
樹
樹狀圖是一種數據結構,它是由n(n>=1)個有限結點組成一個具有層次關系的集合。把它叫做“樹”是因為它看起來像一棵倒掛的樹,也就是說它是根朝上,而葉朝下的。它具有以下的特點:每個結點有零個或多個子結點;沒有父結點的結點稱為根結點;每一個非根結點有且只有一個父結點;除了根結點外,每個子結點可以分為多個不相交的子樹
根結點 : A。父節點 : A是B,C的父節點。葉子節點:D,E是葉子節點。樹的深度/樹的高度:高度為3
B+樹
前面講了索引的基本原理,數據庫的復雜性,又講了操作系統的相關知識,目的就是讓大家了解,任何一種數據結構都不是憑空產生的,一定會有它的背景和使用場景,我們現在總結一下,我們需要這種數據結構能夠做些什么,其實很簡單,那就是:每次查找數據時把磁盤IO次數控制在一個很小的數量級,最好是常數數量級。那么我們就想到如果一個高度可控的多路搜索樹是否能滿足需求呢?就這樣,b+樹應運而生(B+樹是通過二叉查找樹,再由平衡二叉樹,B樹演化而來)。
b+樹性質
1.索引字段要盡量的小:通過上面的分析,我們知道IO次數取決于b+數的高度h,假設當前數據表的數據為N,每個磁盤塊的數據項的數量是m,則有h=㏒(m+1)N,當數據量N一定的情況下,m越大,h越小;而m = 磁盤塊的大小 / 數據項的大小,磁盤塊的大小也就是一個數據頁的大小,是固定的,如果數據項占的空間越小,數據項的數量越多,樹的高度越低。這就是為什么每個數據項,即索引字段要盡量的小,比如int占4字節,要比bigint8字節少一半。這也是為什么b+樹要求把真實的數據放到葉子節點而不是內層節點,一旦放到內層節點,磁盤塊的數據項會大幅度下降,導致樹增高。當數據項等于1時將會退化成線性表。
2.索引的最左匹配特性:當b+樹的數據項是復合的數據結構,比如(name,age,sex)的時候,b+數是按照從左到右的順序來建立搜索樹的,比如當(張三,20,F)這樣的數據來檢索的時候,b+樹會優先比較name來確定下一步的所搜方向,如果name相同再依次比較age和sex,最后得到檢索的數據;但當(20,F)這樣的沒有name的數據來的時候,b+樹就不知道下一步該查哪個節點,因為建立搜索樹的時候name就是第一個比較因子,必須要先根據name來搜索才能知道下一步去哪里查詢。比如當(張三,F)這樣的數據來檢索時,b+樹可以用name來指定搜索方向,但下一個字段age的缺失,所以只能把名字等于張三的數據都找到,然后再匹配性別是F的數據了, 這個是非常重要的性質,即索引的最左匹配特性。
btree索引中的 聚集索引與輔助索引
在數據庫中,B+樹的高度一般都在2~4層,這也就是說查找某一個鍵值的行記錄時最多只需要2到4次IO,這倒不錯。因為當前一般的機械硬盤每秒至少可以做100次IO,2~4次的IO意味著查詢時間只需要0.02~0.04秒。數據庫中的B+樹索引可以分為聚集索引(clustered index)和輔助索引(secondary index),
聚集索引與輔助索引相同的是:不管是聚集索引還是輔助索引,其內部都是B+樹的形式,即高度是平衡的,葉子結點存放著所有的數據。
聚集索引與輔助索引不同的是:葉子結點存放的是否是一整行的信息
1、聚集索引
InnoDB存儲引擎表是索引組織表,即表中數據按照主鍵順序存放。聚集索引(clustered index)就是按照每張表的主鍵構造一棵B+樹,同時葉子結點存放的即為整張表的行記錄數據,也將聚集索引的葉子結點稱為數據頁。聚集索引的這個特性決定了索引組織表中數據也是索引的一部分。同B+樹數據結構一樣,每個數據頁都通過一個雙向鏈表來進行鏈接。
在InnoDB中,mysql是這樣選擇聚簇索引的:
-
如果表中定義了PRIMARY KEY,那么InnoDB就會使用它作為聚簇索引;
-
否則,如果沒有定義PRIMARY KEY,InnoDB會選擇第一個有NOT NULL約束的唯一索引作為PRIMARY KEY,然后InnoDB會使用它作為聚簇索引;
-
如果表中沒有定義PRIMARY KEY或者合適的唯一索引。InnoDB內部會在含有行ID值的合成列生成隱藏的聚簇索引。這些行使用InnoDB賦予這些表的ID進行排序。行ID是6個字節的字段,且作為新行單一地自增。因此,根據行ID排序的行數據在物理上是根據插入的順序進行排序。
由于實際的數據頁只能按照一棵B+樹進行排序,因此每張表只能擁有一個聚集索引。在多數情況下,查詢優化器傾向于采用聚集索引。因為聚集索引能夠在B+樹索引的葉子節點上直接找到數據。此外由于定義了數據的邏輯順序,聚集索引能夠特別快地訪問針對范圍值得查詢。
聚集索引的好處:
-
它對主鍵的排序查找和范圍查找速度非常快,葉子節點的數據就是用戶所要查詢的數據。如用戶需要查找一張表,查詢最后的10位用戶信息,由于B+樹索引是雙向鏈表,所以用戶可以快速找到最后一個數據頁,并取出10條記錄
-
范圍查詢(range query),即如果要查找主鍵某一范圍內的數據,通過葉子節點的上層中間節點就可以得到頁的范圍,之后直接讀取數據頁即可
2、輔助索引
表中除了聚集索引外其他索引都是輔助索引(Secondary Index,也稱為非聚集索引),與聚集索引的區別是:輔助索引的葉子節點不包含行記錄的全部數據。葉子節點除了包含鍵值以外,每個葉子節點中的索引行中還包含一個書簽(bookmark)。該書簽用來告訴InnoDB 存儲引擎去哪里可以找到與索引相對應的行數據。
由于InnoDB存儲引擎是索引組織表,因此InnoDB存儲引擎的輔助索引的書簽就是相應行數據的聚集索引鍵。如下圖
輔助索引的存在并不影響數據在聚集索引中的組織,因此每張表上可以有多個輔助索引,但只能有一個聚集索引。當通過輔助索引來尋找數據時,InnoDB存儲引擎會遍歷輔助索引并通過葉子級別的指針獲得只想主鍵索引的主鍵,然后再通過主鍵索引來找到一個完整的行記錄。
舉例來說,如果在一棵高度為3的輔助索引樹種查找數據,那需要對這個輔助索引樹遍歷3次找到指定主鍵,如果聚集索引樹的高度同樣為3,那么還需要對聚集索引樹進行3次查找,最終找到一個完整的行數據所在的頁,因此一共需要6次邏輯IO訪問才能得到最終的一個數據頁。
3、聚集索引和非聚集索引的聯系與區別
聚集索引
1.紀錄的索引順序與主鍵順序相同,因此更適合between and和order by操作
2.葉子結點直接對應數據,從中間級的索引頁的索引行直接對應數據頁
3.每張表只能創建一個聚集索引
非聚集索引
1.索引順序和物理順序無關
2.葉子結點不直接指向數據頁
3.每張表可以有多個非聚集索引,需要更多磁盤和內容
五 索引的常見分類
MySQL中常見索引有:
- 普通索引:僅加速查詢
- 唯一索引:加速查詢 + 列值唯一(可以有null)
- 主鍵索引:加速查詢 + 列值唯一 + 表中只有一個(不可以有null)
- 組合索引:多列值組成一個索引,專門用于組合搜索,其效率大于索引合并
- 全文索引:對文本的內容進行分詞,進行搜索
1、普通索引
普通索引僅有一個功能:加速查詢
# 創建表時創建索引 create table in1(nid int not null auto_increment primary key,name varchar(32) not null,extra text,index ix_name (name) ) # 創建索引 create index index_name on table_name(column_name)# 刪除索引 drop index_name on table_name;# 查看索引 show index from table_name;# 注意:對于創建索引時如果是BLOB?和?TEXT?類型,必須指定length。 create index ix_extra on in1(extra(32));2、唯一索引
唯一索引有兩個功能:加速查詢 和 唯一約束(可含null)
# 創建表時創建索引 create table in1(nid int not null auto_increment primary key,name varchar(32) not null,unique ix_name (name) )# 創建索引 create unique index 索引名 on 表名(列名)# 刪除索引 drop unique index 索引名 on 表名3、主鍵索引
主鍵有兩個功能:加速查詢 和 唯一約束(不可含null)
# 創建表時創建索引 create table in1(nid int not null auto_increment primary key,name varchar(32) not null,index ix_name (name) ) # 或者 create table in1(nid int not null auto_increment,name varchar(32) not null,primary key(ni1),index ix_name (name) )# 創建索引 alter table 表名 add primary key(列名);# 刪除索引 alter table 表名 drop primary key; alter table 表名 modify 列名 int, drop primary key;4、組合索引
組合索引是將n個列組合成一個索引,其應用場景為:頻繁的同時使用n列來進行查詢,如:where n1 = 'alex' and n2 = 666。
create table in3(nid int not null auto_increment primary key,name varchar(32) not null,email varchar(64) not null,extra text ) # 創建索引 create index ix_name_email on in3(name,email);# 如上創建組合索引之后,查詢: name and email?-- 使用索引 name? ? ? ? ? ?-- 使用索引 email? ? ? ? ? -- 不使用索引# 注意:對于同時搜索n個條件時,組合索引的性能好于多個單一索引合并。注意
- ?一定是為搜索條件的字段創建索引,比如select * from s1 where id = 333;就需要為id加上索引
- 在表中已經有大量數據的情況下,建索引會很慢,且占用硬盤空間,建完后查詢速度加快,比如create index idx on s1(id);會掃描表中所有的數據,然后以id為數據項,創建索引結構,存放于硬盤的表中。建完以后,再查詢就會很快了。
- innodb表的索引會存放于s1.ibd文件中,而myisam表的索引則會有單獨的索引文件table1.MYI
- MySAM索引文件和數據文件是分離的,索引文件僅保存數據記錄的地址。而在innodb中,表數據文件本身就是按照B+Tree(BTree即Balance True)組織的一個索引結構,這棵樹的葉節點data域保存了完整的數據記錄。這個索引的key是數據表的主鍵,因此innodb表數據文件本身就是主索引。
六 索引的又一種分類
索引合并:使用多個單列索引組合搜索
覆蓋索引:select的數據列只用從索引中就能夠取得,不必讀取數據行,換句話說查詢列要被所建的索引覆蓋
上述兩種索引類型不是創建的索引類型,是sql執行時的采用的類型
一 聯合索引
聯合索引是指對表上的多個列合起來做一個索引。聯合索引的創建方法與單個索引的創建方法一樣,不同之處僅在于有多個索引列,如下
create table t(a int,b int,primary key(a),key idx_a_b(a,b)); Query OK, 0 rows affected (0.11 sec)那么何時需要使用聯合索引呢?在討論這個問題之前,先來看一下聯合索引內部的結果。從本質上來說,聯合索引就是一棵B+樹,不同的是聯合索引的鍵值得數量不是1,而是>=2。接著來討論兩個整型列組成的聯合索引,假定兩個鍵值得名稱分別為a、b如圖
?
可以看到這與我們之前看到的單個鍵的B+樹并沒有什么不同,鍵值都是排序的,通過葉子結點可以邏輯上順序地讀出所有數據,就上面的例子來說,即(1,1),(1,2),(2,1),(2,4),(3,1),(3,2),數據按(a,b)的順序進行了存放。
因此,對于查詢select * from table where a=xxx and b=xxx, 顯然是可以使用(a,b) 這個聯合索引的,對于單個列a的查詢select * from table where a=xxx,也是可以使用(a,b)這個索引的。
但對于b列的查詢select * from table where b=xxx,則不可以使用(a,b) 索引,其實你不難發現原因,葉子節點上b的值為1、2、1、4、1、2顯然不是排序的,因此對于b列的查詢使用不到(a,b) 索引
聯合索引的好處是在第一個鍵相同的情況下,已經對第二個鍵進行了排序處理,例如在很多情況下應用程序都需要查詢某個用戶的購物情況,并按照時間進行排序,最后取出最近三次的購買記錄,這時使用聯合索引可以幫我們避免多一次的排序操作,因為索引本身在葉子節點已經排序了,如下
#===========準備表============== create table buy_log(userid int unsigned not null,buy_date date );insert into buy_log values (1,'2009-01-01'), (2,'2009-01-01'), (3,'2009-01-01'), (1,'2009-02-01'), (3,'2009-02-01'), (1,'2009-03-01'), (1,'2009-04-01');alter table buy_log add key(userid); alter table buy_log add key(userid,buy_date);#===========驗證============== mysql> show create table buy_log; | buy_log | CREATE TABLE `buy_log` (`userid` int(10) unsigned NOT NULL,`buy_date` date DEFAULT NULL,KEY `userid` (`userid`),KEY `userid_2` (`userid`,`buy_date`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 |# 可以看到possible_keys在這里有兩個索引可以用,分別是單個索引userid與聯合索引userid_2,但是優化器最終選擇了使用的key是userid因為該索引的葉子節點包含單個鍵值,所以理論上一個頁能存放的記錄應該更多 mysql> explain select * from buy_log where userid=2; +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ | 1 | SIMPLE | buy_log | ref | userid,userid_2 | userid | 4 | const | 1 | | +----+-------------+---------+------+-----------------+--------+---------+-------+------+-------+ 1 row in set (0.00 sec)#接著假定要取出userid為1的最近3次的購買記錄,用的就是聯合索引userid_2了,因為在這個索引中,在userid=1的情況下,buy_date都已經排序好了 mysql> explain select * from buy_log where userid=1 order by buy_date desc limit 3; +--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+ |id|select_type|table |type|possible_keys | key |key_len|ref |rows| Extra | +--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+ | 1|SIMPLE |buy_log|ref |userid,userid_2|userid_2| 4 |const| 4 |Using where; Using index| +--+-----------+-------+----+---------------+--------+-------+-----+----+------------------------+ 1 row in set (0.00 sec)#ps:如果extra的排序顯示是Using filesort,則意味著在查出數據后需要二次排序(如下查詢語句,沒有先用where userid=3先定位范圍,于是即便命中索引也沒用,需要二次排序) mysql> explain select * from buy_log order by buy_date desc limit 3; +--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+ |id|select_type| table |type |possible_keys|key |key_len|ref |rows|Extra | +--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+ | 1|SIMPLE |buy_log|index| NULL |userid_2| 8 |NULL| 7 |Using index; Using filesort| +--+-----------+-------+-----+-------------+--------+-------+----+----+---------------------------+#對于聯合索引(a,b),下述語句可以直接使用該索引,無需二次排序 select ... from table where a=xxx order by b;#然后對于聯合索引(a,b,c)來首,下列語句同樣可以直接通過索引得到結果 select ... from table where a=xxx order by b; select ... from table where a=xxx and b=xxx order by c;#但是對于聯合索引(a,b,c),下列語句不能通過索引直接得到結果,還需要自己執行一次filesort操作,因為索引(a,c)并未排序 select ... from table where a=xxx order by c;2、覆蓋索引
InnoDB存儲引擎支持覆蓋索引(covering index,或稱索引覆蓋),即從輔助索引中就可以得到查詢記錄,而不需要查詢聚集索引中的記錄。
使用覆蓋索引的一個好處是:輔助索引不包含整行記錄的所有信息,故其大小要遠小于聚集索引,因此可以減少大量的IO操作
注意:覆蓋索引技術最早是在InnoDB Plugin中完成并實現,這意味著對于InnoDB版本小于1.0的,或者MySQL數據庫版本為5.0以下的,InnoDB存儲引擎不支持覆蓋索引特性。對于InnoDB存儲引擎的輔助索引而言,由于其包含了主鍵信息,因此其葉子節點存放的數據為(primary key1,priamey key2,...,key1,key2,...)。例如
覆蓋索引的另外一個好處是對某些統計問題而言的。
mysql> explain select count(*) from buy_log; +--+-----------+-------+-----+-------------+------+-------+----+----+-----------+ |id|select_type|table | type|possible_keys|key |key_len|ref |rows|Extra | +--+-----------+-------+-----+-------------+------+-------+----+----+-----------+ | 1| SIMPLE |buy_log|index| NULL |userid| 4 |NULL| 7 |Using index| +--+-----------+-------+-----+-------------+------+-------+----+----+-----------+ 1 row in set (0.00 sec)innodb存儲引擎并不會選擇通過查詢聚集索引來進行統計。由于buy_log表有輔助索引,而輔助索引遠小于聚集索引,選擇輔助索引可以減少IO操作,故優化器的選擇如上key為userid輔助索引
對于(a,b)形式的聯合索引,一般是不可以選擇b中所謂的查詢條件。但如果是統計操作,并且是覆蓋索引,則優化器還是會選擇使用該索引,如下
# 聯合索引userid_2(userid,buy_date),一般情況,我們按照buy_date是無法使用該索引的,但特殊情況下:查詢語句是統計操作,且是覆蓋索引,則按照buy_date當做查詢條件時,也可以使用該聯合索引 mysql> explain select count(*) from buy_log where buy_date >= '2011-01-01' and buy_date < '2011-02-01'; +--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+ |id|select_type| table |type |possible_keys| key |key_len|ref |rows|Extra | +--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+ | 1| SIMPLE |buy_log|index| NULL |userid_2| 8 |NULL| 7 |Using where; Using index| +--+-----------+-------+-----+-------------+--------+-------+----+----+------------------------+ 1 row in set (0.00 sec)2、索引合并?
mysql> explain select count(email) from index_t where id=1000000 or email='eva100000@oldboy'; +--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+ | id | select_type| table | type | possible_keys | key | key_len| ref|rows | Extra | +--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+ | 1 | SIMPLE |index_t| index_merge | PRIMARY,email,ind_id,ind_email | PRIMARY,email | 4,51 |NULL| 2 |Using union(PRIMARY,email); Using where | +--+-----------+------+--------------+--------------------------------+---------------+--------+-----+----+-----------------------------------------+ 1 row in set (0.01 sec)七 正確使用索引
我們在添加索引時,必須遵循以下問題
1 范圍問題,或者說條件不明確,條件中出現這些符號或關鍵字:>、>=、<、<=、!= 、between...and...、like、
大于號、小于號
不等于!
between ...and..
like
2?盡量選擇區分度高的列作為索引
區分度的公式是count(distinct col)/count(*),表示字段不重復的比例,比例越大我們掃描的記錄數越少,唯一鍵的區分度是1,而一些狀態、性別字段可能在大數據面前區分度就是0,那可能有人會問,這個比例有什么經驗值嗎?使用場景不同,這個值也很難確定,一般需要join的字段我們都要求是0.1以上,即平均1條掃描10條記錄
我們編寫存儲過程為表s1批量添加記錄,name字段的值均為egon,也就是說name這個字段的區分度很低(gender字段也是一樣的,我們稍后再搭理它)回憶b+樹的結構,查詢的速度與樹的高度成反比,要想將樹的高低控制的很低,需要保證:在某一層內數據項均是按照從左到右,從小到大的順序依次排開,即左1<左2<左3<...
而對于區分度低的字段,無法找到大小關系,因為值都是相等的,毫無疑問,還想要用b+樹存放這些等值的數據,只能增加樹的高度,字段的區分度越低,則樹的高度越高。極端的情況,索引字段的值都一樣,那么b+樹幾乎成了一根棍。本例中就是這種極端的情況,name字段所有的值均為'egon'
現在我們得出一個結論:為區分度低的字段建立索引,索引樹的高度會很高,然而這具體會帶來什么影響呢???1:如果條件是name='xxxx',那么肯定是可以第一時間判斷出'xxxx'是不在索引樹中的(因為樹中所有的值均為'egon’),所以查詢速度很快。2:如果條件正好是name='egon',查詢時,我們永遠無法從樹的某個位置得到一個明確的范圍,只能往下找,往下找,往下找。。。這與全表掃描的IO次數沒有多大區別,所以速度很慢
3 索引列不能在條件中參與計算,保持列“干凈”
比如 from_unixtime(create_time) = ’2014-05-29’ 就不能使用到索引,原因很簡單,b+樹中存的都是數據表中的字段值,但進行檢索時,需要把所有元素都應用函數才能比較,顯然成本太大。所以語句應該寫成create_time = unix_timestamp(’2014-05-29’)
?4 and/or
#1、and與or的邏輯條件1 and 條件2:所有條件都成立才算成立,但凡要有一個條件不成立則最終結果不成立條件1 or 條件2:只要有一個條件成立則最終結果就成立#2、and的工作原理條件:a = 10 and b = 'xxx' and c > 3 and d =4索引:制作聯合索引(d,a,b,c)工作原理:對于連續多個and:mysql會按照聯合索引,從左到右的順序找一個區分度高的索引字段(這樣便可以快速鎖定很小的范圍),加速查詢,即按照d—>a->b->c的順序#3、or的工作原理條件:a = 10 or b = 'xxx' or c > 3 or d =4索引:制作聯合索引(d,a,b,c)工作原理:對于連續多個or:mysql會按照條件的順序,從左到右依次判斷,即a->b->c->d在左邊條件成立但是索引字段的區分度低的情況下(name與gender均屬于這種情況),會依次往右找到一個區分度高的索引字段,加速查詢?
經過分析,在條件為name='egon' and gender='male' and id>333 and email='xxx'的情況下,我們完全沒必要為前三個條件的字段加索引,因為只能用上email字段的索引,前三個字段的索引反而會降低我們的查詢效率
5?最左前綴匹配原則(詳見第八小節),非常重要的原則
對于組合索引mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配(指的是范圍大了,有索引速度也慢),比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引則都可以用到,a,b,d的順序可以任意調整。
六、其他情況,建立索引但是用不到
- 使用函數select * from tb1 where reverse(email) = 'egon';- 類型不一致如果列是字符串類型,傳入條件是必須用引號引起來select * from tb1 where email = 999;# 排序條件為索引,則select字段必須也是索引字段,否則無法命中 - order byselect name from s1 order by email desc;當根據索引排序時候,select查詢的字段如果不是索引,則速度仍然很慢,加上索引會變快- 組合索引最左前綴如果組合索引為:(name,email)name and email -- 命中索引name -- 命中索引email -- 未命中索引- count(1)或count(列)代替count(*)在mysql中沒有差別了二 其他注意事項
- 避免使用select * - 使用count(*) - 創建表時盡量使用 char 代替 varchar - 表的字段順序固定長度的字段優先 - 組合索引代替多個單列索引(由于mysql中每次只能使用一個索引,所以經常使用多個條件查詢時更適合使用組合索引) - 盡量使用短索引 - 使用連接(JOIN)來代替子查詢(Sub-Queries) - 連表時注意條件類型需一致 - 索引散列值(重復少)不適合建索引,例:性別不適合八 慢日志查詢
a、配置MySQL自動記錄慢日志
slow_query_log = OFF 是否開啟慢日志記錄
long_query_time = 2 時間限制,超過此時間,則記錄
slow_query_log_file = /usr/slow.log 日志文件
log_queries_not_using_indexes = OFF 為使用索引的搜索是否記錄
注:查看當前配置信息:
show variables like '%query%'
修改當前配置:
set global 變量名 = 值
九、創建索引時的問題
1.Specified key was too long; max key length is 767 bytes
原因:
① innodb 存儲引擎,多列索引的長度限制如下:
每個列的長度不能大于767 bytes;所有組成索引列的長度和不能大于3072 bytes
② myisam 存儲引擎,多列索引長度限制如下:
每個列的長度不能大于1000 bytes,所有組成索引列的長度和不能大于1000 bytes
解決辦法:
先說最推薦的:
1、前綴索引,不使用列的全部內容作為索引,使用一部分,例如在原有的例子中我們使用了test列作為索引無法建表,但是如果改為使用test(255)作為索引就可以了,這就是所謂的使用前綴索引:
2、升級mysql;
3、縮小索引長度(256縮小到255以下);
4、修改字符集(utf-8修改到GBK)
?
總結
以上是生活随笔為你收集整理的MySQL 之 索引的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 网管随笔02---【爱普生R230打印机
- 下一篇: 点云标可视化+标注软件