MySql数据库查询优化
Mysql數(shù)據(jù)庫(kù)查詢常見效率慢場(chǎng)景:
1. mysql在數(shù)據(jù)量較大的時(shí)候、使用group by查詢結(jié)果集時(shí)速度很慢的原因可能有以下幾種:
1)分組字段不在同一張表中
2) 分組字段沒有建索引
3)分組字段加DESC后索引沒有起作用(如何讓索引起作用才是關(guān)鍵、且聽下文分解)
4)分組字段中加函數(shù)導(dǎo)致索引不起作用(這種一定要避免、本文不對(duì)這種情況展開說明)
5)分組字段中含有TEXT或CLOB字段(改成VARCHAR字段)
Mysql常見優(yōu)化策略
1、group by優(yōu)化
1)優(yōu)化策略:
先給分組字段建索引
再對(duì)該表分組、分組后再和其他表關(guān)聯(lián)查詢
2)優(yōu)化理論:
先利用索引將結(jié)果集快速最小化、然后再和其他表關(guān)聯(lián)
MySQL數(shù)據(jù)庫(kù)優(yōu)化的八種方式(經(jīng)典必看)
引言:
關(guān)于數(shù)據(jù)庫(kù)優(yōu)化,網(wǎng)上有不少資料和方法,但是不少質(zhì)量參差不齊,有些總結(jié)的不夠到位,內(nèi)容冗雜
偶爾發(fā)現(xiàn)了這篇文章,總結(jié)得很經(jīng)典,文章流量也很大,所以拿到自己的總結(jié)文集中,積累優(yōu)質(zhì)文章,提升個(gè)人能力,希望對(duì)大家今后開發(fā)中也有幫助
1、選取最適用的字段屬性
MySQL可以很好的支持大數(shù)據(jù)量的存取,但是一般說來,數(shù)據(jù)庫(kù)中的表越小,在它上面執(zhí)行的查詢也就會(huì)越快。因此,在創(chuàng)建表的時(shí)候,為了獲得更好的性能,我們可以將表中字段的寬度設(shè)得盡可能小。
例如,在定義郵政編碼這個(gè)字段時(shí),如果將其設(shè)置為CHAR(255),顯然給數(shù)據(jù)庫(kù)增加了不必要的空間,甚至使用VARCHAR這種類型也是多余的,因?yàn)镃HAR(6)就可以很好的完成任務(wù)了。同樣的,如果可以的話,我們應(yīng)該使用MEDIUMINT而不是BIGIN來定義整型字段。
另外一個(gè)提高效率的方法是在可能的情況下,應(yīng)該盡量把字段設(shè)置為NOTNULL,這樣在將來執(zhí)行查詢的時(shí)候,數(shù)據(jù)庫(kù)不用去比較NULL值。
對(duì)于某些文本字段,例如“省份”或者“性別”,我們可以將它們定義為ENUM類型。因?yàn)樵贛ySQL中,ENUM類型被當(dāng)作數(shù)值型數(shù)據(jù)來處理,而數(shù)值型數(shù)據(jù)被處理起來的速度要比文本類型快得多。這樣,我們又可以提高數(shù)據(jù)庫(kù)的性能。
2、使用連接(JOIN)來代替子查詢(Sub-Queries)
MySQL從4.1開始支持SQL的子查詢。這個(gè)技術(shù)可以使用SELECT語(yǔ)句來創(chuàng)建一個(gè)單列的查詢結(jié)果,然后把這個(gè)結(jié)果作為過濾條件用在另一個(gè)查詢中。例如,我們要將客戶基本信息表中沒有任何訂單的客戶刪除掉,就可以利用子查詢先從銷售信息表中將所有發(fā)出訂單的客戶ID取出來,然后將結(jié)果傳遞給主查詢,如下所示:
DELETEFROMcustomerinfo
WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)
使用子查詢可以一次性的完成很多邏輯上需要多個(gè)步驟才能完成的SQL操作,同時(shí)也可以避免事務(wù)或者表鎖死,并且寫起來也很容易。但是,有些情況下,子查詢可以被更有效率的連接(JOIN)..替代。例如,假設(shè)我們要將所有沒有訂單記錄的用戶取出來,可以用下面這個(gè)查詢完成:
SELECT*FROMcustomerinfo
WHERECustomerIDNOTin(SELECTCustomerIDFROMsalesinfo)
如果使用連接(JOIN)..來完成這個(gè)查詢工作,速度將會(huì)快很多。尤其是當(dāng)salesinfo表中對(duì)CustomerID建有索引的話,性能將會(huì)更好,查詢?nèi)缦拢?/p>
SELECT*FROMcustomerinfo
LEFTJOINsalesinfoONcustomerinfo.CustomerID=salesinfo.CustomerID
WHEREsalesinfo.CustomerIDISNULL
連接(JOIN)..之所以更有效率一些,是因?yàn)镸ySQL不需要在內(nèi)存中創(chuàng)建臨時(shí)表來完成這個(gè)邏輯上的需要兩個(gè)步驟的查詢工作。
3、使用聯(lián)合(UNION)來代替手動(dòng)創(chuàng)建的臨時(shí)表
MySQL從4.0的版本開始支持union查詢,它可以把需要使用臨時(shí)表的兩條或更多的select查詢合并的一個(gè)查詢中。在客戶端的查詢會(huì)話結(jié)束的時(shí)候,臨時(shí)表會(huì)被自動(dòng)刪除,從而保證數(shù)據(jù)庫(kù)整齊、高效。使用union來創(chuàng)建查詢的時(shí)候,我們只需要用UNION作為關(guān)鍵字把多個(gè)select語(yǔ)句連接起來就可以了,要注意的是所有select語(yǔ)句中的字段數(shù)目要想同。下面的例子就演示了一個(gè)使用UNION的查詢。
SELECTName,PhoneFROMclientUNION
SELECTName,BirthDateFROMauthorUNION
SELECTName,SupplierFROMproduct
4、事務(wù)
盡管我們可以使用子查詢(Sub-Queries)、連接(JOIN)和聯(lián)合(UNION)來創(chuàng)建各種各樣的查詢,但不是所有的數(shù)據(jù)庫(kù)操作都可以只用一條或少數(shù)幾條SQL語(yǔ)句就可以完成的。更多的時(shí)候是需要用到一系列的語(yǔ)句來完成某種工作。但是在這種情況下,當(dāng)這個(gè)語(yǔ)句塊中的某一條語(yǔ)句運(yùn)行出錯(cuò)的時(shí)候,整個(gè)語(yǔ)句塊的操作就會(huì)變得不確定起來。設(shè)想一下,要把某個(gè)數(shù)據(jù)同時(shí)插入兩個(gè)相關(guān)聯(lián)的表中,可能會(huì)出現(xiàn)這樣的情況:第一個(gè)表中成功更新后,數(shù)據(jù)庫(kù)突然出現(xiàn)意外狀況,造成第二個(gè)表中的操作沒有完成,這樣,就會(huì)造成數(shù)據(jù)的不完整,甚至?xí)茐臄?shù)據(jù)庫(kù)中的數(shù)據(jù)。要避免這種情況,就應(yīng)該使用事務(wù),它的作用是:要么語(yǔ)句塊中每條語(yǔ)句都操作成功,要么都失敗。換句話說,就是可以保持?jǐn)?shù)據(jù)庫(kù)中數(shù)據(jù)的一致性和完整性。事物以BEGIN關(guān)鍵字開始,COMMIT關(guān)鍵字結(jié)束。在這之間的一條SQL操作失敗,那么,ROLLBACK命令就可以把數(shù)據(jù)庫(kù)恢復(fù)到BEGIN開始之前的狀態(tài)。
BEGIN; INSERTINTOsalesinfoSETCustomerID=14;UPDATEinventorySETQuantity=11WHEREitem='book';COMMIT;
事務(wù)的另一個(gè)重要作用是當(dāng)多個(gè)用戶同時(shí)使用相同的數(shù)據(jù)源時(shí),它可以利用鎖定數(shù)據(jù)庫(kù)的方法來為用戶提供一種安全的訪問方式,這樣可以保證用戶的操作不被其它的用戶所干擾。
5、鎖定表
盡管事務(wù)是維護(hù)數(shù)據(jù)庫(kù)完整性的一個(gè)非常好的方法,但卻因?yàn)樗莫?dú)占性,有時(shí)會(huì)影響數(shù)據(jù)庫(kù)的性能,尤其是在很大的應(yīng)用系統(tǒng)中。由于在事務(wù)執(zhí)行的過程中,數(shù)據(jù)庫(kù)將會(huì)被鎖定,因此其它的用戶請(qǐng)求只能暫時(shí)等待直到該事務(wù)結(jié)束。如果一個(gè)數(shù)據(jù)庫(kù)系統(tǒng)只有少數(shù)幾個(gè)用戶來使用,事務(wù)造成的影響不會(huì)成為一個(gè)太大的問題;但假設(shè)有成千上萬的用戶同時(shí)訪問一個(gè)數(shù)據(jù)庫(kù)系統(tǒng),例如訪問一個(gè)電子商務(wù)網(wǎng)站,就會(huì)產(chǎn)生比較嚴(yán)重的響應(yīng)延遲。
其實(shí),有些情況下我們可以通過鎖定表的方法來獲得更好的性能。下面的例子就用鎖定表的方法來完成前面一個(gè)例子中事務(wù)的功能。
LOCKTABLEinventoryWRITESELECTQuantityFROMinventoryWHEREItem='book';
...
UPDATEinventorySETQuantity=11WHEREItem='book';UNLOCKTABLES
這里,我們用一個(gè)select語(yǔ)句取出初始數(shù)據(jù),通過一些計(jì)算,用update語(yǔ)句將新值更新到表中。包含有WRITE關(guān)鍵字的LOCKTABLE語(yǔ)句可以保證在UNLOCKTABLES命令被執(zhí)行之前,不會(huì)有其它的訪問來對(duì)inventory進(jìn)行插入、更新或者刪除的操作。
6、使用外鍵
鎖定表的方法可以維護(hù)數(shù)據(jù)的完整性,但是它卻不能保證數(shù)據(jù)的關(guān)聯(lián)性。這個(gè)時(shí)候我們就可以使用外鍵。
例如,外鍵可以保證每一條銷售記錄都指向某一個(gè)存在的客戶。在這里,外鍵可以把customerinfo表中的CustomerID映射到salesinfo表中CustomerID,任何一條沒有合法CustomerID的記錄都不會(huì)被更新或插入到salesinfo中。
CREATETABLEcustomerinfo( CustomerIDINTNOTNULL,PRIMARYKEY(CustomerID))TYPE=INNODB;
CREATETABLEsalesinfo( SalesIDINTNOTNULL,CustomerIDINTNOTNULL,
PRIMARYKEY(CustomerID,SalesID),
FOREIGNKEY(CustomerID)REFERENCEScustomerinfo(CustomerID)ONDELETECASCADE)TYPE=INNODB;
注意例子中的參數(shù)“ONDELETECASCADE”。該參數(shù)保證當(dāng)customerinfo表中的一條客戶記錄被刪除的時(shí)候,salesinfo表中所有與該客戶相關(guān)的記錄也會(huì)被自動(dòng)刪除。如果要在MySQL中使用外鍵,一定要記住在創(chuàng)建表的時(shí)候?qū)⒈淼念愋投x為事務(wù)安全表InnoDB類型。該類型不是MySQL表的默認(rèn)類型。定義的方法是在CREATETABLE語(yǔ)句中加上TYPE=INNODB。如例中所示。
7、使用索引
索引是提高數(shù)據(jù)庫(kù)性能的常用方法,它可以令數(shù)據(jù)庫(kù)服務(wù)器以比沒有索引快得多的速度檢索特定的行,尤其是在查詢語(yǔ)句當(dāng)中包含有MAX(),MIN()和ORDERBY這些命令的時(shí)候,性能提高更為明顯。
那該對(duì)哪些字段建立索引呢?
一般說來,索引應(yīng)建立在那些將用于JOIN,WHERE判斷和ORDERBY排序的字段上。盡量不要對(duì)數(shù)據(jù)庫(kù)中某個(gè)含有大量重復(fù)的值的字段建立索引。對(duì)于一個(gè)ENUM類型的字段來說,出現(xiàn)大量重復(fù)值是很有可能的情況
例如customerinfo中的“province”..字段,在這樣的字段上建立索引將不會(huì)有什么幫助;相反,還有可能降低數(shù)據(jù)庫(kù)的性能。我們?cè)趧?chuàng)建表的時(shí)候可以同時(shí)創(chuàng)建合適的索引,也可以使用ALTERTABLE或CREATEINDEX在以后創(chuàng)建索引。此外,MySQL從版本3.23.23開始支持全文索引和搜索。全文索引在MySQL中是一個(gè)FULLTEXT類型索引,但僅能用于MyISAM類型的表。對(duì)于一個(gè)大的數(shù)據(jù)庫(kù),將數(shù)據(jù)裝載到一個(gè)沒有FULLTEXT索引的表中,然后再使用ALTERTABLE或CREATEINDEX創(chuàng)建索引,將是非常快的。但如果將數(shù)據(jù)裝載到一個(gè)已經(jīng)有FULLTEXT索引的表中,執(zhí)行過程將會(huì)非常慢。
8、優(yōu)化的查詢語(yǔ)句
絕大多數(shù)情況下,使用索引可以提高查詢的速度,但如果SQL語(yǔ)句使用不恰當(dāng)?shù)脑挘饕龑o法發(fā)揮它應(yīng)有的作用。
下面是應(yīng)該注意的幾個(gè)方面。
首先,最好是在相同類型的字段間進(jìn)行比較的操作。
在MySQL3.23版之前,這甚至是一個(gè)必須的條件。例如不能將一個(gè)建有索引的INT字段和BIGINT字段進(jìn)行比較;但是作為特殊的情況,在CHAR類型的字段和VARCHAR類型字段的字段大小相同的時(shí)候,可以將它們進(jìn)行比較。
其次,在建有索引的字段上盡量不要使用函數(shù)進(jìn)行操作。
例如,在一個(gè)DATE類型的字段上使用YEAE()函數(shù)時(shí),將會(huì)使索引不能發(fā)揮應(yīng)有的作用。所以,下面的兩個(gè)查詢雖然返回的結(jié)果一樣,但后者要比前者快得多。
第三,在搜索字符型字段時(shí),我們有時(shí)會(huì)使用LIKE關(guān)鍵字和通配符,這種做法雖然簡(jiǎn)單,但卻也是以犧牲系統(tǒng)性能為代價(jià)的。
例如下面的查詢將會(huì)比較表中的每一條記錄。
SELECT*FROMbooks
WHEREnamelike"MySQL%"
但是如果換用下面的查詢,返回的結(jié)果一樣,但速度就要快上很多:
SELECT*FROMbooks
WHEREname>="MySQL"andname<"MySQM"
最后,應(yīng)該注意避免在查詢中讓MySQL進(jìn)行自動(dòng)類型轉(zhuǎn)換,因?yàn)檗D(zhuǎn)換過程也會(huì)使索引變得不起作用。
優(yōu)化Mysql數(shù)據(jù)庫(kù)的8個(gè)方法
本文通過8個(gè)方法優(yōu)化Mysql數(shù)據(jù)庫(kù):創(chuàng)建索引、復(fù)合索引、索引不會(huì)包含有NULL值的列、使用短索引、排序的索引問題、like語(yǔ)句操作、不要在列上進(jìn)行運(yùn)算、不使用NOT IN和<>操作
1、創(chuàng)建索引
對(duì)于查詢占主要的應(yīng)用來說,索引顯得尤為重要。很多時(shí)候性能問題很簡(jiǎn)單的就是因?yàn)槲覀兺颂砑铀饕斐傻模蛘哒f沒有添加更為有效的索引導(dǎo)致。如果不加索引的話,那么查找任何哪怕只是一條特定的數(shù)據(jù)都會(huì)進(jìn)行一次全表掃描,如果一張表的數(shù)據(jù)量很大而符合條件的結(jié)果又很少,那么不加索引會(huì)引起致命的性能下降。但是也不是什么情況都非得建索引不可,比如性別可能就只有兩個(gè)值,建索引不僅沒什么優(yōu)勢(shì),還會(huì)影響到更新速度,這被稱為過度索引。
2、復(fù)合索引
比如有一條語(yǔ)句是這樣的:select * from users where area='beijing' and age=22;
如果我們是在area和age上分別創(chuàng)建單個(gè)索引的話,由于mysql查詢每次只能使用一個(gè)索引,所以雖然這樣已經(jīng)相對(duì)不做索引時(shí)全表掃描提高了很多效率,但是如果在area、age兩列上創(chuàng)建復(fù)合索引的話將帶來更高的效率。如果我們創(chuàng)建了(area, age, salary)的復(fù)合索引,那么其實(shí)相當(dāng)于創(chuàng)建了(area,age,salary)、(area,age)、(area)三個(gè)索引,這被稱為最佳左前綴特性。因此我們?cè)趧?chuàng)建復(fù)合索引時(shí)應(yīng)該將最常用作限制條件的列放在最左邊,依次遞減。
3、索引不會(huì)包含有NULL值的列
只要列中包含有NULL值都將不會(huì)被包含在索引中,復(fù)合索引中只要有一列含有NULL值,那么這一列對(duì)于此復(fù)合索引就是無效的。所以我們?cè)跀?shù)據(jù)庫(kù)設(shè)計(jì)時(shí)不要讓字段的默認(rèn)值為NULL。
4、使用短索引
對(duì)串列進(jìn)行索引,如果可能應(yīng)該指定一個(gè)前綴長(zhǎng)度。例如,如果有一個(gè)CHAR(255)的 列,如果在前10 個(gè)或20 個(gè)字符內(nèi),多數(shù)值是惟一的,那么就不要對(duì)整個(gè)列進(jìn)行索引。短索引不僅可以提高查詢速度而且可以節(jié)省磁盤空間和I/O操作。
5、排序的索引問題
mysql查詢只使用一個(gè)索引,因此如果where子句中已經(jīng)使用了索引的話,那么order by中的列是不會(huì)使用索引的。因此數(shù)據(jù)庫(kù)默認(rèn)排序可以符合要求的情況下不要使用排序操作;盡量不要包含多個(gè)列的排序,如果需要最好給這些列創(chuàng)建復(fù)合索引。
6、like語(yǔ)句操作
一般情況下不鼓勵(lì)使用like操作,如果非使用不可,如何使用也是一個(gè)問題。like “%aaa%” 不會(huì)使用索引而like “aaa%”可以使用索引。
7、不要在列上進(jìn)行運(yùn)算
select * from users where YEAR(adddate)<2007;
將在每個(gè)行上進(jìn)行運(yùn)算,這將導(dǎo)致索引失效而進(jìn)行全表掃描,因此我們可以改成
select * from users where adddate<‘2007-01-01';
8、不使用NOT IN和<>操作
NOT IN和<>操作都不會(huì)使用索引將進(jìn)行全表掃描。NOT IN可以NOT EXISTS代替,id<>3則可使用id>3 or id<3來代替。
數(shù)據(jù)庫(kù)SQL優(yōu)化大總結(jié)之 百萬級(jí)數(shù)據(jù)庫(kù)優(yōu)化方案
網(wǎng)上關(guān)于SQL優(yōu)化的教程很多,但是比較雜亂。近日有空整理了一下,寫出來跟大家分享一下,其中有錯(cuò)誤和不足的地方,還請(qǐng)大家糾正補(bǔ)充。
這篇文章我花費(fèi)了大量的時(shí)間查找資料、修改、排版,希望大家閱讀之后,感覺好的話推薦給更多的人,讓更多的人看到、糾正以及補(bǔ)充。
1.對(duì)查詢進(jìn)行優(yōu)化,要盡量避免全表掃描,首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。
2.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行 null 值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
select id from t where num is null
最好不要給數(shù)據(jù)庫(kù)留NULL,盡可能的使用NOT NULL填充數(shù)據(jù)庫(kù).
備注、描述、評(píng)論之類的可以設(shè)置為NULL,其他的,最好不要使用NULL。
不要以為NULL不需要空間,比如:char(100)型,在字段建立時(shí),空間就固定了,不管是否插入值(NULL也包含在內(nèi)),都是占用100個(gè)字符的空間的,如果是varchar這樣的變長(zhǎng)字段,null不占用空間。
可以在num上設(shè)置默認(rèn)值0,確保表中num列沒有null值,然后這樣查詢:
select id from t where num = 0
3.應(yīng)盡量避免在 where 子句中使用 != 或 <> 操作符,否則將引擎放棄使用索引而進(jìn)行全表掃描。
4.應(yīng)盡量避免在 where 子句中使用 or 來連接條件,如果一個(gè)字段有索引,一個(gè)字段沒有索引,將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:
select id from t where num=10 or Name = 'admin'
可以這樣查詢:
select id from t where num = 10 union all select id from t where Name = 'admin'
5.in 和 not in 也要慎用,否則會(huì)導(dǎo)致全表掃描,如:
select id from t where num in(1,2,3)
對(duì)于連續(xù)的數(shù)值,能用 between 就不要用 in 了:
select id from t where num between 1 and 3
很多時(shí)候用exists 代替 in是一個(gè)好的選擇:
select num from a where num in(select num from b)
用下面的語(yǔ)句替換:
select num from a where exists(select 1 from b where num=a.num)
6.下面的查詢也將導(dǎo)致全表掃描:
select id from t where name like ‘%abc%’
若要提高效率,可以考慮全文檢索。
7.如果在 where 子句中使用參數(shù),也會(huì)導(dǎo)致全表掃描。因?yàn)镾QL只有在運(yùn)行時(shí)才會(huì)解析局部變量,但優(yōu)化程序不能將訪問計(jì)劃的選擇推遲到運(yùn)行時(shí);它必須在編譯時(shí)進(jìn)行選擇。然 而,如果在編譯時(shí)建立訪問計(jì)劃,變量的值還是未知的,因而無法作為索引選擇的輸入項(xiàng)。如下面語(yǔ)句將進(jìn)行全表掃描:
select id from t where num = @num
可以改為強(qiáng)制查詢使用索引:
select id from t with(index(索引名)) where num = @num
.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
select id from t where num/2 = 100
應(yīng)改為:
select id from t where num = 100*2
9.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:
select id from t where substring(name,1,3) = ’abc’ -–name以abc開頭的id select id from t where datediff(day,createdate,’2005-11-30′) = 0 -–‘2005-11-30’ --生成的id
應(yīng)改為:
select id from t where name like 'abc%' select id from t where createdate >= '2005-11-30' and createdate < '2005-12-1'
10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算,否則系統(tǒng)將可能無法正確使用索引。
11.在使用索引字段作為條件時(shí),如果該索引是復(fù)合索引,那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引,否則該索引將不會(huì)被使用,并且應(yīng)盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢,如需要生成一個(gè)空表結(jié)構(gòu):
select col1,col2 into #t from t where 1=0
這類代碼不會(huì)返回任何結(jié)果集,但是會(huì)消耗系統(tǒng)資源的,應(yīng)改成這樣:
create table #t(…)
13.Update 語(yǔ)句,如果只更改1、2個(gè)字段,不要Update全部字段,否則頻繁調(diào)用會(huì)引起明顯的性能消耗,同時(shí)帶來大量日志。
14.對(duì)于多張大數(shù)據(jù)量(這里幾百條就算大了)的表JOIN,要先分頁(yè)再JOIN,否則邏輯讀會(huì)很高,性能很差。
15.select count(*) from table;這樣不帶任何條件的count會(huì)引起全表掃描,并且沒有任何業(yè)務(wù)意義,是一定要杜絕的。
16.索引并不是越多越好,索引固然可以提高相應(yīng)的 select 的效率,但同時(shí)也降低了 insert 及 update 的效率,因?yàn)?insert 或 update 時(shí)有可能會(huì)重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個(gè)表的索引數(shù)最好不要超過6個(gè),若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有 必要。
17.應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列,因?yàn)?clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲(chǔ)順序,一旦該列值改變將導(dǎo)致整個(gè)表記錄的順序的調(diào)整,會(huì)耗費(fèi)相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列,那么需要考慮是否應(yīng)將該索引建為 clustered 索引。
18.盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型,這會(huì)降低查詢和連接的性能,并會(huì)增加存儲(chǔ)開銷。這是因?yàn)橐嬖谔幚聿樵兒瓦B 接時(shí)會(huì)逐個(gè)比較字符串中每一個(gè)字符,而對(duì)于數(shù)字型而言只需要比較一次就夠了。
19.盡可能的使用 varchar/nvarchar 代替 char/nchar,因?yàn)槭紫茸冮L(zhǎng)字段存儲(chǔ)空間小,可以節(jié)省存儲(chǔ)空間,其次對(duì)于查詢來說,在一個(gè)相對(duì)較小的字段內(nèi)搜索效率顯然要高些。
20.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。
21.盡量使用表變量來代替臨時(shí)表。如果表變量包含大量數(shù)據(jù),請(qǐng)注意索引非常有限(只有主鍵索引)。
22. 避免頻繁創(chuàng)建和刪除臨時(shí)表,以減少系統(tǒng)表資源的消耗。臨時(shí)表并不是不可使用,適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行В纾?dāng)需要重復(fù)引用大型表或常用表中的某個(gè)數(shù)據(jù)集時(shí)。但是,對(duì)于一次性事件, 最好使用導(dǎo)出表。
23.在新建臨時(shí)表時(shí),如果一次性插入數(shù)據(jù)量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數(shù)據(jù)量不大,為了緩和系統(tǒng)表的資源,應(yīng)先create table,然后insert。
24.如果使用到了臨時(shí)表,在存儲(chǔ)過程的最后務(wù)必將所有的臨時(shí)表顯式刪除,先 truncate table ,然后 drop table ,這樣可以避免系統(tǒng)表的較長(zhǎng)時(shí)間鎖定。
25.盡量避免使用游標(biāo),因?yàn)橛螛?biāo)的效率較差,如果游標(biāo)操作的數(shù)據(jù)超過1萬行,那么就應(yīng)該考慮改寫。
26.使用基于游標(biāo)的方法或臨時(shí)表方法之前,應(yīng)先尋找基于集的解決方案來解決問題,基于集的方法通常更有效。
27.與臨時(shí)表一樣,游標(biāo)并不是不可使用。對(duì)小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法,尤其是在必須引用幾個(gè)表才能獲得所需的數(shù)據(jù)時(shí)。在結(jié)果集中包括“合計(jì)”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時(shí) 間允許,基于游標(biāo)的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。
28.在所有的存儲(chǔ)過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ,在結(jié)束時(shí)設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲(chǔ)過程和觸發(fā)器的每個(gè)語(yǔ)句后向客戶端發(fā)送 DONE_IN_PROC 消息。
29.盡量避免大事務(wù)操作,提高系統(tǒng)并發(fā)能力。
30.盡量避免向客戶端返回大數(shù)據(jù)量,若數(shù)據(jù)量過大,應(yīng)該考慮相應(yīng)需求是否合理。
實(shí)際案例分析:拆分大的DELETE或INSERT語(yǔ)句,批量提交SQL語(yǔ)句
如果你需要在一個(gè)在線的網(wǎng)站上去執(zhí)行一個(gè)大的DELETE或INSERT查詢,你需要非常小心,要避免你的操作讓你的整個(gè)網(wǎng)站停止相應(yīng)。因?yàn)檫@兩個(gè)操作是會(huì)鎖表的,表一鎖住了,別的操作都進(jìn)不來了。
Apache會(huì)有很多的子進(jìn)程或線程。所以,其工作起來相當(dāng)有效率,而我們的服務(wù)器也不希望有太多的子進(jìn)程,線程和數(shù)據(jù)庫(kù)鏈接,這是極大的占服務(wù)器資源的事情,尤其是內(nèi)存。
如果你把你的表鎖上一段時(shí)間,比如30秒鐘,那么對(duì)于一個(gè)有很高訪問量的站點(diǎn)來說,這30秒所積累的訪問進(jìn)程/線程,數(shù)據(jù)庫(kù)鏈接,打開的文件數(shù),可能不僅僅會(huì)讓你的WEB服務(wù)崩潰,還可能會(huì)讓你的整臺(tái)服務(wù)器馬上掛了。
所以,如果你有一個(gè)大的處理,你一定把其拆分,使用LIMIToracle(rownum),sqlserver(top)條件是一個(gè)好的方法。下面是一個(gè)mysql示例:
while(1){
//每次只做1000條
mysql_query(“delete from logs where log_date <= ’2012-11-01’ limit 1000”);
if(mysql_affected_rows() == 0){
//刪除完成,退出!
break;
}
//每次暫停一段時(shí)間,釋放表讓其他進(jìn)程/線程訪問。
usleep(50000)
}
好了,到這里就寫完了。我知道還有很多沒有寫到的,還請(qǐng)大家補(bǔ)充。后面有空會(huì)介紹一些SQL優(yōu)化工具給大家。讓我們一起學(xué)習(xí),一起進(jìn)步吧!
運(yùn)維角度淺談MySQL數(shù)據(jù)庫(kù)優(yōu)化
一個(gè)成熟的數(shù)據(jù)庫(kù)架構(gòu)并不是一開始設(shè)計(jì)就具備高可用、高伸縮等特性的,它是隨著用戶量的增加,基礎(chǔ)架構(gòu)才逐漸完善。這篇博文主要談MySQL數(shù)據(jù)庫(kù)發(fā)展周期中所面臨的問題及優(yōu)化方案,暫且拋開前端應(yīng)用不說,大致分為以下五個(gè)階段:
1、數(shù)據(jù)庫(kù)表設(shè)計(jì)
項(xiàng)目立項(xiàng)后,開發(fā)部根據(jù)產(chǎn)品部需求開發(fā)項(xiàng)目,開發(fā)工程師工作其中一部分就是對(duì)表結(jié)構(gòu)設(shè)計(jì)。對(duì)于數(shù)據(jù)庫(kù)來說,這點(diǎn)很重要,如果設(shè)計(jì)不當(dāng),會(huì)直接影響訪問速度和用戶體驗(yàn)。影響的因素很多,比如慢查詢、低效的查詢語(yǔ)句、沒有適當(dāng)建立索引、數(shù)據(jù)庫(kù)堵塞(死鎖)等。當(dāng)然,有測(cè)試工程師的團(tuán)隊(duì),會(huì)做壓力測(cè)試,找bug。對(duì)于沒有測(cè)試工程師的團(tuán)隊(duì)來說,大多數(shù)開發(fā)工程師初期不會(huì)太多考慮數(shù)據(jù)庫(kù)設(shè)計(jì)是否合理,而是盡快完成功能實(shí)現(xiàn)和交付,等項(xiàng)目有一定訪問量后,隱藏的問題就會(huì)暴露,這時(shí)再去修改就不是這么容易的事了。
2、數(shù)據(jù)庫(kù)部署
該運(yùn)維工程師出場(chǎng)了,項(xiàng)目初期訪問量不會(huì)很大,所以單臺(tái)部署足以應(yīng)對(duì)在1500左右的QPS(每秒查詢率)。考慮到高可用性,可采用MySQL主從復(fù)制+Keepalived做雙擊熱備,常見集群軟件有Keepalived、Heartbeat。
雙機(jī)熱備博文:http://lizhenliang.blog.51cto.com/7876557/1362313
3、數(shù)據(jù)庫(kù)性能優(yōu)化
如果將MySQL部署到普通的X86服務(wù)器上,在不經(jīng)過任何優(yōu)化情況下,MySQL理論值正常可以處理2000左右QPS,經(jīng)過優(yōu)化后,有可能會(huì)提升到2500左右QPS,否則,訪問量當(dāng)達(dá)到1500左右并發(fā)連接時(shí),數(shù)據(jù)庫(kù)處理性能就會(huì)變慢,而且硬件資源還很富裕,這時(shí)就該考慮軟件問題了。那么怎樣讓數(shù)據(jù)庫(kù)最大化發(fā)揮性能呢?一方面可以單臺(tái)運(yùn)行多個(gè)MySQL實(shí)例讓服務(wù)器性能發(fā)揮到最大化,另一方面是對(duì)數(shù)據(jù)庫(kù)進(jìn)行優(yōu)化,往往操作系統(tǒng)和數(shù)據(jù)庫(kù)默認(rèn)配置都比較保守,會(huì)對(duì)數(shù)據(jù)庫(kù)發(fā)揮有一定限制,可對(duì)這些配置進(jìn)行適當(dāng)?shù)恼{(diào)整,盡可能的處理更多連接數(shù)。
具體優(yōu)化有以下三個(gè)層面:
3.1 數(shù)據(jù)庫(kù)配置優(yōu)化
MySQL常用有兩種存儲(chǔ)引擎,一個(gè)是MyISAM,不支持事務(wù)處理,讀性能處理快,表級(jí)別鎖。另一個(gè)是InnoDB,支持事務(wù)處理(ACID),設(shè)計(jì)目標(biāo)是為處理大容量數(shù)據(jù)發(fā)揮最大化性能,行級(jí)別鎖。
表鎖:開銷小,鎖定粒度大,發(fā)生死鎖概率高,相對(duì)并發(fā)也低。
行鎖:開銷大,鎖定粒度小,發(fā)生死鎖概率低,相對(duì)并發(fā)也高。
為什么會(huì)出現(xiàn)表鎖和行鎖呢?主要是為了保證數(shù)據(jù)的完整性,舉個(gè)例子,一個(gè)用戶在操作一張表,其他用戶也想操作這張表,那么就要等第一個(gè)用戶操作完,其他用戶才能操作,表鎖和行鎖就是這個(gè)作用。否則多個(gè)用戶同時(shí)操作一張表,肯定會(huì)數(shù)據(jù)產(chǎn)生沖突或者異常。
根據(jù)以上看來,使用InnoDB存儲(chǔ)引擎是最好的選擇,也是MySQL5.5以后版本中默認(rèn)存儲(chǔ)引擎。每個(gè)存儲(chǔ)引擎相關(guān)聯(lián)參數(shù)比較多,以下列出主要影響數(shù)據(jù)庫(kù)性能的參數(shù)。
公共參數(shù)默認(rèn)值:
|
1 2 3 4 5 6 |
|
MyISAM參數(shù)默認(rèn)值:
|
1 2 3 4 5 6 7 8 9 10 |
|
InnoDB參數(shù)默認(rèn)值:
|
1 2 3 4 5 6 7 8 9 10 |
|
3.2 系統(tǒng)內(nèi)核優(yōu)化
大多數(shù)MySQL都部署在linux系統(tǒng)上,所以操作系統(tǒng)的一些參數(shù)也會(huì)影響到MySQL性能,以下對(duì)linux內(nèi)核進(jìn)行適當(dāng)優(yōu)化。
|
1 2 3 4 5 6 7 8 9 10 |
|
在linux系統(tǒng)中,如果進(jìn)程打開的文件句柄數(shù)量超過系統(tǒng)默認(rèn)值1024,就會(huì)提示“too many files open”信息,所以要調(diào)整打開文件句柄限制。
|
1 2 3 4 |
|
3.3 硬件配置
加大物理內(nèi)存,提高文件系統(tǒng)性能。linux內(nèi)核會(huì)從內(nèi)存中分配出緩存區(qū)(系統(tǒng)緩存和數(shù)據(jù)緩存)來存放熱數(shù)據(jù),通過文件系統(tǒng)延遲寫入機(jī)制,等滿足條件時(shí)(如緩存區(qū)大小到達(dá)一定百分比或者執(zhí)行sync命令)才會(huì)同步到磁盤。也就是說物理內(nèi)存越大,分配緩存區(qū)越大,緩存數(shù)據(jù)越多。當(dāng)然,服務(wù)器故障會(huì)丟失一定的緩存數(shù)據(jù)。
SSD硬盤代替SAS硬盤,將RAID級(jí)別調(diào)整為RAID1+0,相對(duì)于RAID1和RAID5有更好的讀寫性能(IOPS),畢竟數(shù)據(jù)庫(kù)的壓力主要來自磁盤I/O方面。
4、數(shù)據(jù)庫(kù)架構(gòu)擴(kuò)展
隨著業(yè)務(wù)量越來越大,單臺(tái)數(shù)據(jù)庫(kù)服務(wù)器性能已無法滿足業(yè)務(wù)需求,該考慮加機(jī)器了,該做集群了~~~。主要思想是分解單臺(tái)數(shù)據(jù)庫(kù)負(fù)載,突破磁盤I/O性能,熱數(shù)據(jù)存放緩存中,降低磁盤I/O訪問頻率。
4.1 主從復(fù)制與讀寫分離
因?yàn)樯a(chǎn)環(huán)境中,數(shù)據(jù)庫(kù)大多都是讀操作,所以部署一主多從架構(gòu),主數(shù)據(jù)庫(kù)負(fù)責(zé)寫操作,并做雙擊熱備,多臺(tái)從數(shù)據(jù)庫(kù)做負(fù)載均衡,負(fù)責(zé)讀操作,主流的負(fù)載均衡器有LVS、HAProxy、Nginx。
怎么來實(shí)現(xiàn)讀寫分離呢?大多數(shù)企業(yè)是在代碼層面實(shí)現(xiàn)讀寫分離,效率比較高。另一個(gè)種方式通過代理程序?qū)崿F(xiàn)讀寫分離,企業(yè)中應(yīng)用較少,常見代理程序有MySQL Proxy、Amoeba。在這樣數(shù)據(jù)庫(kù)集群架構(gòu)中,大大增加數(shù)據(jù)庫(kù)高并發(fā)能力,解決單臺(tái)性能瓶頸問題。如果從數(shù)據(jù)庫(kù)一臺(tái)從庫(kù)能處理2000 QPS,那么5臺(tái)就能處理1w QPS,數(shù)據(jù)庫(kù)橫向擴(kuò)展性也很容易。
有時(shí),面對(duì)大量寫操作的應(yīng)用時(shí),單臺(tái)寫性能達(dá)不到業(yè)務(wù)需求。如果做雙主,就會(huì)遇到數(shù)據(jù)庫(kù)數(shù)據(jù)不一致現(xiàn)象,產(chǎn)生這個(gè)原因是在應(yīng)用程序不同的用戶會(huì)有可能操作兩臺(tái)數(shù)據(jù)庫(kù),同時(shí)的更新操作造成兩臺(tái)數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)數(shù)據(jù)發(fā)生沖突或者不一致。在單庫(kù)時(shí)MySQL利用存儲(chǔ)引擎機(jī)制表鎖和行鎖來保證數(shù)據(jù)完整性,怎樣在多臺(tái)主庫(kù)時(shí)解決這個(gè)問題呢?有一套基于perl語(yǔ)言開發(fā)的主從復(fù)制管理工具,叫MySQL-MMM(Master-Master replication managerfor Mysql,Mysql主主復(fù)制管理器),這個(gè)工具最大的優(yōu)點(diǎn)是在同一時(shí)間只提供一臺(tái)數(shù)據(jù)庫(kù)寫操作,有效保證數(shù)據(jù)一致性。
主從復(fù)制博文:http://lizhenliang.blog.51cto.com/7876557/1290431
讀寫分離博文:http://lizhenliang.blog.51cto.com/7876557/1305083
MySQL-MMM博文:http://lizhenliang.blog.51cto.com/7876557/1354576
4.2 增加緩存
給數(shù)據(jù)庫(kù)增加緩存系統(tǒng),把熱數(shù)據(jù)緩存到內(nèi)存中,如果緩存中有要請(qǐng)求的數(shù)據(jù)就不再去數(shù)據(jù)庫(kù)中返回結(jié)果,提高讀性能。緩存實(shí)現(xiàn)有本地緩存和分布式緩存,本地緩存是將數(shù)據(jù)緩存到本地服務(wù)器內(nèi)存中或者文件中。分布式緩存可以緩存海量數(shù)據(jù),擴(kuò)展性好,主流的分布式緩存系統(tǒng)有memcached、redis,memcached性能穩(wěn)定,數(shù)據(jù)緩存在內(nèi)存中,速度很快,QPS可達(dá)8w左右。如果想數(shù)據(jù)持久化就選擇用redis,性能不低于memcached。
工作過程:
4.3 分庫(kù)
分庫(kù)是根據(jù)業(yè)務(wù)不同把相關(guān)的表切分到不同的數(shù)據(jù)庫(kù)中,比如web、bbs、blog等庫(kù)。如果業(yè)務(wù)量很大,還可將切分后的庫(kù)做主從架構(gòu),進(jìn)一步避免單個(gè)庫(kù)壓力過大。
4.4 分表
數(shù)據(jù)量的日劇增加,數(shù)據(jù)庫(kù)中某個(gè)表有幾百萬條數(shù)據(jù),導(dǎo)致查詢和插入耗時(shí)太長(zhǎng),怎么能解決單表壓力呢?你就該考慮是否把這個(gè)表拆分成多個(gè)小表,來減輕單個(gè)表的壓力,提高處理效率,此方式稱為分表。
分表技術(shù)比較麻煩,要修改程序代碼里的SQL語(yǔ)句,還要手動(dòng)去創(chuàng)建其他表,也可以用merge存儲(chǔ)引擎實(shí)現(xiàn)分表,相對(duì)簡(jiǎn)單許多。分表后,程序是對(duì)一個(gè)總表進(jìn)行操作,這個(gè)總表不存放數(shù)據(jù),只有一些分表的關(guān)系,以及更新數(shù)據(jù)的方式,總表會(huì)根據(jù)不同的查詢,將壓力分到不同的小表上,因此提高并發(fā)能力和磁盤I/O性能。
分表分為垂直拆分和水平拆分:
垂直拆分:把原來的一個(gè)很多字段的表拆分多個(gè)表,解決表的寬度問題。你可以把不常用的字段單獨(dú)放到一個(gè)表中,也可以把大字段獨(dú)立放一個(gè)表中,或者把關(guān)聯(lián)密切的字段放一個(gè)表中。
水平拆分:把原來一個(gè)表拆分成多個(gè)表,每個(gè)表的結(jié)構(gòu)都一樣,解決單表數(shù)據(jù)量大的問題。
4.5 分區(qū)
分區(qū)就是把一張表的數(shù)據(jù)根據(jù)表結(jié)構(gòu)中的字段(如range、list、hash等)分成多個(gè)區(qū)塊,這些區(qū)塊可以在一個(gè)磁盤上,也可以在不同的磁盤上,分區(qū)后,表面上還是一張表,但數(shù)據(jù)散列在多個(gè)位置,這樣一來,多塊硬盤同時(shí)處理不同的請(qǐng)求,從而提高磁盤I/O讀寫性能,實(shí)現(xiàn)比較簡(jiǎn)單。
注:增加緩存、分庫(kù)、分表和分區(qū)主要由程序猿來實(shí)現(xiàn)。
5、數(shù)據(jù)庫(kù)維護(hù)
數(shù)據(jù)庫(kù)維護(hù)是運(yùn)維工程師或者DBA主要工作,包括性能監(jiān)控、性能分析、性能調(diào)優(yōu)、數(shù)據(jù)庫(kù)備份和恢復(fù)等。
5.1性能狀態(tài)關(guān)鍵指標(biāo)
QPS,Queries Per Second:每秒查詢數(shù),一臺(tái)數(shù)據(jù)庫(kù)每秒能夠處理的查詢次數(shù)
TPS,Transactions Per Second:每秒處理事務(wù)數(shù)
通過show status查看運(yùn)行狀態(tài),會(huì)有300多條狀態(tài)信息記錄,其中有幾個(gè)值幫可以我們計(jì)算出QPS和TPS,如下:
Uptime:服務(wù)器已經(jīng)運(yùn)行的實(shí)際,單位秒
Questions:已經(jīng)發(fā)送給數(shù)據(jù)庫(kù)查詢數(shù)
Com_select:查詢次數(shù),實(shí)際操作數(shù)據(jù)庫(kù)的
Com_insert:插入次數(shù)
Com_delete:刪除次數(shù)
Com_update:更新次數(shù)
Com_commit:事務(wù)次數(shù)
Com_rollback:回滾次數(shù)
那么,計(jì)算方法來了,基于Questions計(jì)算出QPS:
|
1 2 |
|
QPS = Questions / Uptime
基于Com_commit和Com_rollback計(jì)算出TPS:
|
1 2 3 |
|
TPS = (Com_commit + Com_rollback) / Uptime
另一計(jì)算方式:基于Com_select、Com_insert、Com_delete、Com_update計(jì)算出QPS
|
1 |
|
等待1秒再執(zhí)行,獲取間隔差值,第二次每個(gè)變量值減去第一次對(duì)應(yīng)的變量值,就是QPS
TPS計(jì)算方法:
|
1 |
|
計(jì)算TPS,就不算查詢操作了,計(jì)算出插入、刪除、更新四個(gè)值即可。
經(jīng)網(wǎng)友對(duì)這兩個(gè)計(jì)算方式的測(cè)試得出,當(dāng)數(shù)據(jù)庫(kù)中myisam表比較多時(shí),使用Questions計(jì)算比較準(zhǔn)確。當(dāng)數(shù)據(jù)庫(kù)中innodb表比較多時(shí),則以Com_*計(jì)算比較準(zhǔn)確。
5.2 開啟慢查詢?nèi)罩?/p>
MySQL開啟慢查詢?nèi)罩荆治龀瞿臈lSQL語(yǔ)句比較慢,使用set設(shè)置變量,重啟服務(wù)失效,可以在my.cnf添加參數(shù)永久生效。
|
1 2 3 4 |
|
分析慢查詢?nèi)罩荆梢允褂肕ySQL自帶的mysqldumpslow工具,分析的日志較為簡(jiǎn)單。
# mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log #查看最慢的前三個(gè)查詢
也可以使用percona公司的pt-query-digest工具,日志分析功能全面,可分析slow log、binlog、general log。
分析慢查詢?nèi)罩荆簆t-query-digest /var/log/mysql/mysql-slow.log
分析binlog日志:mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql
pt-query-digest --type=binlog mysql-bin.000001.sql
分析普通日志:pt-query-digest --type=genlog localhost.log
5.3 數(shù)據(jù)庫(kù)備份
備份數(shù)據(jù)庫(kù)是最基本的工作,也是最重要的,否則后果很嚴(yán)重,你懂得!但由于數(shù)據(jù)庫(kù)比較大,上百G,往往備份都很耗費(fèi)時(shí)間,所以就該選擇一個(gè)效率高的備份策略,對(duì)于數(shù)據(jù)量大的數(shù)據(jù)庫(kù),一般都采用增量備份。常用的備份工具有mysqldump、mysqlhotcopy、xtrabackup等,mysqldump比較適用于小的數(shù)據(jù)庫(kù),因?yàn)槭沁壿媯浞荩詡浞莺突謴?fù)耗時(shí)都比較長(zhǎng)。mysqlhotcopy和xtrabackup是物理備份,備份和恢復(fù)速度快,不影響數(shù)據(jù)庫(kù)服務(wù)情況下進(jìn)行熱拷貝,建議使用xtrabackup,支持增量備份。
Xtrabackup備份工具使用博文:http://lizhenliang.blog.51cto.com/7876557/1612800
5.4 數(shù)據(jù)庫(kù)修復(fù)
有時(shí)候MySQL服務(wù)器突然斷電、異常關(guān)閉,會(huì)導(dǎo)致表?yè)p壞,無法讀取表數(shù)據(jù)。這時(shí)就可以用到MySQL自帶的兩個(gè)工具進(jìn)行修復(fù),myisamchk和mysqlcheck。
myisamchk:只能修復(fù)myisam表,需要停止數(shù)據(jù)庫(kù)
常用參數(shù):
-f --force 強(qiáng)制修復(fù),覆蓋老的臨時(shí)文件,一般不使用
-r --recover 恢復(fù)模式
-q --quik 快速恢復(fù)
-a --analyze 分析表
-o --safe-recover 老的恢復(fù)模式,如果-r無法修復(fù),可以使用此參數(shù)試試
-F --fast 只檢查沒有正常關(guān)閉的表
快速修復(fù)weibo數(shù)據(jù)庫(kù):
# cd /var/lib/mysql/weibo
# myisamchk -r -q *.MYI
mysqlcheck:myisam和innodb表都可以用,不需要停止數(shù)據(jù)庫(kù),如修復(fù)單個(gè)表,可在數(shù)據(jù)庫(kù)后面添加表名,以空格分割
常用參數(shù):
-a --all-databases 檢查所有的庫(kù)
-r --repair 修復(fù)表
-c --check 檢查表,默認(rèn)選項(xiàng)
-a --analyze 分析表
-o --optimize 優(yōu)化表
-q --quik 最快檢查或修復(fù)表
-F --fast 只檢查沒有正常關(guān)閉的表
快速修復(fù)weibo數(shù)據(jù)庫(kù):
mysqlcheck -r -q -uroot -p123 weibo
5.5另外,查看CPU和I/O性能方法
#查看CPU性能
#參數(shù)-P是顯示CPU數(shù),ALL為所有,也可以只顯示第幾顆CPU
#查看I/O性能
#參數(shù)-m是以M單位顯示,默認(rèn)K
#%util:當(dāng)達(dá)到100%時(shí),說明I/O很忙。
#await:請(qǐng)求在隊(duì)列中等待時(shí)間,直接影響read時(shí)間。
I/O極限:IOPS(r/s+w/s),一般RAID0/10在1200左右。(IOPS,每秒進(jìn)行讀寫(I/O)操作次數(shù))
I/O帶寬:在順序讀寫模式下SAS硬盤理論值在300M/s左右,SSD硬盤理論值在600M/s左右。
Mysql千萬級(jí)大數(shù)據(jù)量查詢優(yōu)化
1.對(duì)查詢進(jìn)行優(yōu)化,應(yīng)盡量避免全表掃描,首先應(yīng)考慮在 where 及 order by 涉及的列上建立索引。
2.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行 null 值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:select id from t where num is null可以在num上設(shè)置默認(rèn)值0,確保表中num列沒有null值,然后這樣查詢:select id from t where num=0
3.應(yīng)盡量避免在 where 子句中使用!=或<>操作符,否則引擎將放棄使用索引而進(jìn)行全表掃描。
4.應(yīng)盡量避免在 where 子句中使用or 來連接條件,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描,如:select id from t where num=10 or num=20可以這樣查詢:select id from t where num=10 union all select id from t where num=20
5.in 和 not in 也要慎用,否則會(huì)導(dǎo)致全表掃描,如:select id from t where num in(1,2,3) 對(duì)于連續(xù)的數(shù)值,能用 between 就不要用 in 了:select id from t where num between 1 and 3
6.下面的查詢也將導(dǎo)致全表掃描:select id from t where name like ‘%李%’若要提高效率,可以考慮全文檢索。
7. 如果在 where 子句中使用參數(shù),也會(huì)導(dǎo)致全表掃描。因?yàn)镾QL只有在運(yùn)行時(shí)才會(huì)解析局部變量,但優(yōu)化程序不能將訪問計(jì)劃的選擇推遲到運(yùn)行時(shí);它必須在編譯時(shí)進(jìn)行選擇。然 而,如果在編譯時(shí)建立訪問計(jì)劃,變量的值還是未知的,因而無法作為索引選擇的輸入項(xiàng)。如下面語(yǔ)句將進(jìn)行全表掃描:select id from t where num=@num可以改為強(qiáng)制查詢使用索引:select id from t with(index(索引名)) where num=@num
8.應(yīng)盡量避免在 where 子句中對(duì)字段進(jìn)行表達(dá)式操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:select id from t where num/2=100應(yīng)改為:select id from t where num=100*2
9.應(yīng)盡量避免在where子句中對(duì)字段進(jìn)行函數(shù)操作,這將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描。如:select id from t where substring(name,1,3)=’abc’ ,name以abc開頭的id應(yīng)改為:
select id from t where name like ‘a(chǎn)bc%’
10.不要在 where 子句中的“=”左邊進(jìn)行函數(shù)、算術(shù)運(yùn)算或其他表達(dá)式運(yùn)算,否則系統(tǒng)將可能無法正確使用索引。
11.在使用索引字段作為條件時(shí),如果該索引是復(fù)合索引,那么必須使用到該索引中的第一個(gè)字段作為條件時(shí)才能保證系統(tǒng)使用該索引,否則該索引將不會(huì)被使用,并且應(yīng)盡可能的讓字段順序與索引順序相一致。
12.不要寫一些沒有意義的查詢,如需要生成一個(gè)空表結(jié)構(gòu):select col1,col2 into #t from t where 1=0
這類代碼不會(huì)返回任何結(jié)果集,但是會(huì)消耗系統(tǒng)資源的,應(yīng)改成這樣:
create table #t(…)
13.很多時(shí)候用 exists 代替 in 是一個(gè)好的選擇:select num from a where num in(select num from b)
用下面的語(yǔ)句替換:
select num from a where exists(select 1 from b where num=a.num)
14.并不是所有索引對(duì)查詢都有效,SQL是根據(jù)表中數(shù)據(jù)來進(jìn)行查詢優(yōu)化的,當(dāng)索引列有大量數(shù)據(jù)重復(fù)時(shí),SQL查詢可能不會(huì)去利用索引,如一表中有字段sex,male、female幾乎各一半,那么即使在sex上建了索引也對(duì)查詢效率起不了作用。
15. 索引并不是越多越好,索引固然可 以提高相應(yīng)的 select 的效率,但同時(shí)也降低了 insert 及 update 的效率,因?yàn)?insert 或 update 時(shí)有可能會(huì)重建索引,所以怎樣建索引需要慎重考慮,視具體情況而定。一個(gè)表的索引數(shù)最好不要超過6個(gè),若太多則應(yīng)考慮一些不常使用到的列上建的索引是否有 必要。
16. 應(yīng)盡可能的避免更新 clustered 索引數(shù)據(jù)列,因?yàn)?clustered 索引數(shù)據(jù)列的順序就是表記錄的物理存儲(chǔ)順序,一旦該列值改變將導(dǎo)致整個(gè)表記錄的順序的調(diào)整,會(huì)耗費(fèi)相當(dāng)大的資源。若應(yīng)用系統(tǒng)需要頻繁更新 clustered 索引數(shù)據(jù)列,那么需要考慮是否應(yīng)將該索引建為 clustered 索引。
17.盡量使用數(shù)字型字段,若只含數(shù)值信息的字段盡量不要設(shè)計(jì)為字符型,這會(huì)降低查詢和連接的性能,并會(huì)增加存儲(chǔ)開銷。這是因?yàn)橐嬖谔幚聿樵兒瓦B接時(shí)會(huì)逐個(gè)比較字符串中每一個(gè)字符,而對(duì)于數(shù)字型而言只需要比較一次就夠了。
18.盡可能的使用 varchar/nvarchar 代替 char/nchar ,因?yàn)槭紫茸冮L(zhǎng)字段存儲(chǔ)空間小,可以節(jié)省存儲(chǔ)空間,其次對(duì)于查詢來說,在一個(gè)相對(duì)較小的字段內(nèi)搜索效率顯然要高些。
19.任何地方都不要使用 select * from t ,用具體的字段列表代替“*”,不要返回用不到的任何字段。
20.盡量使用表變量來代替臨時(shí)表。如果表變量包含大量數(shù)據(jù),請(qǐng)注意索引非常有限(只有主鍵索引)。
21.避免頻繁創(chuàng)建和刪除臨時(shí)表,以減少系統(tǒng)表資源的消耗。
22.臨時(shí)表并不是不可使用,適當(dāng)?shù)厥褂盟鼈兛梢允鼓承├谈行В纾?dāng)需要重復(fù)引用大型表或常用表中的某個(gè)數(shù)據(jù)集時(shí)。但是,對(duì)于一次性事件,最好使用導(dǎo)出表。
23.在新建臨時(shí)表時(shí),如果一次性插入數(shù)據(jù)量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果數(shù)據(jù)量不大,為了緩和系統(tǒng)表的資源,應(yīng)先create table,然后insert。
24.如果使用到了臨時(shí)表,在存儲(chǔ)過程的最后務(wù)必將所有的臨時(shí)表顯式刪除,先 truncate table ,然后 drop table ,這樣可以避免系統(tǒng)表的較長(zhǎng)時(shí)間鎖定。
25.盡量避免使用游標(biāo),因?yàn)橛螛?biāo)的效率較差,如果游標(biāo)操作的數(shù)據(jù)超過1萬行,那么就應(yīng)該考慮改寫。
26.使用基于游標(biāo)的方法或臨時(shí)表方法之前,應(yīng)先尋找基于集的解決方案來解決問題,基于集的方法通常更有效。
27. 與臨時(shí)表一樣,游標(biāo)并不是不可使 用。對(duì)小型數(shù)據(jù)集使用 FAST_FORWARD 游標(biāo)通常要優(yōu)于其他逐行處理方法,尤其是在必須引用幾個(gè)表才能獲得所需的數(shù)據(jù)時(shí)。在結(jié)果集中包括“合計(jì)”的例程通常要比使用游標(biāo)執(zhí)行的速度快。如果開發(fā)時(shí) 間允許,基于游標(biāo)的方法和基于集的方法都可以嘗試一下,看哪一種方法的效果更好。
28.在所有的存儲(chǔ)過程和觸發(fā)器的開始處設(shè)置 SET NOCOUNT ON ,在結(jié)束時(shí)設(shè)置 SET NOCOUNT OFF 。無需在執(zhí)行存儲(chǔ)過程和觸發(fā)器的每個(gè)語(yǔ)句后向客戶端發(fā)送DONE_IN_PROC 消息。
29.盡量避免大事務(wù)操作,提高系統(tǒng)并發(fā)能力。
30.盡量避免向客戶端返回大數(shù)據(jù)量,若數(shù)據(jù)量過大,應(yīng)該考慮相應(yīng)需求是否合理。
Mysql性能監(jiān)控:
1、Navicat快捷鍵
快捷鍵 描述 相關(guān) 描述 Ctrl+Q 打開查詢窗口 Ctrl+/ 注釋sql語(yǔ)句 Ctrl+Shift +/ 解除注釋 Ctrl+R 運(yùn)行查詢窗口的sql語(yǔ)句 Ctrl+Shift+R 只運(yùn)行選中的sql語(yǔ)句 Ctrl+L 刪除一行 Ctrl+W 關(guān)閉一個(gè)查詢窗口 Ctrl+D 切換到表的結(jié)構(gòu)設(shè)計(jì)頁(yè)面,但是在查詢頁(yè)面寫sql時(shí)是復(fù)制當(dāng)前行 Ctrl+O 切換回?cái)?shù)據(jù)內(nèi)容顯示頁(yè) F8 快速回到當(dāng)前對(duì)象列表 Ctrl+N 打開一個(gè)新的查詢窗口 F6 打開一個(gè)mysql命令行窗口 # 注釋作用 查表名、數(shù)據(jù)內(nèi)容 :在數(shù)據(jù)庫(kù)上右鍵— 'Find in Database...' — 'Find'
注:數(shù)據(jù)庫(kù)里的數(shù)據(jù)順序是按照創(chuàng)建時(shí)間存儲(chǔ)并排序的,對(duì)應(yīng)List的元素索引從小到大,即索引值越大,這條數(shù)據(jù)的創(chuàng)建時(shí)間越晚,與數(shù)據(jù)庫(kù)里的順序是對(duì)應(yīng)的。 (默認(rèn)排序,即ORDER BY CREATE_TIME ASC)
2、Tools
2.1 數(shù)據(jù)傳輸:是把一個(gè)數(shù)據(jù)庫(kù)的里面的數(shù)據(jù)復(fù)制到另一個(gè)數(shù)據(jù)庫(kù)里面去 2.2 數(shù)據(jù)同步:是讓兩個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)保持同步的 2.3 結(jié)構(gòu)同步:是保持兩個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)結(jié)構(gòu)一致的
2.4復(fù)制當(dāng)前的記錄為 insert 語(yǔ)句
2.5監(jiān)控功能
進(jìn)程參數(shù)說明
連接:表示當(dāng)前進(jìn)程連接的名稱,?就是你在Navicat新建連接的名稱
ID :表示此此進(jìn)程的標(biāo)識(shí)號(hào)碼
User:表示當(dāng)前登錄的用戶名(eg:root,scott)
Host:表示登錄用戶的IP地址和端口號(hào)
DB :?表示當(dāng)前進(jìn)程連接到的數(shù)據(jù)庫(kù)名稱
Command:表示當(dāng)前進(jìn)程執(zhí)行的操作,圖中進(jìn)程處于sleep狀態(tài)
Time:指的是當(dāng)前進(jìn)程執(zhí)行Command所示操作的時(shí)長(zhǎng),圖中第2條線程休眠了17秒?
State:連接線程的狀態(tài)信息
Info :連接線程的其他信息?
3、MySQL性能分析及explain的使用
用explain語(yǔ)句去查看分析結(jié)果:EXPLAIN關(guān)鍵字一般放在SELECT查詢語(yǔ)句的前面,用于描述MySQL如何執(zhí)行查詢操作、以及MySQL成功返回結(jié)果集需要執(zhí)行的行數(shù)。
explain 可以幫助我們分析 select 語(yǔ)句,讓我們知道查詢效率低下的原因,從而改進(jìn)我們查詢,讓查詢優(yōu)化器能夠更好的工作。
語(yǔ)法如下:
EXPLAIN tbl_name 或 EXPLAIN [EXTENDED] SELECT select_options
前者可以得出一個(gè)表的字段結(jié)構(gòu)等等,后者主要是給出相關(guān)的一些索引信息。
3.1 看 sql 語(yǔ)句執(zhí)行時(shí)間,通常情況下,一條 sql 語(yǔ)句執(zhí)行時(shí)間應(yīng)該控制在 0.01 秒內(nèi),如果大于這個(gè)時(shí)間,那么說明此 sql 語(yǔ)句,或者此表的表結(jié)構(gòu)需要優(yōu)化,如下圖所示
3.2.看 sql 的執(zhí)行計(jì)劃,就是此 sql 在執(zhí)行過程中,有沒有用到索引 等等
EXPLAIN SELECT * FROM `user` WHERE id =1126;
各個(gè)屬性的含義
|
屬性 |
含義 |
|
|---|---|---|
|
id |
select查詢的序列號(hào) |
id列數(shù)字越大越先執(zhí)行,如果說數(shù)字一樣大,那么就從上往下依次執(zhí)行,id列為null的就表是這是一個(gè)結(jié)果集,不需要使用它來進(jìn)行查詢 |
|
select_type |
select查詢的類型,主要是區(qū)別普通查詢和聯(lián)合查詢、子查詢之類的復(fù)雜查詢。 |
select_type列常見的有: A:simple:表示不需要union操作或者不包含子查詢的簡(jiǎn)單select查詢。有連接查詢時(shí),外層的查詢?yōu)閟imple,且只有一個(gè) B:primary:一個(gè)需要union操作或者含有子查詢的select,位于最外層的單位查詢的select_type即為primary。且只有一個(gè) C:union:union連接的兩個(gè)select查詢,第一個(gè)查詢是dervied派生表,除了第一個(gè)表外,第二個(gè)以后的表select_type都是union D:dependent union:與union一樣,出現(xiàn)在union 或union all語(yǔ)句中,但是這個(gè)查詢要受到外部查詢的影響 E:union result:包含union的結(jié)果集,在union和union all語(yǔ)句中,因?yàn)樗恍枰獏⑴c查詢,所以id字段為null F:subquery:除了from字句中包含的子查詢外,其他地方出現(xiàn)的子查詢都可能是subquery G:dependent subquery:與dependent union類似,表示這個(gè)subquery的查詢要受到外部表查詢的影響 H:derived:from字句中出現(xiàn)的子查詢,也叫做派生表,其他數(shù)據(jù)庫(kù)中可能叫做內(nèi)聯(lián)視圖或嵌套select |
|
table |
輸出的行所引用的表 |
顯示的查詢表名,如果查詢使用了別名,那么這里顯示的是別名,如果不涉及對(duì)數(shù)據(jù)表的操作,那么這顯示為null,如果顯示為尖括號(hào)括起來的<derived N>就表示這個(gè)是臨時(shí)表,后邊的N就是執(zhí)行計(jì)劃中的id,表示結(jié)果來自于這個(gè)查詢產(chǎn)生。如果是尖括號(hào)括起來的<union M,N>,與<derived N>類似,也是一個(gè)臨時(shí)表,表示這個(gè)結(jié)果來自于union查詢的id為M,N的結(jié)果集。 |
|
type |
聯(lián)合查詢所使用的類型. type顯示的是訪問類型,是較為重要的一個(gè)指標(biāo),結(jié)果值從好到壞依次是: system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL 一般來說,得保證查詢至少達(dá)到range級(jí)別,最好能達(dá)到ref |
依次從好到差:system,const,eq_ref,ref,fulltext,ref_or_null,unique_subquery,index_subquery,range,index_merge,index,ALL,除了all之外,其他的type都可以使用到索引,除了index_merge之外,其他的type只可以用到一個(gè)索引 A:system:表中只有一行數(shù)據(jù)或者是空表,且只能用于myisam和memory表。如果是Innodb引擎表,type列在這個(gè)情況通常都是all或者index B:const:使用唯一索引或者主鍵,返回記錄一定是1行記錄的等值where條件時(shí),通常type是const。其他數(shù)據(jù)庫(kù)也叫做唯一索引掃描 C:eq_ref:出現(xiàn)在要連接過個(gè)表的查詢計(jì)劃中,驅(qū)動(dòng)表只返回一行數(shù)據(jù),且這行數(shù)據(jù)是第二個(gè)表的主鍵或者唯一索引,且必須為not null,唯一索引和主鍵是多列時(shí),只有所有的列都用作比較時(shí)才會(huì)出現(xiàn)eq_ref D:ref:不像eq_ref那樣要求連接順序,也沒有主鍵和唯一索引的要求,只要使用相等條件檢索時(shí)就可能出現(xiàn),常見與輔助索引的等值查找。或者多列主鍵、唯一索引中,使用第一個(gè)列之外的列作為等值查找也會(huì)出現(xiàn),總之,返回?cái)?shù)據(jù)不唯一的等值查找就可能出現(xiàn)。 E:fulltext:全文索引檢索,要注意,全文索引的優(yōu)先級(jí)很高,若全文索引和普通索引同時(shí)存在時(shí),mysql不管代價(jià),優(yōu)先選擇使用全文索引 F:ref_or_null:與ref方法類似,只是增加了null值的比較。實(shí)際用的不多。 G:unique_subquery:用于where中的in形式子查詢,子查詢返回不重復(fù)值唯一值 H:index_subquery:用于in形式子查詢使用到了輔助索引或者in常數(shù)列表,子查詢可能返回重復(fù)值,可以使用索引將子查詢?nèi)ブ亍?I:range:索引范圍掃描,常見于使用>,<,is null,between ,in ,like等運(yùn)算符的查詢中。 J:index_merge:表示查詢使用了兩個(gè)以上的索引,最后取交集或者并集,常見and ,or的條件使用了不同的索引,官方排序這個(gè)在ref_or_null之后,但是實(shí)際上由于要讀取所個(gè)索引,性能可能大部分時(shí)間都不如range K:index:索引全表掃描,把索引從頭到尾掃一遍,常見于使用索引列就可以處理不需要讀取數(shù)據(jù)文件的查詢、可以使用索引排序或者分組的查詢。 L:all:這個(gè)就是全表掃描數(shù)據(jù)文件,然后再在server層進(jìn)行過濾返回符合要求的記錄。 |
|
possible_keys |
指出MySQL能使用哪個(gè)索引在該表中找到行。如果是空的,沒有相關(guān)的索引。這時(shí)要提高性能,可通過檢驗(yàn)WHERE子句,看是否引用某些字段,或者檢查字段不是適合索引。 |
查詢可能使用到的索引都會(huì)在這里列出來 |
|
key |
顯示MySQL實(shí)際決定使用的鍵。如果沒有索引被選擇,鍵是NULL |
查詢真正使用到的索引,select_type為index_merge時(shí),這里可能出現(xiàn)兩個(gè)以上的索引,其他的select_type這里只會(huì)出現(xiàn)一個(gè)。 |
|
key_len |
顯示MySQL決定使用的鍵長(zhǎng)度。如果鍵是NULL,長(zhǎng)度就是NULL。文檔提示特別注意這個(gè)值可以得出一個(gè)多重主鍵里mysql實(shí)際使用了哪一部分 |
用于處理查詢的索引長(zhǎng)度,如果是單列索引,那就整個(gè)索引長(zhǎng)度算進(jìn)去,如果是多列索引,那么查詢不一定都能使用到所有的列,具體使用到了多少個(gè)列的索引,這里就會(huì)計(jì)算進(jìn)去,沒有使用到的列,這里不會(huì)計(jì)算進(jìn)去。留意下這個(gè)列的值,算一下你的多列索引總長(zhǎng)度就知道有沒有使用到所有的列了。要注意,mysql的ICP特性使用到的索引不會(huì)計(jì)入其中。另外,key_len只計(jì)算where條件用到的索引長(zhǎng)度,而排序和分組就算用到了索引,也不會(huì)計(jì)算到key_len中。 |
|
ref |
顯示哪個(gè)字段或常數(shù)與key一起被使用 |
如果是使用的常數(shù)等值查詢,這里會(huì)顯示const,如果是連接查詢,被驅(qū)動(dòng)表的執(zhí)行計(jì)劃這里會(huì)顯示驅(qū)動(dòng)表的關(guān)聯(lián)字段,如果是條件使用了表達(dá)式或者函數(shù),或者條件列發(fā)生了內(nèi)部隱式轉(zhuǎn)換,這里可能顯示為func |
|
rows |
這個(gè)數(shù)表示mysql要遍歷多少數(shù)據(jù)才能找到,在innodb上是不準(zhǔn)確的 |
這里是執(zhí)行計(jì)劃中估算的掃描行數(shù),不是精確值 |
|
Extra |
如果是Only index,這意味著信息只用索引樹中的信息檢索出的,這比掃描整個(gè)表要快. 如果是where used,就是使用上了where限制。 如果是impossible where 表示用不著where,一般就是沒查出來啥。 如果此信息顯示Using filesort或者Using temporary的話會(huì)很吃力,WHERE和ORDER BY的索引經(jīng)常無法兼顧,如果按照WHERE來確定索引,那么在ORDER BY時(shí),就必然會(huì)引起Using filesort,這就要看是先過濾再排序劃算,還是先排序再過濾劃算。 |
這個(gè)列可以顯示的信息非常多,有幾十種,常用的有 A:distinct:在select部分使用了distinc關(guān)鍵字 B:no tables used:不帶from字句的查詢或者From dual查詢 C:使用not in()形式子查詢或not exists運(yùn)算符的連接查詢,這種叫做反連接。即,一般連接查詢是先查詢內(nèi)表,再查詢外表,反連接就是先查詢外表,再查詢內(nèi)表。 D:using filesort:排序時(shí)無法使用到索引時(shí),就會(huì)出現(xiàn)這個(gè)。常見于order by和group by語(yǔ)句中 E:using index:查詢時(shí)不需要回表查詢,直接通過索引就可以獲取查詢的數(shù)據(jù)。 F:using join buffer(block nested loop),using join buffer(batched key accss):5.6.x之后的版本優(yōu)化關(guān)聯(lián)查詢的BNL,BKA特性。主要是減少內(nèi)表的循環(huán)數(shù)量以及比較順序地掃描查詢。 G:using sort_union,using_union,using intersect,using sort_intersection: using intersect:表示使用and的各個(gè)索引的條件時(shí),該信息表示是從處理結(jié)果獲取交集 using union:表示使用or連接各個(gè)使用索引的條件時(shí),該信息表示從處理結(jié)果獲取并集 using sort_union和using sort_intersection:與前面兩個(gè)對(duì)應(yīng)的類似,只是他們是出現(xiàn)在用and和or查詢信息量大時(shí),先查詢主鍵,然后進(jìn)行排序合并后,才能讀取記錄并返回。 H:using temporary:表示使用了臨時(shí)表存儲(chǔ)中間結(jié)果。臨時(shí)表可以是內(nèi)存臨時(shí)表和磁盤臨時(shí)表,執(zhí)行計(jì)劃中看不出來,需要查看status變量,used_tmp_table,used_tmp_disk_table才能看出來。 I:using where:表示存儲(chǔ)引擎返回的記錄并不是所有的都滿足查詢條件,需要在server層進(jìn)行過濾。查詢條件中分為限制條件和檢查條件,5.6之前,存儲(chǔ)引擎只能根據(jù)限制條件掃描數(shù)據(jù)并返回,然后server層根據(jù)檢查條件進(jìn)行過濾再返回真正符合查詢的數(shù)據(jù)。5.6.x之后支持ICP特性,可以把檢查條件也下推到存儲(chǔ)引擎層,不符合檢查條件和限制條件的數(shù)據(jù),直接不讀取,這樣就大大減少了存儲(chǔ)引擎掃描的記錄數(shù)量。extra列顯示using index condition J:firstmatch(tb_name):5.6.x開始引入的優(yōu)化子查詢的新特性之一,常見于where字句含有in()類型的子查詢。如果內(nèi)表的數(shù)據(jù)量比較大,就可能出現(xiàn)這個(gè) K:loosescan(m..n):5.6.x之后引入的優(yōu)化子查詢的新特性之一,在in()類型的子查詢中,子查詢返回的可能有重復(fù)記錄時(shí),就可能出現(xiàn)這個(gè) 除了這些之外,還有很多查詢數(shù)據(jù)字典庫(kù),執(zhí)行計(jì)劃過程中就發(fā)現(xiàn)不可能存在結(jié)果的一些提示信息 |
|
filtered |
使用explain extended時(shí)會(huì)出現(xiàn)這個(gè)列,5.7之后的版本默認(rèn)就有這個(gè)字段,不需要使用explain extended了。這個(gè)字段表示存儲(chǔ)引擎返回的數(shù)據(jù)在server層過濾后,剩下多少滿足查詢的記錄數(shù)量的比例,注意是百分比,不是具體記錄數(shù)。 |
type=const表示通過索引一次就找到了;type=all,表示為全表掃描;
key=primary的話,表示使用了主鍵;key=null表示沒用到索引。type=ref,因?yàn)檫@時(shí)認(rèn)為是多個(gè)匹配行,在聯(lián)合查詢中,一般為REF。
3.3 看 sql 的概況,看此sql 執(zhí)行過程中,各個(gè)過程的耗時(shí)比例
profile 英[?pr??fa?l] 美[?pro?fa?l] n. 側(cè)面,半面; 外形,輪廓; [航] 翼型; 人物簡(jiǎn)介; Profiles將stereotypes(版型)、tagged values(標(biāo)記值)和constraints(約束)應(yīng)用于具體的模型元素比如類、屬性、操作和活動(dòng)。一個(gè)Profile對(duì)象就是一系列為特定領(lǐng)域(比如,航空航天、保健、金融)或平臺(tái)(J2EE、.NET)自定義的UML集合。 profile 作用 幫助你分析并發(fā)現(xiàn)程序運(yùn)行的瓶頸,找到耗時(shí)所在,同時(shí)也能幫助你發(fā)現(xiàn)不會(huì)被執(zhí)行的代碼。從而最終實(shí)現(xiàn)程序的優(yōu)化。
show warnings:顯示上一個(gè)語(yǔ)句的錯(cuò)誤、警告以及注意。
11.CASE WHEN THEN (同java種的switch有點(diǎn)相似)
推薦:如何查找MySQL中查詢慢的SQL語(yǔ)句 推薦:MySQL查詢優(yōu)化之explain的深入解析 在分析查詢性能時(shí),考慮EXPLAIN關(guān)鍵字同樣很管用。EXPLAIN關(guān)鍵字一般放在SELECT查詢語(yǔ)句的前面,用于描述MySQL如何執(zhí)行查詢操作、以及MySQL成功返回結(jié)果集需要執(zhí)行的行數(shù)。explain 可以幫助我們分析 select 語(yǔ)句,讓我們知道查詢效率低下的原因,從而改進(jìn)我們查詢,讓查詢優(yōu)化器能夠更好的工作。 一、MySQL 查詢優(yōu)化器是如何工作的 MySQL 查詢優(yōu)化器有幾個(gè)目標(biāo),但是其中最主要的目標(biāo)是盡可能地使用索引,并且使用最嚴(yán)格的索引來消除盡可能多的數(shù)據(jù)行。最終目標(biāo)是提交 SELECT 語(yǔ)句查找數(shù)據(jù)行,而不是排除數(shù)據(jù)行。優(yōu)化器試圖排除數(shù)據(jù)行的原因在于它排除數(shù)據(jù)行的速度越快,那么找到與條件匹配的數(shù)據(jù)行也就越快。如果能夠首先進(jìn)行最嚴(yán)格的測(cè)試,查詢就可以執(zhí)行地更快。
總結(jié)
以上是生活随笔為你收集整理的MySql数据库查询优化的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Spatial Transformer
- 下一篇: SPLT(Skimming-Perusa