性能调优-硬盘方面,操作系统方面,文件系统方面
硬盤對(duì)數(shù)據(jù)庫(kù)性能的影響
傳統(tǒng)機(jī)械硬盤
當(dāng)前大多數(shù)數(shù)據(jù)庫(kù)使用的都是傳統(tǒng)的機(jī)械硬盤。機(jī)械硬盤的技術(shù)目前已非常成熟,在服務(wù)器領(lǐng)域一般使用SAS或SATA接口的硬盤。服務(wù)器機(jī)械硬盤開(kāi)始向小型化轉(zhuǎn)型,目前已經(jīng)有大量2.5寸的SAS機(jī)械硬盤。
機(jī)械硬盤有兩個(gè)重要的指標(biāo):一個(gè)是尋道時(shí)間,另一個(gè)是轉(zhuǎn)速。當(dāng)前服務(wù)器機(jī)械硬盤的尋道時(shí)間已經(jīng)能夠達(dá)到3ms,轉(zhuǎn)速為15 000rpm。傳統(tǒng)機(jī)械硬盤最大的問(wèn)題在于讀寫磁頭,讀寫磁頭的設(shè)計(jì)使得硬盤可以不再像磁帶一樣,只能進(jìn)行順序訪問(wèn),而是可以隨機(jī)訪問(wèn)。但是,硬盤的訪問(wèn)需要耗費(fèi)長(zhǎng)時(shí)間的磁頭旋轉(zhuǎn)和定位來(lái)查找,因此順序訪問(wèn)的速度遠(yuǎn)遠(yuǎn)高于隨機(jī)訪問(wèn)。數(shù)據(jù)庫(kù)的很多設(shè)計(jì)也都是在盡量充分地利用順序訪問(wèn)的特性。
可以將多塊硬盤組成RAID來(lái)提高數(shù)據(jù)庫(kù)的性能,也可以將數(shù)據(jù)文件分布在不同硬盤上來(lái)達(dá)到訪問(wèn)負(fù)載的均衡。
固態(tài)硬盤
固態(tài)硬盤,更準(zhǔn)確地說(shuō)是基于閃存的固態(tài)硬盤,是近幾年出現(xiàn)的一種新的存儲(chǔ)設(shè)備,其內(nèi)部由閃存(Flash Memory)組成。因?yàn)殚W存的低延遲性、低功耗以及防震性,所以閃存設(shè)備已在移動(dòng)設(shè)備上得到了廣泛的應(yīng)用。企業(yè)級(jí)應(yīng)用一般使用固態(tài)硬盤,通過(guò)并聯(lián)多塊閃存來(lái)進(jìn)一步提高數(shù)據(jù)傳輸?shù)耐掏铝俊鹘y(tǒng)的存儲(chǔ)服務(wù)提供商EMC公司已經(jīng)開(kāi)始提供基于閃存的固態(tài)硬盤的TB級(jí)別存儲(chǔ)解決方案。數(shù)據(jù)庫(kù)廠商Oracle公司最近也開(kāi)始提供綁定固態(tài)硬盤的Exadata服務(wù)器。
不同于傳統(tǒng)的機(jī)械硬盤,閃存是一個(gè)完全的電子設(shè)備,沒(méi)有傳統(tǒng)機(jī)械硬盤的讀寫磁頭。因此,固態(tài)硬盤不需要像傳統(tǒng)機(jī)械硬盤一樣,需要耗費(fèi)大量時(shí)間的磁頭旋轉(zhuǎn)和定位來(lái)查找數(shù)據(jù),所以固態(tài)硬盤可以提供一致的隨機(jī)訪問(wèn)時(shí)間。固態(tài)硬盤這種對(duì)數(shù)據(jù)的快速讀寫和定位特性是值得研究的。
另一方面,閃存中的數(shù)據(jù)是不可以更新的,只能通過(guò)扇區(qū)(sector)的覆蓋重寫,而在覆蓋重寫之前,需要執(zhí)行非常耗時(shí)的擦除(erase)操作。擦除操作不能在所含數(shù)據(jù)的扇區(qū)上完成,而是需要擦除整個(gè)被稱為擦除塊的基礎(chǔ)上,這個(gè)擦除塊的尺寸大于扇區(qū)的大小,通常為128KB。此外,每個(gè)擦除塊有擦寫次數(shù)的限制。已經(jīng)有一些算法來(lái)解決這個(gè)問(wèn)題。但是對(duì)于數(shù)據(jù)庫(kù)應(yīng)用,需要認(rèn)真考慮固態(tài)硬盤在寫入方面存在的問(wèn)題。
因?yàn)榇嬖谏鲜鰧懭敕矫娴膯?wèn)題,閃存提供的讀寫速度是非對(duì)稱的。讀取速度要遠(yuǎn)快于寫入的速度,因此對(duì)于固態(tài)硬盤在數(shù)據(jù)庫(kù)中的應(yīng)用,應(yīng)該好好利用其讀取的性能,避免過(guò)多的寫入操作。
下圖顯示了一個(gè)雙通道的固態(tài)硬盤架構(gòu),通過(guò)支持4路的閃存交叉存儲(chǔ)來(lái)降低固態(tài)硬盤的訪問(wèn)延時(shí),同時(shí)增大并發(fā)的讀寫操作。通過(guò)進(jìn)一步增加通道的數(shù)量,固態(tài)硬盤的性能可以線性地提高,如我們常見(jiàn)的Intel X-25M固態(tài)硬盤就是10通道的固態(tài)硬盤。
因?yàn)殚W存是一個(gè)完全的電子設(shè)備,沒(méi)有讀寫磁頭等移動(dòng)部件,因此固態(tài)硬盤有著較低的訪問(wèn)延時(shí)。當(dāng)主機(jī)發(fā)布一個(gè)讀寫請(qǐng)求時(shí),固態(tài)硬盤的控制器會(huì)把I/O命令從邏輯地址映射成實(shí)際的物理地址,寫操作還需要修改相應(yīng)的映射表信息。算上這些額外的開(kāi)銷,固態(tài)硬盤的訪問(wèn)延時(shí)一般小于0.1ms左右。
下圖顯示了傳統(tǒng)機(jī)械硬盤、內(nèi)存、固態(tài)硬盤的隨機(jī)訪問(wèn)延時(shí)之間的比較:
?
對(duì)于固態(tài)硬盤在InnoDB存儲(chǔ)引擎中的優(yōu)化,可以增加innodb_io_capacity變量的值,以達(dá)到充分利用固態(tài)硬盤帶來(lái)的高IOPS的特性。同時(shí)也可以通過(guò)修改源代碼來(lái)禁用InnoDB存儲(chǔ)引擎的預(yù)讀、鄰接頁(yè)的寫入特性。
合理地設(shè)置RAID
RAID類型
RAID(Redundant Array of Independent Disks,獨(dú)立磁盤冗余數(shù)組)的基本思想,就是把多個(gè)相對(duì)便宜的硬盤組合起來(lái),成為一個(gè)磁盤數(shù)組,使性能達(dá)到甚至超過(guò)一個(gè)價(jià)格昂貴、容量巨大的硬盤。由于將多個(gè)硬盤組合成為一個(gè)邏輯扇區(qū),RAID看起來(lái)就像一個(gè)單獨(dú)的硬盤或邏輯存儲(chǔ)單元,因此操作系統(tǒng)只會(huì)把它當(dāng)作一個(gè)硬盤。
RAID的作用是:
根據(jù)不同磁盤的組合方式,常見(jiàn)的RAID組合方式可分為RAID 0、RAID 1、RAID 5、RAID 10和RAID 50等。
(1)RAID 0:將多個(gè)磁盤合并成一個(gè)大的磁盤,不會(huì)有冗余,并行I/O,速度最快。RAID 0亦稱為帶區(qū)集,它是將多個(gè)磁盤并列起來(lái),使之成為一個(gè)大磁盤。在存放數(shù)據(jù)時(shí),其將數(shù)據(jù)按磁盤的個(gè)數(shù)來(lái)進(jìn)行分段,然后同時(shí)將這些數(shù)據(jù)寫進(jìn)這些盤中。所以,在所有的級(jí)別中,RAID 0的速度是最快的。但是RAID 0沒(méi)有冗余功能,如果一個(gè)磁盤(物理)損壞,則所有的數(shù)據(jù)都會(huì)丟失。理論上,多磁盤的效能就等于[單一磁盤效能]x[磁盤數(shù)],但實(shí)際上受限于總線I/O瓶頸及其他因素的影響,所以RAID效能會(huì)隨邊際遞減。也就是說(shuō),假設(shè)一個(gè)磁盤的效能是50MB/秒,兩個(gè)磁盤的RAID 0效能約96MB/秒,三個(gè)磁盤的RAID 0也許是130MB/秒,而不是150MB/秒。
(2)RAID 1:兩組以上的N個(gè)磁盤相互作為鏡像,在一些多線程操作系統(tǒng)中能有很好的讀取速度,但寫入速度略有降低。除非擁有相同數(shù)據(jù)的主磁盤與鏡像同時(shí)損壞,否則只要一個(gè)磁盤正常,即可維持運(yùn)作,因此可靠性最高。RAID 1就是鏡像,其原理為,在主硬盤上存放數(shù)據(jù)的同時(shí)也在鏡像硬盤上寫一樣的數(shù)據(jù)。當(dāng)主硬盤(物理)損壞時(shí),鏡像硬盤則代替主硬盤的工作。因?yàn)橛戌R像硬盤做數(shù)據(jù)備份,所以RAID 1的數(shù)據(jù)安全性在所有的RAID級(jí)別中是最好的。但是,無(wú)論用多少磁盤,作為RAID 1,僅算一個(gè)磁盤的容量,所以RAID1是所有RAID中磁盤利用率最低的一個(gè)級(jí)別。
(3)RAID 5:是一種存儲(chǔ)性能、數(shù)據(jù)安全和存儲(chǔ)成本兼顧的存儲(chǔ)解決方案。它使用的是Disk Striping(硬盤分區(qū))技術(shù)。RAID 5至少需要三個(gè)硬盤,RAID 5不對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行備份,而是把數(shù)據(jù)和相對(duì)應(yīng)的奇偶校驗(yàn)信息存儲(chǔ)到組成RAID 5的各個(gè)磁盤上,并且奇偶校驗(yàn)信息和相對(duì)應(yīng)的數(shù)據(jù)分別存儲(chǔ)于不同的磁盤上。當(dāng)RAID 5的一個(gè)磁盤數(shù)據(jù)發(fā)生損壞后,利用剩下的數(shù)據(jù)和相應(yīng)的奇偶校驗(yàn)信息去恢復(fù)被損壞的數(shù)據(jù)。RAID 5可以理解為是RAID 0和RAID 1的折中方案。RAID 5可以為系統(tǒng)提供數(shù)據(jù)安全保障,但保障程度要比鏡像低,而磁盤空間利用率要比鏡像高。RAID 5具有和RAID 0相近似的數(shù)據(jù)讀取速度,只是多了一個(gè)奇偶校驗(yàn)信息,所以寫入數(shù)據(jù)的速度相當(dāng)慢,若使用Write Back可以讓性能改善不少。同時(shí),由于多個(gè)數(shù)據(jù)對(duì)應(yīng)一個(gè)奇偶校驗(yàn)信息,因此RAID 5的磁盤空間利用率要比RAID 1高,存儲(chǔ)成本相對(duì)較低。
(4)RAID 10和RAID 01:RAID 10是先鏡射,再分區(qū)數(shù)據(jù)。它將所有硬盤分為兩組,視為RAID 0的最低組合,然后將這兩組各自視為RAID 1運(yùn)作。RAID 10有著不錯(cuò)的讀取速度,而且擁有比RAID 0更高的數(shù)據(jù)保護(hù)性。RAID 01則與RAID 10的程序相反,是先分區(qū),再將數(shù)據(jù)鏡射到兩組硬盤。它將所有的硬盤分為兩組,變成RAID 1的最低組合,而將兩組硬盤各自視為RAID 0運(yùn)作。RAID 01比起RAID 10有著更快的讀寫速度,不過(guò)也多了一些會(huì)讓整個(gè)硬盤組停止運(yùn)轉(zhuǎn)的概率:因?yàn)橹灰唤M的硬盤全部損毀,RAID 01就會(huì)停止運(yùn)作,而RAID 10則可以在犧牲RAID 0的優(yōu)勢(shì)下正常運(yùn)作。RAID 10巧妙地利用了RAID 0的速度以及RAID 1的安全(保護(hù))兩種特性,它的缺點(diǎn)是需要較多的硬盤,因?yàn)橹辽俦仨殦碛?個(gè)以上的偶數(shù)硬盤才能使用。
(5)RAID 50:RAID 50也被稱為鏡像陣列條帶,由至少6塊硬盤組成,像RAID 0一樣,數(shù)據(jù)被分區(qū)成條帶,在同一時(shí)間內(nèi)向多塊磁盤寫入;像RAID 5一樣,RAID 50也是以數(shù)據(jù)的校驗(yàn)位來(lái)保證數(shù)據(jù)的安全,且校驗(yàn)條帶均勻分布在各個(gè)磁盤上,其目的在于提高RAID 5的讀寫性能。
對(duì)于數(shù)據(jù)庫(kù)應(yīng)用來(lái)說(shuō),RAID 10是最好的選擇,它同時(shí)兼顧了RAID 1和RAID 0的特性。但是,當(dāng)一個(gè)磁盤失效時(shí),性能可能會(huì)受到很大的影響,因?yàn)闂l帶(strip)會(huì)成為瓶頸,譬如:2臺(tái)負(fù)載基本相同的數(shù)據(jù)庫(kù),一臺(tái)正常的服務(wù)器磁盤IO負(fù)載為20%左右,而另一臺(tái)服務(wù)器IO負(fù)載卻高達(dá)90%。
RAID Write Back功能
RAID Write Back功能是指RAID控制器能夠?qū)懭氲臄?shù)據(jù)放入自身的緩存中,并把它們安排到后面再執(zhí)行。這樣做的好處是,不用等待物理磁盤實(shí)際寫入的完成,因此寫入變得更快了。對(duì)于數(shù)據(jù)庫(kù)來(lái)說(shuō),這顯得十分重要。例如,對(duì)重做日志的寫入、在將sync_binlog設(shè)為1的情況下二進(jìn)制日志的寫入、臟頁(yè)的刷新等,這些都可以使性能明顯的提升。
但是,如果系統(tǒng)發(fā)生意外,Write Back功能可能會(huì)破壞數(shù)據(jù)庫(kù)的數(shù)據(jù),因?yàn)榫彺婵赡苓€在RAID卡中,這樣磁盤并沒(méi)有寫入時(shí)故障就發(fā)生了。對(duì)此,大部分的硬件RAID卡都提供了電池備份單元(BBU,Battery Backup Unit),因此可以放心地開(kāi)啟Write Back的功能。每臺(tái)服務(wù)器的出廠設(shè)置都是不同的,應(yīng)該將你的RAID設(shè)置要求告知服務(wù)器提供商,開(kāi)啟一些你認(rèn)為需要的參數(shù)。
如果沒(méi)有啟用Write Back功能,那么在RAID卡設(shè)置中顯示的就是Write Through。Write Through沒(méi)有緩沖寫入,因此寫入性能可能不是很好,但它的確是最安全的寫入。
即使開(kāi)啟了Write Back功能,RAID卡也可能只是啟用了Write Through,之前提到過(guò),安全使用Write Back的前提是RAID卡有電池備份單元。為了確保電池的有效性,RAID卡會(huì)定期檢查電池狀態(tài),并在電池電量不足時(shí)對(duì)其充電,在充電的這段時(shí)間內(nèi),會(huì)將Write Back功能切換為最為安全的Write Through。
你可以在沒(méi)有電池備份單元的情況下強(qiáng)制啟用Write Back功能,也可以在電池充電時(shí)強(qiáng)制使用Write Back功能。只是寫入是不安全的,你應(yīng)該非常確信這點(diǎn),否則不應(yīng)該在沒(méi)有電池備份單元的情況下啟用Write Back。
可以通過(guò)插入20W的記錄來(lái)比較Write Back和Write Through的性能差異:
create table t(a char(2)) engine=innodb;
delimiter //
create procedure p()
begin
declare v int;
set v=0;
while v<200000 do
insert into t values('aa');
set v=v+1;
end while;
end
//
delimiter;
我們創(chuàng)建了一個(gè)往t表插入20萬(wàn)條記錄的存儲(chǔ)過(guò)程,并在Write Back和Write Through的設(shè)置下分別進(jìn)行測(cè)試,測(cè)試結(jié)果如表9-1所示:
我們的測(cè)試不是在一個(gè)事務(wù)中,而是直接用命令CALL P來(lái)運(yùn)行的,因此數(shù)據(jù)庫(kù)實(shí)際執(zhí)行了20萬(wàn)次的事務(wù)。很明顯可以看到,在Write Back模式下執(zhí)行時(shí)間只需要43秒,而在Write Through模式下執(zhí)行時(shí)間需要31分鐘,大約是40多倍的差距。
當(dāng)然,在Write Through模式下,通過(guò)將參數(shù)innodb_flush_log_at_trx_commit設(shè)置為0也可以提高執(zhí)行存儲(chǔ)過(guò)程P的性能,這時(shí)只需要68秒了。因?yàn)樵诖嗽O(shè)置下,重做日志的寫入不是發(fā)生在每次事務(wù)提交時(shí),而是發(fā)生在后臺(tái)master線程每秒鐘自動(dòng)刷新的時(shí)候,因此減少了物理磁盤的寫入請(qǐng)求,所以執(zhí)行速度也有明顯的提高。
RAID配置工具
RAID卡的配置可以在服務(wù)器啟動(dòng)時(shí)進(jìn)入一個(gè)類似于BIOS的配置界面,然后再對(duì)其進(jìn)行各種設(shè)置。此外,很多廠商都開(kāi)發(fā)了各種操作系統(tǒng)下的軟件來(lái)進(jìn)行RAID卡的配置,如果你使用的是LSI公司生產(chǎn)提供的RAID卡,則可以使用MegaCLI工具進(jìn)行配置。
MegaCLI為多個(gè)操作系統(tǒng)提供了支持,在Windows下還提供了GUI界面的配置,相對(duì)來(lái)說(shuō)比較簡(jiǎn)單。主要介紹命令行下MegaCLI的使用,Windows下可以使用MegaCLI.exe程序。
使用MegaCLI查看RAID卡的信息:
/opt/MegaRAID/MegaCli/MegaCli64 -AdpAllInfo -a0
用過(guò)上述命令,可以看到RAID卡的一些硬件設(shè)置,如這塊RAID卡的型號(hào)是MegaRAID SAS 8708ELP,緩存大小是256MB,一些默認(rèn)的配置,如默認(rèn)啟用的Write Policy為WB(Write Back)等。
MegaCLI還可以用來(lái)查看當(dāng)前物理磁盤的信息:
/opt/MegaRAID/MegaCli/MegaCli64 -PDList -aALL
可以看到當(dāng)前使用的磁盤型號(hào)是SEAGATE ST3300655SS。
你可以從這個(gè)型號(hào)繼續(xù)找到這個(gè)硬盤的具體信息,如在希捷官網(wǎng)http://discountechnology.com/Seagate-ST3300655SS-SAS-Hard-Drive上可以知道,這塊硬盤大小是3.5寸的,轉(zhuǎn)速為15 000,硬盤的Cache為16MB,隨機(jī)讀取的尋道時(shí)間是3.5毫秒,隨機(jī)寫入的尋道時(shí)間是4.0毫秒等。
通過(guò)下面的命令來(lái)查看是否開(kāi)啟了Write Back功能:
/opt/MegaRAID/MegaCli/MegaCli64 -LDGetProp -Cache -LALL -aALL
Adapter 0-VD 0(target id:0):Cache Policy:WriteBack,ReadAheadNone,Direct,No?Write Cache if bad BBU
Adapter 0-VD 1(target id:1):Cache Policy:WriteBack,ReadAheadNone,Direct,No?Write Cache if bad BBU
Exit Code:0x00
可以看到當(dāng)前開(kāi)啟了Write Back功能,并且當(dāng)BBU有問(wèn)題時(shí)或者在充電時(shí)禁用Write Back功能。這里還顯示了不需要啟用RAID卡的預(yù)讀功能,寫入為直接寫入方式。
通過(guò)下面的命令可以對(duì)當(dāng)前的寫入策略進(jìn)行調(diào)整:
/opt/MegaRAID/MegaCli/MegaCli64-LDSetProp WB -LALL -aALL
/opt/MegaRAID/MegaCli/MegaCli64-LDSetProp WT -LALL -aALL
注意:當(dāng)寫入策略從Write Back切換為Write Through時(shí),該更改立即生效,但是從Write Through切換為Write Back時(shí),必須重啟服務(wù)器才能使其生效。
操作系統(tǒng)的選擇也很重要
Linux是MySQL數(shù)據(jù)庫(kù)服務(wù)器中最常見(jiàn)的操作系統(tǒng)。與其他操作系統(tǒng)不同的是,Linux有著眾多的發(fā)行版本,可能每個(gè)人的偏好都不相同。但是,在將Linux操作系統(tǒng)作為數(shù)據(jù)庫(kù)服務(wù)器時(shí),需要考慮更多的是操作系統(tǒng)的穩(wěn)定性,而不是新特性。
除了Linux操作系統(tǒng)外,FreeBSD也是另一個(gè)常見(jiàn)的操作系統(tǒng)。之前版本的FreeBSD對(duì)MySQL數(shù)據(jù)庫(kù)支持得不是很好,需要選擇單獨(dú)的線程庫(kù)進(jìn)行手動(dòng)編譯,但是新版本的FreeBSD對(duì)MySQL數(shù)據(jù)庫(kù)的支持已經(jīng)好了很多,直接下載二進(jìn)制安裝包即可。
Solaris之前是基于SPARC硬件的操作系統(tǒng),現(xiàn)在已經(jīng)移植到了X86平臺(tái)上。Solaris是高性能、高可靠性的操作系統(tǒng),同時(shí)其提供的ZFS文件系統(tǒng)非常適合MySQL的數(shù)據(jù)庫(kù)應(yīng)用。如果需要,你可以嘗試它的開(kāi)源版本Open Solaris。
Windows在MySQL的數(shù)據(jù)庫(kù)應(yīng)用中也非常常見(jiàn)。也有的公司喜歡在開(kāi)發(fā)環(huán)境下使用Windows版本的MySQL,到正式生產(chǎn)環(huán)境下使用Linux。這本身沒(méi)有什么問(wèn)題,但問(wèn)題通常發(fā)生于大小寫敏感方面。Windows下表名不區(qū)分大小寫,而Linux操作系統(tǒng)卻是大小寫敏感的,這點(diǎn)在開(kāi)發(fā)階段需要特別注意。
4GB內(nèi)存在當(dāng)前已經(jīng)非常普遍了,即使是桌面用戶也開(kāi)始使用8GB的內(nèi)存。為了可以更好地使用大于4GB的內(nèi)存容量,必須使用64位的操作系統(tǒng),上述介紹的這些操作系統(tǒng)都提供了64位的版本。此外,使用64位的操作系統(tǒng)還必須使用64位的軟件。這聽(tīng)上去是句廢話,但是我多次看到32位的MySQL數(shù)據(jù)庫(kù)安裝在64位的系統(tǒng)上,而這樣會(huì)導(dǎo)致不能充分發(fā)揮64位操作系統(tǒng)的尋址能力。
不同的文件系統(tǒng)對(duì)數(shù)據(jù)庫(kù)性能的影響
每個(gè)操作系統(tǒng)都默認(rèn)支持一種文件系統(tǒng)并推薦用戶使用,如Windows默認(rèn)支持NTFS,Solaris默認(rèn)支持ZFS。而對(duì)于Linux這樣的操作系統(tǒng),不同發(fā)行版本默認(rèn)支持的文件系統(tǒng)又各不相同,有的默認(rèn)支持EXT3,有的是ReiserFS,有的是EXT4,有的是XFS。
雖然有著很多不同特性的文件系統(tǒng),但是我在實(shí)際使用過(guò)程中從未感覺(jué)到文件系統(tǒng)的性能差異有多大。DBA應(yīng)該把更多的注意力放到數(shù)據(jù)庫(kù)上面,而不是糾結(jié)于文件系統(tǒng)。文件系統(tǒng)可提供的功能也許是DBA需要關(guān)注的,例如ZFS文件系統(tǒng)本身就可以支持快照,因此就不需要LVM這樣的邏輯卷管理工具。此外,可能還需要知道m(xù)ount的參數(shù),這些參數(shù)在每個(gè)文件系統(tǒng)中又可能有所不同。
?
轉(zhuǎn)載于:https://www.cnblogs.com/wade-luffy/p/6340499.html
總結(jié)
以上是生活随笔為你收集整理的性能调优-硬盘方面,操作系统方面,文件系统方面的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 针对“零时差”*** 赛门铁克推免费杀毒
- 下一篇: 安卓系统刷机怎么刷机_手机怎么刷机