硬盘参数你都懂吗？（上）-从案例引发的讨论
案例1：備份數(shù)據(jù)量與硬盤選型
去 年的一天，有位互聯(lián)網(wǎng)公司的朋友向我咨詢了一個(gè)問題：他們目前服務(wù)器大部分都是戴爾PowerEdge R510和R720xd，現(xiàn)在需要采購硬盤用于數(shù)據(jù)備份。每塊硬盤平均每天會(huì)寫入不到1TB的數(shù)據(jù)。這種場(chǎng)景下，每天都會(huì)有大量的數(shù)據(jù)寫入、讀取，對(duì)盤的 壽命影響大嗎？
由于是企業(yè)級(jí)應(yīng)用，按照365天來計(jì)算，硬盤的全年的讀寫負(fù)載大約在360TB以內(nèi)，我認(rèn)為原廠配件中的Nearline硬盤就比較合適。那么這一結(jié)論是怎么得出呢？
案例2：視頻監(jiān)控存儲(chǔ)可以用“云盤”嗎？
某 公司接到用戶一個(gè)視頻監(jiān)控存儲(chǔ)的項(xiàng)目，一開始按照Nearline SATA企業(yè)級(jí)硬盤計(jì)算了成本，發(fā)現(xiàn)價(jià)格與競(jìng)爭(zhēng)對(duì)手相比不占優(yōu)勢(shì)。由于對(duì)方使用了價(jià)格相對(duì)較低的監(jiān)控專用硬盤，該公司于是考慮是否可以采用也屬于企業(yè)級(jí)但 成本更低的“云盤”（即希捷Constellation CS）？
暫時(shí)先擱置這個(gè)問題，閱讀完本系列文章相信您會(huì)有比較全面的理解，再來看看看我遇到的另一個(gè)案例。
案例3：便宜的代價(jià)——云盤故障率我曾經(jīng)聽說國內(nèi)某互聯(lián)網(wǎng)公司使用過一批“云盤”，但后來遇到故障率較高。“云盤”的價(jià)格僅比桌面硬盤稍高，在多種細(xì)分的低轉(zhuǎn)速（7200rpm及以下）企業(yè)級(jí)硬盤中具有成本優(yōu)勢(shì)。那么，它的故障率在什么范圍內(nèi)是正常的？
企業(yè)級(jí)vs.桌面：性能、可靠性差距
引用自一份來自Intel的文檔《Enterprise-class versus Desktopclass Hard Drives》，2008年4月
上圖是一份比較早的對(duì)比資料，不過這些年來機(jī)械硬盤技術(shù)發(fā)展不算快，所以仍有一定參考價(jià)值。其中“Enterprise”在這里代指15K高轉(zhuǎn)速企業(yè)級(jí)硬盤；而7200轉(zhuǎn)企業(yè)級(jí)硬盤衍生自“Desktop”，所以性能方面指標(biāo)是接近的。
第 一項(xiàng)，硬盤的延時(shí)和尋道時(shí)間=平均尋道時(shí)間+平均旋轉(zhuǎn)等待，15K由于轉(zhuǎn)速高、磁頭臂移動(dòng)速度快而大幅領(lǐng)先；而這一項(xiàng)又直接影響到后面的“每秒典型 I/Os”（無旋轉(zhuǎn)振動(dòng)IOPS）。當(dāng)然這里15K 硬盤的319不完全是機(jī)械結(jié)構(gòu)的功勞，還有上面命令排隊(duì)（CQ）的效果——左邊由于SCSI/SAS協(xié)議能夠完整支持，而右邊的ATA支持有限在高并發(fā)情 況下提升少一些（注：尋道速度較快的7200轉(zhuǎn)Nearline硬盤這一數(shù)值應(yīng)該比77要高）。
1 ：振動(dòng)對(duì)硬盤的影響及防范
15K硬盤能夠達(dá)到21 rad/sec/sec，這里的Radian應(yīng)該是一種弧度單位，我不是這方面的專家，就不不展開討論了。而桌面硬盤該指標(biāo)只有5-12
正如有位專家所說的，如果把硬盤固定在一個(gè)足夠穩(wěn)定的基座上，它就不會(huì)受到自身以及外界產(chǎn)生振動(dòng)的影響，能夠發(fā)揮出最佳性能和壽命。但真實(shí)環(huán)境往往不是如此，在存儲(chǔ)服務(wù)器/磁盤陣列機(jī)箱中通常會(huì)有多塊硬盤，同時(shí)工作時(shí)難免會(huì)產(chǎn)生共振現(xiàn)象。這里面涉及的因素主要有硬盤的轉(zhuǎn)速、數(shù)量以及箱體結(jié)構(gòu)設(shè)計(jì)。
許多朋友應(yīng)該都知道，磁盤陣列的空箱重量往往要比同等尺寸的服務(wù)器大不少，采用較厚的鋼板能夠“吸收”一部分振動(dòng)。盡管不只一家廠商號(hào)稱可以混插不同轉(zhuǎn)速的硬盤，但實(shí)際上都不推薦這樣做。
超標(biāo)的振動(dòng)會(huì)影響磁頭定位，導(dǎo)致硬盤性能下降乃至壽命降低。抗旋轉(zhuǎn)振動(dòng)大致就是伺服電路根據(jù)傳感器信息對(duì)振動(dòng)進(jìn)行相應(yīng)的補(bǔ)償，10K、15K高轉(zhuǎn)速硬盤由于自身產(chǎn)生的振動(dòng)大一些，因此在設(shè)計(jì)上“耐受力”也更強(qiáng)。如上表，在旋轉(zhuǎn)振動(dòng)20 rad/sec/sec的條件下，15K硬盤IOPS只有少量下降；而桌面（7200轉(zhuǎn)）硬盤的性能則下降了10倍以上，可見磁頭定位困難的程度。
下面一項(xiàng)“雙工模式”， SAS支持全雙工，SATA是半雙工，這就在于SCSI和ATA協(xié)議之間的差別。SAS硬盤提供雙端口可同時(shí)連接到2個(gè)控制器，實(shí)現(xiàn)故障切換。關(guān)于可變扇區(qū)大小，我們?cè)诤笪闹袝?huì)有討論。
2：可靠性前提條件和NL硬盤的由來
再來看看可靠性。當(dāng)年的高轉(zhuǎn)速企業(yè)級(jí)硬盤的MTBF（平均無故障時(shí)間）為120萬小時(shí)左右，現(xiàn)在由于工藝進(jìn)一步成熟，設(shè)計(jì)/制造標(biāo)準(zhǔn)普遍已達(dá)到200萬小時(shí)。而桌面硬盤還停留在70萬小時(shí)左右，沒有動(dòng)力也不需要為此而增加成本。
這里容易被忽視的還有MTBF的先決條件。高轉(zhuǎn)速企業(yè)級(jí)硬盤是在45℃的環(huán)境溫度下，7x24小時(shí)100%工作負(fù)載；而桌面硬盤則是25℃環(huán)境，5x8小時(shí)10-20%工作負(fù)載。
同樣為7200轉(zhuǎn)速，但定位企業(yè)級(jí)應(yīng)用的Nearline（近線）硬盤比桌面硬盤的可靠性要強(qiáng)不少。首先是MTBF和AFR（平均故障率），目前Nearline盤大都能達(dá)到140-200萬小時(shí)MTBF，并且這個(gè)數(shù)字是在40℃、7x24小時(shí)全年連續(xù)開機(jī)條件下得出。
注：我們會(huì)在后文中介紹MTBF與AFR的換算關(guān)系。
小知識(shí)：硬盤讀寫負(fù)載與SSD擦寫壽命關(guān)于這一點(diǎn)，除了硬盤是個(gè)建議值而SSD存在“硬指標(biāo)”之外，一方面SSD只是擦寫次數(shù)有限而不限制讀，硬盤則不分讀寫都要考慮；另一方面，SSD壽命源自每個(gè)閃存單元的特點(diǎn)，在其它條件同等情況下其可寫入數(shù)據(jù)量與容量成正比；而硬盤卻不是容量越大這方面就越好，因?yàn)榇蓬^的老化與它讀寫數(shù)據(jù)量的相關(guān)性更強(qiáng)。
當(dāng)然，10K/15K高轉(zhuǎn)速硬盤在質(zhì)保期內(nèi)沒有這些限制，所以說它們的等級(jí)不同，單盤容量、單位容量的價(jià)格也有著顯著差距。
3：環(huán)境規(guī)格——溫濕度范圍
這里引用一份HGST硬盤資料中的環(huán)境規(guī)格。其中有兩個(gè)類似梯形（右邊不是直線）嵌套在一起，大的范圍是硬盤的非操作溫濕度范圍，而里面的小塊區(qū)域則是工作溫濕度。可以看出在5-31℃之間可以支持90%相對(duì)濕度，而到60℃時(shí)只能支持到10%的濕度了。
只有少數(shù)的低轉(zhuǎn)速（10K以下）企業(yè)級(jí)硬盤帶有濕度傳感器，本文中包括歸檔、ENAS和Enterprise Capacity三個(gè)針對(duì)數(shù)據(jù)中心的系列。
4：MTBF不是虛標(biāo)：換算出年均故障率
可用性一項(xiàng)，除了Video 3.5是AFR數(shù)值之外，其它列出的都是MTBF。利用MTBF來計(jì)算AFR的公式如下：
年平均故障率AFR=1 / (MTBF / 365 / 24)
MTBF看上去很高，前面表格中最長(zhǎng)的200萬小時(shí)（8TB型號(hào)，目前希捷6TB及以下Nearline硬盤為140萬小時(shí)）折合228年，最短的75萬小時(shí)也有85年，其實(shí)它們的設(shè)計(jì)壽命都沒有那么長(zhǎng)（通常為8-10年），從溫徹斯特硬盤發(fā)明到現(xiàn)在也沒有這么多年。這些可靠性不是針對(duì)單一硬盤，而是根據(jù)質(zhì)保期內(nèi)大量樣本計(jì)算和統(tǒng)計(jì)出來的。記得十多年前，我當(dāng)時(shí)就職的公司有一位孫老師，她主持的10萬小時(shí)PC MTBF測(cè)試就是拿若干套設(shè)備集中進(jìn)行的。根據(jù)上面公式，Enterprise Capacity的AFR計(jì)算得出0.44%，也就是說100塊盤每年平均損壞0.44塊，如果10,000塊盤就是44塊。
讀寫負(fù)載、使用率和支持盤位數(shù)量，桌面硬盤都是最低，表格中除此之外都支持7x24連續(xù)開機(jī)，并且桌面硬盤官方只建議部署1-2塊。也就是說它沒有抗旋轉(zhuǎn)振動(dòng)方面的優(yōu)化，如果您實(shí)際使用3塊盤以上做RAID，可能會(huì)遇到性能降低、壽命下降的問題。
Enterprise Capacity（ES）的年讀寫負(fù)載在這里最高為550TB，ENAS為300TB，余下4款都是180TB——也比桌面硬盤的55TB高不少。或許這些數(shù)字還不夠直觀，后面我們還會(huì)用它們簡(jiǎn)單計(jì)算出平均每天、每秒的讀寫負(fù)載。
至于一個(gè)機(jī)箱中支持的硬盤數(shù)量，與另外兩項(xiàng)規(guī)格——旋轉(zhuǎn)振動(dòng)傳感器和抗旋轉(zhuǎn)振動(dòng)容忍度直接相關(guān)。比如沒 有RAFF Sensor的桌面、NAS和Video 3.5硬盤支持的系統(tǒng)規(guī)模都較小；監(jiān)控和歸檔硬盤具備RAFF Sensor且抗振指標(biāo)為5 rad/sec/sec，根據(jù)最新資料都能支持8塊以上的配置；不過它們?cè)诟哒駝?dòng)環(huán)境下的性能表現(xiàn)可能不如12.5 rad/sec/sec的ENAS和Enterprise Capacity。后文中我還會(huì)列出更多的引證資料。
關(guān)于硬盤轉(zhuǎn)速，兩款7200轉(zhuǎn)/分鐘的性能相對(duì)較好；希捷目前主流的桌面硬盤應(yīng)該都是7200轉(zhuǎn)，早期低轉(zhuǎn)速的Barracuda LP應(yīng)該已經(jīng)退出市場(chǎng)；Video 3.5由原來的Pipeline HD發(fā)展而來，一直是5900轉(zhuǎn)；監(jiān)控盤由7200轉(zhuǎn)的SV35發(fā)展而來，不過現(xiàn)在4TB及以下應(yīng)該都降到5900轉(zhuǎn)，5-8TB型號(hào)為7200轉(zhuǎn)。
5：視頻監(jiān)控寫入負(fù)載是否會(huì)超標(biāo)?
我們根據(jù)硬盤每年的讀寫負(fù)載，計(jì)算出550/300/180/55TB對(duì)應(yīng)到平均每天就是1.51/0.83/0.49/0.15TB，平均每秒大約17.5/9.6/5.67/1.74MB。回到本文上篇中那個(gè)數(shù)據(jù)備份的需求，每天寫入不到1TB的數(shù)據(jù)，使用Enterprise Capacity這個(gè)檔次的Nearline硬盤比較合適 。這里我還有一點(diǎn)疑問：視頻監(jiān)控應(yīng)用是比較典型的多流寫入，而且7x24小時(shí)連續(xù)工作，在一個(gè)系統(tǒng)中為了應(yīng)對(duì)單盤故障RAID保護(hù)又是有必要的。首先，年負(fù)載55TB的桌面硬盤很容易超標(biāo);其次，如果有高清監(jiān)控且需要保留時(shí)間較短的場(chǎng)合，每塊硬盤平均寫入速度超過5.67MB/s，是否將年負(fù)載180TB的監(jiān)控盤換成550TB的Nearline硬盤更合適呢?
如果超出建議負(fù)載較多其故障率會(huì)高于標(biāo)稱的AFR(監(jiān)控盤為0.88%)，而且Enterprise Capacity(ES)的AFR設(shè)計(jì)標(biāo)準(zhǔn)本身就低至0.44(8TB)～0.63%，可以降低后期維護(hù)的成本和數(shù)據(jù)丟失風(fēng)險(xiǎn)。
至于“云盤”，其平均故障率監(jiān)控盤還要高些，只要不在意也可以用吧?
當(dāng)然這里面還有成本的因素，Enterprise Capacity的公開報(bào)價(jià)是7200轉(zhuǎn)盤里面比較高的。由于視頻監(jiān)控在國內(nèi)的市場(chǎng)巨大，像海康、大華這樣的廠商在監(jiān)控硬盤上估計(jì)有較大的議價(jià)能力。
6：盤位數(shù)支持與箱體結(jié)構(gòu)
要求在每個(gè)機(jī)箱支持的盤位數(shù)上，最新資料4TB及以上寫的都是“8+”，在視頻監(jiān)控環(huán)境中，非RAID應(yīng)用順序(I/O)使用模型下盤數(shù)不限。(取決于箱體結(jié)構(gòu))而監(jiān)控硬盤在RAID應(yīng)用中建議≤16盤位。究其原因，如果做了RAID，硬盤磁頭容易按照同樣的軌跡來運(yùn)動(dòng)。這時(shí)共振的影響應(yīng)該會(huì)有所加大。
根據(jù)我的理解，ENAS系列雖然抗旋轉(zhuǎn)振動(dòng)能力與Enterprise Capacity相同，但由于其主要定位中小型設(shè)備，只建議配置不超過16盤位，對(duì)機(jī)箱結(jié)構(gòu)要求相應(yīng)放松。經(jīng)濟(jì)型Constellation CS主要針對(duì)互聯(lián)網(wǎng)等大型分布式環(huán)境，其中定制系統(tǒng)相對(duì)偏多，需要適應(yīng)各種不同需求，因此抗旋轉(zhuǎn)振動(dòng)也達(dá)到了12.5 rad/sec/sec。
7：不可恢復(fù)讀錯(cuò)誤：
NL盤表現(xiàn)居中不可恢復(fù)讀錯(cuò)誤可以理解為磁介質(zhì)上靜態(tài)數(shù)據(jù)損壞的比率，由于這個(gè)數(shù)值比較固定，隨著單盤容量增大在一塊盤上遇到錯(cuò)誤的幾率也越來越高。我們注意到，Enterprise Capacity和ENAS的該項(xiàng)指標(biāo)比10K、15K高轉(zhuǎn)速SAS硬盤高一個(gè)數(shù)量級(jí)，但比桌面和其它“準(zhǔn)企業(yè)級(jí)”硬盤還是要低一個(gè)數(shù)量級(jí)的。
對(duì)于監(jiān)控硬盤，資料顯示目前只有8TB型號(hào)可以達(dá)到1 per 10E15。由于目前桌面硬盤的容量只達(dá)到6TB，那么8TB監(jiān)控盤有可能與Enterprise Capacity出自同一平臺(tái)。
由于不可恢復(fù)讀錯(cuò)誤可能在RAID Rebuild時(shí)才暴露出來，RAID卡、磁盤陣列控制器普遍設(shè)計(jì)了后臺(tái)介質(zhì)掃描的功能，而有些廉價(jià)視頻監(jiān)控設(shè)備使用的軟RAID就不好說了。此外，EMC等存儲(chǔ)廠商還使用非標(biāo)準(zhǔn)扇區(qū)(從傳統(tǒng)512byte增大到520byte)加入校驗(yàn)實(shí)現(xiàn)容錯(cuò)。
8NL-SAS并不只是“假SAS”硬盤主機(jī)接口方面，7200轉(zhuǎn)硬盤中只有Nearline(Enterprise Capacity)系列具備SAS版本。除了SCSI協(xié)議的完整性之外，最重要的是提供雙端口支持，在那些雙控磁盤陣列中SATA驅(qū)動(dòng)器還得加個(gè)轉(zhuǎn)接板就不劃算了。而且，也只有SAS接口硬盤才能兼容520/528這些非標(biāo)準(zhǔn)扇區(qū)大小。
在質(zhì)保年限上，桌面硬盤目前執(zhí)行2年;Enterprise Capacity、NAS與高轉(zhuǎn)速SAS同為5年;表格里對(duì)比的其它7200轉(zhuǎn)硬盤基本上是3年。根據(jù)經(jīng)驗(yàn)，質(zhì)保5年的硬盤設(shè)計(jì)壽命一般在8-10年，如果超出5年使用故障率會(huì)提高;同理，普通7200轉(zhuǎn)硬盤的設(shè)計(jì)壽命通常也有5年，縮短保修時(shí)間也有降低服務(wù)成本的考慮。
至此，我們看出ENAS系列應(yīng)該是由Enterprise Capacity近線硬盤“降級(jí)”而來，它們之間的定位可以從開頭表格中的組件級(jí)差別上看出來。比如：兩者都使用了相對(duì)較好的高通量密度音圈磁頭，而讀寫頭和盤片ENAS為Performance而Enterprise Capacity采用High Performance等級(jí)。總之結(jié)構(gòu)決定性質(zhì)，只是我們?cè)诒疚闹胁⒉欢夹枰钔凇?/p>
9性能增強(qiáng)新技術(shù)：Flash緩存、掉電保護(hù)在硬盤上添加少量閃存的固態(tài)混合硬盤(SSHD)，希捷最早推出消費(fèi)級(jí)產(chǎn)品，并于后來引入到企業(yè)級(jí)市場(chǎng)(只限10K高轉(zhuǎn)速SAS盤)。客觀地說其市場(chǎng)空間不大，因?yàn)樵诨旌详嚵猩峡梢宰鯯SD+HDD之間的分層存儲(chǔ)，混合硬盤用于服務(wù)器也要看應(yīng)用能否發(fā)揮其優(yōu)勢(shì)。
不過加入Flash之后帶來了另外一個(gè)用途——掉電保護(hù)。我們知道早期硬盤上DRAM緩存中的數(shù)據(jù)斷電就會(huì)丟失，所以對(duì)數(shù)據(jù)一致性要求高的應(yīng)用通常會(huì)選擇在RAID卡/陣列控制器上關(guān)閉硬盤自身的寫緩存。如今則可以利用電容和盤片旋轉(zhuǎn)的勢(shì)能將DRAM寫緩存區(qū)的數(shù)據(jù)寫到閃存中。
對(duì)于沒有Flash緩存的Enterprise Capacity，希捷在最新一代8TB型號(hào)上內(nèi)置了2MB NOR閃存，用于掉電時(shí)備份寫緩存數(shù)據(jù)，因此可以打開WCE(Write Cache Enable)，大幅提升隨機(jī)寫性能——IOPS 342明顯超出讀IOPS 164(隊(duì)列深度16)。
據(jù)了解，HGST企業(yè)級(jí)硬盤采用了另一種技術(shù)來達(dá)到同樣的目的——開辟一小塊磁道做為將隨機(jī)寫I/O變成順序?qū)懭氲木彌_區(qū)。
10硬盤廠商怎么說?
上表引用自希捷文檔《安全和智能的監(jiān)控硬盤選擇指南》
其實(shí)希捷官方也做了監(jiān)控專用硬盤和企業(yè)級(jí)3.5寸海量盤的對(duì)比。首先，監(jiān)控盤“劃算”就是在談它的性價(jià)比;而性能、節(jié)電模式/響應(yīng)時(shí)間、寫入負(fù)載、抗振動(dòng)、SAS接口支持和質(zhì)保期限上Enterprise Capacity都更勝一籌，具體的技術(shù)我們都已討論過。
11更多選購要點(diǎn)：系統(tǒng)設(shè)計(jì)和兼容性以上寫了這么多硬盤自身的特性，其實(shí)同樣的盤用在不同系統(tǒng)上其可靠性表現(xiàn)也可能會(huì)有不小的差距。
比如散熱設(shè)計(jì)，我認(rèn)為正規(guī)一些的服務(wù)器、存儲(chǔ)廠商，測(cè)試每個(gè)盤位上承載最大功耗硬盤時(shí)的滿負(fù)載工作溫度，應(yīng)該是比較基本的要求。對(duì)于一線品牌，安裝各種轉(zhuǎn)速硬盤時(shí)產(chǎn)生的線性、旋轉(zhuǎn)振動(dòng)值是否超標(biāo)，估計(jì)也在結(jié)構(gòu)方面的測(cè)試項(xiàng)目中。用軟件仿真和實(shí)測(cè)可以做為互補(bǔ)，通過這些評(píng)估工作可以看出機(jī)箱、硬盤托架等有無改良空間，能夠支持的硬盤范圍等。
戴爾DSS 7000高密度存儲(chǔ)服務(wù)器，在4U空間內(nèi)提供了90個(gè)3.5英寸熱插拔硬盤位
舉例來說，像4U 60盤位及更高密度的機(jī)箱，我看各家基本都不支持15K高轉(zhuǎn)速硬盤。如果支持2.5寸10K硬盤，在這里也是不應(yīng)該按經(jīng)驗(yàn)“拍腦袋”決定的。
再比如前幾年，某公司進(jìn)入企業(yè)存儲(chǔ)領(lǐng)域時(shí)間尚短，其硬盤故障率偏高，也是投入了不少資源來改善。
另一方面，從EMC、戴爾等廠商采購的硬盤，與渠道市場(chǎng)中的相同型號(hào)也有些區(qū)別。定制的Firmware版本只是一個(gè)表象，兼容性測(cè)試也是很重要的工作。因此大家最好還是按照系統(tǒng)廠商的建議來選購硬盤，如果一時(shí)貪圖便宜導(dǎo)致數(shù)據(jù)丟失就得不償失了。
我們建議，如果您沒有條件計(jì)算讀寫負(fù)載，或者不確定服務(wù)器/存儲(chǔ)機(jī)箱本身消減振動(dòng)的能力，選擇一款規(guī)格較高、有裕量的硬盤相對(duì)比較保險(xiǎn)。比如本文對(duì)比中的Nearline硬盤Enterprise Capacity(ES)系列或者其他品牌的同級(jí)產(chǎn)品。
終于到了這兩篇的結(jié)尾，我想說一句：“寫硬盤很累”，而硬盤讀寫數(shù)據(jù)也是有一個(gè)“疲勞磨損”的過程，希望能夠引起人們對(duì)可靠性的關(guān)注。盡管這是我熟悉并關(guān)注近20年的領(lǐng)域，為撰寫本文還是查閱、整理了大量資料。總之希望對(duì)大家有所幫助，同時(shí)也歡迎各路高人批評(píng)指正!
轉(zhuǎn)載于:https://www.cnblogs.com/weikunzz/p/6710572.html
總結(jié)
以上是生活随笔為你收集整理的硬盘参数你都懂吗？（上）-从案例引发的讨论的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Oracle86和92语法的连接，子查询
- 下一篇： ThinkPHP集成万象优图