存储知识学习笔记
一、DAS/NAS/SAN
DAS、NAS、SAN是三種存儲模式,NAS與SAN都是在DAS的基礎上發展起來的,是新型數據存儲模式中的兩個主要發展方向。
DAS是大型服務器采用的主要存儲方式,DAS(Direct Attached Storage,直接外掛存儲)
NAS(Network Attached Storage,網絡附加存儲)
SAN(Storage Area Network,存儲域網絡)
直接連接存儲(Direct Attached Storage,簡稱DAS),是通常放置在服務器機箱內部的驅動器,通常是SCSI連接。DAS驅動器也可以放置在外部機箱內,但是通過有限長度的SCSI電纜進行連接的。
網絡連接存儲(Network Attached Storage,簡稱NAS)是單獨連接到局域網上的設備,但是僅僅提供基于文件的存儲。簡單地說,NAS機器是專用的文件服務器,但是它沒有運行應用程序的能力,而是分配它們所有的資源,用來文件共享。有時也稱為"Filers"。
存儲區域網絡(Storage Area Network ,簡稱SAN)通常用來指專用的硬盤存儲陣列,通過光纖通道鏈路連接到不少主機上,這個光纖通道來自一個光纖通道交換機,該交換機可為所有的設備提供高速"Hub"功能。
對于企業存儲設備而言,根據其實現方式主要劃分為DAS、SAN和NAS三種,分別針對不同的應用環境,提供了不同解決方案。
以下,通過表格的方式對以上3種存儲進行一個簡單的比較。
存儲系統架構 | DAS | NAS | SAN |
安裝難易度 | 不一定 | 簡單 | 困難 |
數據傳輸協議 | SCSI/FC/ATA | TCP/IP | FC/IP |
傳輸對象 | 數據塊 | 文件 | 數據塊 |
使用標準文件共享協議 | 否 | 是(NFS/CIFS…) | 否 |
異種操作系統文件共享 | 否 | 是 | 需要轉換設備 |
集中式管理 | 不一定 | 是 | 需要管理工具 |
管理難易度 | 不一定 | 以網絡為基礎,容易 | 不一定,但通常很難 |
提高服務器效率 | 否 | 是 | 是 |
災難忍受度 | 低 | 高 | 高,專有方案 |
適合對象 | 中小企業服務器 捆綁磁盤(JBOD) | 中小企業 SOHU族 企業部門 | 大型企業 數據中心 |
應用環境 | 局域網 文檔共享程度低 獨立操作平臺 服務器數量少 | 局域網 文檔共享程度高 異質格式存儲需求高 | 光纖通道儲域網 網絡環境復雜 文檔共享程度高 異質操作系統平臺 服務器數量多 |
業務模式 | 一般服務器 | WEB服務器 多媒體資料存儲 文件資料共享 | 大型資料庫 數據庫等 |
檔案格式復雜度 | 低 | 中 | 高 |
容量擴充能力 | 低 | 中 | 高 |
表格 1 三種技術的比較
錄像存儲
錄像存儲是指將監控圖像錄制下來,并以文件形式存儲在存儲設備中,并可在以后隨時被讀出回放。
存儲的實現有多種模式,包括DAS(直連存儲)、SAN(存儲區域網)和NAS(網絡存儲)等。DAS就是普通計算機系統最常用的存儲方式,即將存儲介質(硬盤)直接掛接在CPU的直接訪問總線上,優點是訪問效率高,缺點是占用系統總線資源、掛接數量有限,一般適用于低端PC系統。SAN是將存儲和傳統的計算機系統分開,系統對存儲的訪問通過專用的存儲網絡來訪問,對存儲的管理可交付與存儲網絡來管理,優點是高效的存儲管理、存儲升級容易,而缺點則是系統較大,成本過高,適用于高端設備。NAS則充分利用系統原有的網絡接口,對存儲的訪問是通過通用網絡接口,訪問通過高層接口實現,同時設備可專注與存儲的管理,優點是系統簡單、兼容現有系統、擴容方便,缺點則是效率相對比較低。
典型的傳統數字硬盤錄像機設備一般都采用DAS方式,即自身包含若干硬盤,錄像數據進行壓縮編碼后直接存儲在本地硬盤中,回放也從本地硬盤中讀出。網絡功能只是個附加的功能,主要面向遠程終端實時監控本地圖像和回放本地錄像。在系統比較大時,這種方式必然是分布式存儲的,給系統管理帶來了麻煩。數字硬盤錄像機的發展將使網絡成為中心,而規模的增大使得分布式存儲的缺點更加顯著。采用NAS作為錄像的存儲設備,解決了傳統數字硬盤錄像機所限制的這些問題,作為下一代數字錄像系統,其優勢表現在:
?????優良的設備環境:由于硬盤的不穩定性,需要一個更好的工作環境來延長硬盤的壽命和減少存儲的不可用時間。NAS作為專業的存儲設備,針對多硬盤環境作了優化設計,讓硬盤工作的更穩定、更可靠。
?????專業的存儲管理:有效的存儲管理在數據量上升時更加顯得重要,數據的安全性與冗余性將更受關注。NAS通過專業軟件對大容量存儲進行管理,增加安全機制及冗余管理,使得存放的數據更便捷、更放心。
?????輕松的容量擴張:對容量的需求日益增加的今日,更加看重存儲容量的可擴張性。NAS的容量擴張基本上是Plug&Play的模式,方便用戶升級。另外,NAS還可實現系統升級與存儲升級的分離,更適合一個逐漸發展的系統。
本系統采用NAS作為錄像的存儲設備,但從網絡可靠性方面考慮,采用二級存儲機制,即錄像時直接錄制在DVR中,在其中保存一定時間,定期再將DVR中的錄像轉存至NAS中。采用二級存儲機制,雖然比直接網絡存儲復雜,但可以將網絡的不可靠因素對系統的影響降到最低,以確保錄像數據的完整性。
二、磁盤陣列RAID技術
RAID將普通硬盤組成一個磁盤陣列,在主機寫入數據,RAID控制器把主機要寫入的數據分解為多個數據塊,然后并行寫入磁盤陣列;主機讀取數據時,RAID控制器并行讀取分散在磁盤陣列中各個硬盤上的數據,把它們重新組合后提供給主機。由于采用并行讀寫操作,從而提高了存儲系統的存取系統的存取速度。 RAID是一種把多塊獨立的硬盤(物理硬盤)按不同的方式組合起來形成一個硬盤組(邏輯硬盤),從而提供比單個硬盤更高的存儲性能和提供數據備份技術。根據磁盤陳列的不同組合方式,可以將RAID分為不同的級別。磁盤陣列中針對不同的應用使用的不同技術,稱為RAID level,而每一level都代表著不同技術,目前業界公認的標準是RAID 0~RAID 5。
主要包含RAID 0~RAID 7等數個規范,它們的側重點各不相同,常見的規范有如下幾種:
RAID 0:無差錯控制的帶區組
RAID 1:鏡象結構
RAID2:帶海明碼校驗
RAID3:帶奇偶校驗碼的并行傳送
RAID4:帶奇偶校驗碼的獨立磁盤結構
RAID5:分布式奇偶校驗的獨立磁盤結構
RAID0是具有提速和擴容的目的
在RAID0模式中,數據被分割為一定數量的數據塊(Chunk)交叉寫在多個硬盤上,一般的來說在RAID0系統中數據被分割的數量同RAID陣列所使用的硬盤的數量是有關的,比如RAID0中采用了3塊硬盤,那么數據將會被分為三份依次的寫入三個硬盤,通俗的說這種模式其實就是利用RAID技術讓系統認為三塊硬盤組成一個容量更大的硬盤,因為這個過程沒有數據校驗所以這種RAID模式是讀寫速度最快的一種。
RAID0并沒有從安全性角度考慮,實際上,如果RAID0當中的一塊硬盤壞了,所有數據都會損壞,并且沒有辦法恢復。這使得RAID0的安全性能非常差,所以很多用戶出于安全考慮沒有使用RAID0模式。雖然如此,RAID0畢竟是所有RAID方式當中速度最快的一種模式,如果RAID0模式當中有兩塊硬盤的話,那么RAID0的存儲讀取數據的速度會是單個硬盤雙倍。,如果使用6塊硬盤的話,那么理論速率就是單個硬盤的6倍。如果在RAID0模式當中使用不同的硬盤會造成兩方面的問題,首先,RAID0的有效硬盤容量會是最小的硬盤的容量乘上硬盤的個數,這是因為如果容量的最小的硬盤存滿了之后,RAID0依然會將文件平均分配到各個硬盤當中,此時便不能完成存儲任務了;其次,如果RAID0當中的硬盤速度不同,那么整體的速度會是速度最慢的硬盤的速度乘上硬盤的個數,這是因為RAID0模式是需要將上一部的存儲任務完成之后才能進行下一步的進程,這樣,其它的速度快的硬盤會停下來等待速度慢的硬盤完成存儲或者讀取任務,使得整體性能有所下降。所以,在這里建議使用RAID0模式的用戶最好選擇容量和速度相同的硬盤,最好是同一品牌的同種產品。
因此RAID0在嚴格意義上說不是"冗余獨立磁盤陣列"。RAID0模式一般用于需要快速處理數據但是對于數據的安全性要求不高的場合。這種RAID模式的特點是簡單,而且并不需要復雜和昂貴的控制器。采用RAID0模式至少需要2塊硬盤,最終得到的存儲容量也是這兩塊硬盤的和。
RAID0的隨機讀取性能:很好
RAID0的隨機寫入性能:很好
RAID0的持續讀取性能:很好
RAID0的持續寫入性能:很好
RAID0的優點:最快的讀寫性能,如果每塊硬盤擁有獨立的控制器性能將會更好。
RAID0的缺點:任何一塊硬盤出現故障所有的數據都會丟失,大部分的控制器都是通過軟件實現的,所以效能并不好。)
RAID 0是無數據冗余的存儲空間條帶化,將數據以條紋化的方式存儲在陣列之中,實現性能的增強,但沒有數據冗余。具有低成本、極高讀寫性能、高存儲空間利用率的RAID級別,適用于Video / Audio信號存儲、臨時文件的轉儲等對速度要求極其嚴格的特殊應用。但由于沒有數據冗余,其安全性大大降低,構成陣列的任何一塊硬盤損壞都將帶來數據災難性的損失。
RAID 1是兩塊硬盤數據完全鏡像,數據條紋化的頭一半是原始數據,后一半是數據鏡像,但被寫往RAID 1陣列中的第二個磁盤,RAID 1最少需要2個磁盤。,安全性好,技術簡單,管理方便,讀寫性能均好,但其無法擴展(單塊硬盤容量),數據空間浪費大。專門針對性能要求高的應用。
RAID 0+1綜合了RAID 0和RAID 1的特點,獨立磁盤配置成RAID 0,兩套完整的RAID 0互相鏡像。它的讀寫性能出色,安全性高,但構建陣列的成本投入大,數據空間利用率低,不能稱之為經濟高效的方案。
RAID 3使用一個"奇偶"磁盤來存儲冗余信息。奇偶磁盤物理上與數據磁盤相隔離。
RAID 5使用一個"奇偶"磁盤來存儲冗余信息。實際上,包括奇偶信息在內的所有數據都以條紋化的形式存儲到陣列中的所有磁盤上(沒有物理上隔離的奇偶磁盤)。當對一個陣列執行RAID 5保護時,陣列要減去一個磁盤驅動器的容量(用于存儲奇偶數據)。最少要求3個磁盤。RAID 5是目前應用最廣泛的RAID技術。各塊獨立硬盤進行條帶化分割,相同的條帶區進行奇偶校驗(異或運算),校驗數據平均分布在每塊硬盤上。以n塊硬盤構建的RAID 5陣列可以有n-1塊硬盤的容量,存儲空間利用率非常高(見圖1)。任何一塊硬盤上數據丟失,均可以通過校驗數據推算出來。RAID 5具有數據安全、讀寫速度快,空間利用率高等優點,應用非常廣泛,但不足之處是1塊硬盤出現故障以后,整個系統的性能大大降低。
圖 2 RAID 5實現方式
從技術實現方式上說,RAID技術可以通過軟件和硬件兩種方式實現,隨著硬件系統能力不斷提升,軟件RAID實現方式越來越成為主流的選擇。
標準的RAID寫操作,如RAID5中所必需的校驗計算,需包括以下幾個步驟:
1)以校驗盤中讀取數據
2)以目標數據盤中讀取數據
3)以舊校驗數據,新數據及已存在數據,生成新的校驗數據
4)將新校驗數據寫入校驗盤
5)將新數據寫入目標數據盤
當主機將一個待寫入陣列RAID組中的數據發送到陣列時,陣列將該數據保存在緩存中并立即報告主機該數據的寫入工作已完成。該數據寫入到陣列硬盤的工作由陣列控制完成,該數據可繼續存放在Cache中直到Cache滿,而且要為新數據騰出空間而必須刷新時或陣列需停機時,控制器會及時將該數據從Cache寫入陣列硬盤中。這種緩存回寫技術使得主機不必等待RAID校驗計算過程的完成,即可處理下一個讀寫任務,這樣,主機的讀寫效率大為增加。當主機命令將一個數據寫入硬盤,則陣列控制器將該數據寫入緩存最上面的位置,只有新數據才會被控制器按Write-Back Cache的方式最后寫入硬盤。
三、SATA/SCSI/SAS/IDE
IDE/ATA 是Integrated Device Electronics/Advanced Technology Attachment (IDE/ATA)的縮寫。這是一種十分流行的計算機外設接口,它不但能用于連接硬盤,也廣泛地用于連接CD-ROM,軟盤驅動器等設備。其中IDE是指一種協議,它規定了主板上的控制器如何與連接的硬盤通信。ATA是指連接主板和外設的借口類型。這種類型的接口的優點是廉價,兼容性好。缺點是速度相對較慢,比如Ultra DMA/133標準支持的帶寬是133MB/s。而且纜線長度很短,一般只能用于機箱內的設備連接。
SATA其實就是Serail ATA,串行的ATA。SATA設計的目的就是取代并行的ATA,第三版的SATA最高傳輸速度可以達到6Gb/s(大概等于715MB/s)。SATA是可熱插拔的,它使用7針腳的窄連接線。
SCSI是Small Computer System Interface的縮寫。是一種歷史比較悠久但仍廣泛使用的的外設連接標準。它除了被用于連接硬盤和磁帶機以外還可以連接其它外設,如掃描儀和打印機之類的。SCSI包括了一系列標準,其使用的物理接口類型也都不盡相同。其中Ultra-640 SCSI支持640MB/s的帶寬。
對于IDE設備,SCSI設備一般比較貴一點,SCSI硬盤以往常常用于服務器級別的主機上。Serial Attached SCSI。串行版本的SCSI,是SCSI的進化版本。而且SAS對SATA是兼容的,3 Gbit/s的SATA盤可以連接到SAS的接口,不過SAS的硬盤不能連接到SATA的接口上。目前SAS硬盤被廣泛地應用于服務器級別的主機上。
總結
- 上一篇: nagios用NsClient自定义wi
- 下一篇: WPF and Silverlight