云计算-对象存储
1 原始數(shù)據(jù)存儲
1.1 DAS(Direct Attached Storage,直連式存儲)
類似于本機電腦硬盤,通過線,直接IO連接硬盤。
參考鏈接:https://www.jianshu.com/p/7df6ec0699ed
1.2 NAS(Network Area Storage,網(wǎng)絡(luò)接入存儲)
透過網(wǎng)絡(luò)(內(nèi)網(wǎng)、外網(wǎng))進行存儲讀取資料。通俗點說,就是有一臺很小很小的臺式主機,里面只裝了很多顆的硬碟,這臺電腦很省電,又不會發(fā)熱,只要有網(wǎng)路,就可以連到這臺小電腦里面,把自己的資料儲存進去,把需要的資料拿出來使用,而且你需要多少儲存容量只要你買硬盤加上去就行了。
參考鏈接:https://zhuanlan.zhihu.com/p/20611079
1.3 SAN(Storage Area Network,存儲區(qū)域網(wǎng)絡(luò))
中心化服務(wù)器存儲,基于以太網(wǎng)和光纖通道。企業(yè)最常用的存儲網(wǎng)絡(luò)架構(gòu),要求高吞吐量和低延遲的業(yè)務(wù)關(guān)鍵型業(yè)務(wù)往往采用這類架構(gòu)運行。
參考鏈接:https://blog.csdn.net/zdx19880830/article/details/94857018
1.4 存儲方式
DAS和SAN是基于物理塊的存儲方式,而NAS是基于文件的存儲方式。
塊存儲,操作對象是磁盤。存儲協(xié)議是SCSI、iSCSI、FC。以 SCSI 為例,主要接口命令有 Read/Write/Read Capacity/Inquiry 等等。
文件存儲,操作對象是文件和文件夾。存儲協(xié)議是NFS、SAMBA(SMB)、POSIX等。
2 對象存儲(Object-based Storage)
2.1 背景
對象存儲是云計算時代的存儲技術(shù),面向?qū)ο蟮拇鎯?#xff0c;云廠商也稱之為“云存儲”。
隨著互聯(lián)網(wǎng)的爆發(fā),數(shù)據(jù)存儲需求發(fā)生了兩個重大的變化。
數(shù)據(jù)量爆炸式增長。照片、音樂、視頻等多媒體創(chuàng)作分享。
非結(jié)構(gòu)化數(shù)據(jù)的占比顯著增加。
結(jié)構(gòu)化數(shù)據(jù):excel表格,姓名、身高、體重、年齡、性別,這種用二維表結(jié)構(gòu)可以進行邏輯表達的數(shù)據(jù)。
非結(jié)構(gòu)化數(shù)據(jù):圖像、音頻、視頻、word文章、演示膠片,這樣的數(shù)據(jù)。
由于上述兩大變化,原始存儲方式無法有效應(yīng)對,所以提出了對象存儲。
對象存儲,主要操作對象是對象(Object)。存儲協(xié)議是S3、Swift等。
以 S3 為例,主要接口命令有 PUT/GET/DELETE 等。
在對象存儲系統(tǒng)里,你不能直接打開/修改文件,只能先下載、修改,再上傳文件。(如:百度網(wǎng)盤)
2.2 對象存儲中的數(shù)據(jù)組成
對象存儲可以看作一個“桶”(bucket),你可以往“桶”里面放“對象(Object)”。每個對象包括三個部分:Key、Data、Metadata。
2.2.1 Key
可以理解為文件名或者對象名,是該對象的全局唯一標(biāo)識符(UID)。
用于檢索對象,服務(wù)器和用戶不需要知道數(shù)據(jù)的物理地址,也能通過它找到對象。這種方法極大地簡化了數(shù)據(jù)存儲。下面這行,就是一個對象的地址范例:
2.2.2 Data
數(shù)據(jù)本體。不多解釋。
2.2.3 Metadata
Metadata叫做元數(shù)據(jù),它是對象存儲一個非常獨特的概念。
元數(shù)據(jù)有點類似數(shù)據(jù)的標(biāo)簽,標(biāo)簽的條目類型和數(shù)量是沒有限制的,可以是對象的各種描述信息。
舉個例子,如果對象是一張人物照片,那么元數(shù)據(jù)可以是姓名、性別、國籍、年齡、拍攝地點、拍攝時間等。
在傳統(tǒng)的文件存儲里,這類信息屬于文件本身,和文件一起封裝存儲。而對象存儲中,元數(shù)據(jù)是獨立出來的,并不在數(shù)據(jù)內(nèi)部封裝。
元數(shù)據(jù)的好處非常明顯,可以大大加快對象的排序,還有分類和查找。
2.3 對象存儲的架構(gòu)
OSD對象存儲設(shè)備
這是對象存儲的核心,具有自己的CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤系統(tǒng)。它的主要功能當(dāng)然是存儲數(shù)據(jù)。同時,它還會利用自己的算力,優(yōu)化數(shù)據(jù)分布,并且支持數(shù)據(jù)預(yù)讀取,提升磁盤性能。
MDS元數(shù)據(jù)服務(wù)器
它控制Client和OSD的交互,還會管理著限額控制、目錄和文件的創(chuàng)建與刪除,以及訪問控制權(quán)限。
Client客戶端
提供文件系統(tǒng)接口,方便外部訪問。
根據(jù)上面的架構(gòu)可以看出,對象存儲系統(tǒng)可以是一個提供海量存儲服務(wù)的分布式架構(gòu)。
2.4 對象存儲的應(yīng)用
目前國內(nèi)有大量的云服務(wù)提供商,他們把對象存儲當(dāng)作云存儲在賣。
他們通常會把存儲業(yè)務(wù)分為3個等級,即標(biāo)準(zhǔn)型、低頻型、歸檔型。對應(yīng)的應(yīng)用場景如下:
標(biāo)準(zhǔn)類型:移動應(yīng)用 | 大型網(wǎng)站 | 圖片分享 | 熱點音視頻
低頻訪問類型:移動設(shè)備 | 應(yīng)用與企業(yè)數(shù)據(jù)備份 | 監(jiān)控數(shù)據(jù) | 網(wǎng)盤應(yīng)用
歸檔類型:各種長期保存的檔案數(shù)據(jù) | 醫(yī)療影像 | 影視素材
根據(jù)估算,目前全球互聯(lián)網(wǎng)70%以上的熱點數(shù)據(jù)是保存在對象存儲系統(tǒng)中的。
對象存儲雖然看上去很好很強大,但也不是沒有缺點。它最大的缺點,和它的工作模式有關(guān)。
它是那種把整個數(shù)據(jù)取出來,修改,再放回去的模式,不支持直接在存儲上修改,哪怕只是加一行數(shù)據(jù),都不行。所以,它不適合存儲需要頻繁擦寫的數(shù)據(jù)(例如關(guān)系型數(shù)據(jù)庫的數(shù)據(jù))。
參考文章鏈接:https://zhuanlan.zhihu.com/p/166289089
總結(jié)
- 上一篇: Python - IBM Notes 发
- 下一篇: php ical 时区_如何将iCal或