奇技指南HDFS作為運(yùn)行在通用硬件上的分布式文件系統(tǒng)，和現(xiàn)有的分布式文件系統(tǒng)既有很多的共同點(diǎn)，也存在很多的差異。本文從HDFS是什么開(kāi)始介紹，包括了HDFS架構(gòu)、HDFS的讀寫、各個(gè)組件的作用、具體操作以及優(yōu)缺點(diǎn)。給出了HDFS在分布式存儲(chǔ)上的具體方案，可以使讀者快速、清晰的理解HDFS系統(tǒng)。。本文轉(zhuǎn)載自360云計(jì)算公眾號(hào)。作者：于桐

主要內(nèi)容

HDFS是什么？是干什么用的？

HDFS的架構(gòu)是怎么樣的？

HDFS的怎樣進(jìn)行讀寫？副本怎樣放置？

HDFS各個(gè)組件的作用？

HDFS的文件操作命令有哪些？

HDFS的優(yōu)缺點(diǎn)是什么？

引言

有這樣一個(gè)需求：

由于公司某業(yè)務(wù)mysql服務(wù)器過(guò)保，為防止數(shù)據(jù)丟失，需要備份mysql數(shù)據(jù)庫(kù)，這些庫(kù)目前已經(jīng)只讀，每個(gè)庫(kù)約1.5T，大概有130個(gè)庫(kù)，共需要200T左右的空間，并且希望數(shù)據(jù)不易丟失，恢復(fù)數(shù)據(jù)速度快。

部分解決方案：

1)單機(jī)存儲(chǔ)

有如下問(wèn)題：

磁盤損壞或機(jī)器down機(jī)則無(wú)法下載；

單塊磁盤的讀寫io會(huì)很高；

單塊磁盤不能完整存儲(chǔ)3個(gè)完整的庫(kù)(存儲(chǔ)大文件)，只能存儲(chǔ)2個(gè)，空間部分浪費(fèi)

平時(shí)如果不用做數(shù)據(jù)恢復(fù)，機(jī)器cpu、內(nèi)存等利用率低

2)分布式存儲(chǔ)

可選用分布式存儲(chǔ)，如HDFS、CEPH、S3等等。

HDFS是什么？是干什么用的？

HDFS(Hadoop Distributed File System)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最開(kāi)始是作為Apache Nutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開(kāi)發(fā)的。HDFS是Apache Hadoop Core項(xiàng)目的一部分。

首先來(lái)看看Hadoop架構(gòu)，HDFS為Hadoop其他組件提供存儲(chǔ)支持。

直觀對(duì)比Linux文件系統(tǒng)和HDFS文件系統(tǒng)(執(zhí)行l(wèi)s命令)。

Linux：

#ls -l-rw-r--r-- 1 root root 20 Jul 29 14:31 ms-server-download-zzzc_88888.idx-rw-r--r-- 1 root root 8 Jul 29 14:31 ms-server-download-zzzc_88888.dat

HDFS：

#hadoop fs -ls /tmp/-rw-r--r-- 2 xitong supergroup 181335139 2019-07-17 23:00 /tmp/java.tar.gz-rw-r--r-- 2 xitong supergroup 181335139 2019-07-17 23:00 /tmp/jdk.tar.gz

可以看出HDFS和Linux文件系統(tǒng)很類似，都是有權(quán)限、文件所屬用戶、用戶所在的組、文件名稱等，但是也有不同：HDFS中的第2列表示副本數(shù)

HDFS的架構(gòu)是怎么樣的？

HDFS架構(gòu)如下：

Client：客戶端。

NameNode：master，它是一個(gè)主管、管理者，存儲(chǔ)元數(shù)據(jù)，存儲(chǔ)元數(shù)據(jù)格式會(huì)在后面介紹。

DataNode：slave，NameNode 下達(dá)命令，DataNode 執(zhí)行操作并存儲(chǔ)實(shí)際數(shù)據(jù)。

SecondaryNameNode：和NameNode不是主備關(guān)系。當(dāng)NameNode掛掉的時(shí)候，它并不能馬上替換NameNode提供服務(wù)。主要作用會(huì)在后面介紹。

HDFS怎樣進(jìn)行讀寫

寫文件

客戶端調(diào)用create方法，創(chuàng)建一個(gè)新的文件；NameNode會(huì)做各種校驗(yàn)，比如文件是否已經(jīng)存在，客戶端是否有權(quán)限等。

如果校驗(yàn)通過(guò)，客戶端開(kāi)始寫數(shù)據(jù)到DN(DataNode)，文件會(huì)按照block大小進(jìn)行切塊，默認(rèn)128M(可配置)，DataNode構(gòu)成pipeline管道，client端向輸出流對(duì)象中寫數(shù)據(jù)，傳輸?shù)臅r(shí)候是以比block更小的packet為單位進(jìn)行傳輸，packet又可拆分為多個(gè)chunk，每個(gè)chunk都攜帶校驗(yàn)信息。

每個(gè)DataNode寫完一個(gè)塊后，才會(huì)返回確認(rèn)信息，并不是每個(gè)packet寫成功就返回一次確認(rèn)。

寫完數(shù)據(jù)，關(guān)閉文件

讀文件

客戶端調(diào)用open方法，打開(kāi)一個(gè)文件

獲取block的location，即block所在的DN，NN(NameNode)會(huì)根據(jù)拓?fù)浣Y(jié)構(gòu)返回距離客戶端最近的DN。

客戶端直接訪問(wèn)DN讀取block數(shù)據(jù)并計(jì)算校驗(yàn)和，整個(gè)數(shù)據(jù)流不經(jīng)過(guò)NN。

讀取完一個(gè)block會(huì)讀取下一個(gè)block。

所有block讀取完成，關(guān)閉文件

副本放置

以經(jīng)典的3副本為例(黃色方框表示客戶端，綠色表示要寫的block)，Hadoop早期版本采用左邊的放置策略，后期版本采用右邊的放置策略放置副本。

圖左：

• 副本1:同機(jī)架的不同節(jié)點(diǎn)。
• 副本2:同機(jī)架的另一個(gè)節(jié)點(diǎn)。
• 副本3:不同機(jī)架的另一個(gè)節(jié)點(diǎn)。
• 如果還有其他副本:隨機(jī)。

圖右：

• 副本1:同Client的節(jié)點(diǎn)。
• 副本2:不同機(jī)架的節(jié)點(diǎn)。
• 副本3:同第2副本相同機(jī)架的不同節(jié)點(diǎn)。
• 如果還有其他副本:隨機(jī)。

兩種策略的故障域都為機(jī)架，新版相對(duì)于舊版本，當(dāng)本客戶端再次讀取新寫的數(shù)據(jù)時(shí)，直接從本地讀取，這樣延遲最小，讀取速度最快。

HDFS各個(gè)組件的作用？

先大致看下啟動(dòng)流程：

啟動(dòng)NameNode，讀取FsImage元數(shù)據(jù)鏡像文件，加載到內(nèi)存中；讀取EditLog日志文件，加載到內(nèi)存中，使當(dāng)前內(nèi)存中元數(shù)據(jù)信息與上次關(guān)閉系統(tǒng)時(shí)保持一致

啟動(dòng)DataNode，向NameNode注冊(cè)，并向NameNode發(fā)送BlockReport。

退出安全模式后，Client可以對(duì)HDFS進(jìn)行目錄創(chuàng)建、文件上傳等操作，改動(dòng)的目錄結(jié)構(gòu)會(huì)記錄在EditLog中，NameNode的內(nèi)存中的目錄結(jié)構(gòu)也會(huì)改變。

NameNode

管理 HDFS 的命名空間。

管理數(shù)據(jù)塊(Block)映射信息。

配置副本策略。

處理客戶端讀寫請(qǐng)求。

Fsimage是一個(gè)二進(jìn)制文件,格式如下：

FsImage文件第1行為image head,里面包含image的版本、文件和目錄的個(gè)數(shù)等；第2行為一個(gè)目錄格式(如果是目錄，就是這種格式)，包含了目錄的路徑、副本數(shù)、權(quán)限等，目錄的blocksize都為0；第3行為一個(gè)文件格式(如果是文件，則在FsImage存儲(chǔ)的格式)，文件和目錄格式包含的字段差不多，多了block信息；通過(guò)加載此文件和EditLog日志文件來(lái)構(gòu)建整個(gè)文件系統(tǒng)的目錄結(jié)構(gòu)。

通過(guò)觀察FsImage文件，里面并沒(méi)有block和DN的對(duì)應(yīng)關(guān)系，它是如何查到塊所對(duì)應(yīng)的DN的呢？

block和DN的對(duì)應(yīng)關(guān)系并沒(méi)有實(shí)際持久化，而是通過(guò)DN向NN(NameNode)匯報(bào)，此過(guò)程為BlockReport。通過(guò)blockReport構(gòu)建BlocksMap的結(jié)構(gòu)如下：

在blockInfo中保存了block所在的DN信息

SecondaryNameNode

和NameNode并非主備關(guān)系，而是輔助NN進(jìn)行合并FsImage和EditLog并起到備份作用。

HDFS文件操作命令有哪些？

和Linux操作文件類似，只列出常見(jiàn)幾個(gè)，和Linux命令的功能也是類似的，如：cp即拷貝，rm即刪除等等

#hadoop fs [cat|chgrp|chmod|chown|count|cp|df|get|ls|put|mv|rm|mkdir|tail]

在HDFS中，提供了fsck命令，用于檢查HDFS上文件和目錄的健康狀態(tài)、獲取文件的block塊信息和位置信息等。

#hdfs fsck [move|delete|files|blocks|locations|racks|blockId]

HDFS的優(yōu)缺點(diǎn)是什么？

最后根據(jù)以上內(nèi)容總結(jié)HDFS優(yōu)缺點(diǎn)如下：

優(yōu)點(diǎn)：

支持海量數(shù)據(jù)的存儲(chǔ)。

檢測(cè)和快速應(yīng)對(duì)硬件故障。

流式數(shù)據(jù)訪問(wèn)。

簡(jiǎn)化的一致性模型。

高容錯(cuò)性。

商用硬件。

缺點(diǎn)：

不能做到低延遲數(shù)據(jù)訪問(wèn)。

不適合大量的小文件存儲(chǔ)。

不支持修改文件(HDFS2.x開(kāi)始支持給文件追加內(nèi)容)。

不支持用戶的并行寫。

hadoop2.x新特性 引入了NameNode Federation，解決了橫向內(nèi)存擴(kuò)展；引入了Namenode HA，解決了namenode單點(diǎn)故障。

相關(guān)文章

http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

https://www.jianshu.com/p/85b71d550c43

https://www.jianshu.com/p/f1e785fffd4d

https://blog.csdn.net/weixin_38750084/article/details/82963235

https://blog.csdn.net/macyang/article/details/7958862

關(guān)于360技術(shù)360技術(shù)是360技術(shù)團(tuán)隊(duì)打造的技術(shù)分享公眾號(hào)，每天推送技術(shù)干貨內(nèi)容更多技術(shù)信息歡迎關(guān)注“360技術(shù)”微信公眾號(hào)

總結(jié)

以上是生活随笔為你收集整理的hdfs通过接口退出安全模式_Hadoop之HDFS简介的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。