狹義上來說，hadoop就是單獨指代hadoop這個軟件，

廣義上來說，hadoop指代大數據的一個生態圈，包括很多其他的軟件

2、hadoop的歷史版本介紹

0.x系列版本：hadoop當中最早的一個開源版本，在此基礎上演變而來的1.x以及2.x的版本

1.x版本系列：hadoop版本當中的第二代開源版本，主要修復0.x版本的一些bug等

2.x版本系列：架構產生重大變化，引入了yarn平臺等許多新特性

3、hadoop三大公司發型版本介紹

免費開源版本apache：

http://hadoop.apache.org/

優點：擁有全世界的開源貢獻者，代碼更新迭代版本比較快，

缺點：版本的升級，版本的維護，版本的兼容性，版本的補丁都可能考慮不太周到，學習可以用，實際生產工作環境盡量不要使用

apache所有軟件的下載地址（包括各種歷史版本）：

http://archive.apache.org/dist/

免費開源版本hortonWorks：

https://hortonworks.com/

hortonworks主要是雅虎主導Hadoop開發的副總裁，帶領二十幾個核心成員成立Hortonworks，核心產品軟件HDP（ambari），HDF免費開源，并且提供一整套的web管理界面，供我們可以通過web界面管理我們的集群狀態，web管理界面軟件HDF網址（http://ambari.apache.org/）

軟件收費版本ClouderaManager:

https://www.cloudera.com/

cloudera主要是美國一家大數據公司在apache開源hadoop的版本上，通過自己公司內部的各種補丁，實現版本之間的穩定運行，大數據生態圈的各個版本的軟件都提供了對應的版本，解決了版本的升級困難，版本兼容性等各種問題，生產環境強烈推薦使用

4、hadoop的架構模型（1.x，2.x的各種架構模型介紹）

4.1、1.x的版本架構模型介紹

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據

secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

數據計算核心模塊：

JobTracker：接收用戶的計算請求任務，并分配任務給從節點

TaskTracker：負責執行主節點JobTracker分配的任務

4.2、2.x的版本架構模型介紹

第一種：NameNode與ResourceManager單節點架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據

secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配

NodeManager：負責執行主節點APPmaster分配的任務

第二種：NameNode單節點與ResourceManager高可用架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據

secondaryNameNode：主要能用于hadoop當中元數據信息的輔助管理

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分，通過zookeeper實現ResourceManager的高可用

NodeManager：負責執行主節點ResourceManager分配的任務

第三種：NameNode高可用與ResourceManager單節點架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據，其中nameNode可以有兩個，形成高可用狀態

DataNode：集群當中的從節點，主要用于存儲集群當中的各種數據

JournalNode：文件系統元數據信息管理

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，并負責集群的資源分配，以及計算任務的劃分

NodeManager：負責執行主節點ResourceManager分配的任務

第四種：NameNode與ResourceManager高可用架構模型

文件系統核心模塊：

NameNode：集群當中的主節點，主要用于管理集群當中的各種數據，一般都是使用兩個，實現HA高可用

JournalNode：元數據信息管理進程，一般都是奇數個

DataNode：從節點，用于數據的存儲

數據計算核心模塊：

ResourceManager：Yarn平臺的主節點，主要用于接收各種任務，通過兩個，構建成高可用

NodeManager：Yarn平臺的從節點，主要用于處理ResourceManager分配的任務

總結

以上是生活随笔為你收集整理的Hadoop简介及架构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。