Hadoop 1.X，2.X區別：

HDFS角度：

1：Hadoop2.0新增了HDFS HA機制，HA增加了standbynamenode進行熱備份，解決了1.0的單點故障問題。

2：Hadoop2.0新增了HDFS federation，解決了HDFS水平可擴展能力. 允許有多個namenode獨立運行組成聯邦。每個datanode向所有name進行注冊。每個namenode維護一個命名空間卷（互相獨立）上層通過一個掛載表組織來訪問數據。

命名空間卷：包括池塊和命名空間元數據

塊池：邏輯概念，該命名空間文件的所有塊；可能在不同機器上。

命名空間元數據：命名空間元數據

mapreduce角度：

?2.0相比于1.0 新增了YARN框架，Mapreduce的運行環境發生了變化

在1.0中：由一個JobTracker和若干個TaskTracker兩類服務組成，其中JobTracker負責資源管理和所有作業的控制，TaskTracker負責接收來自JobTracker的命令并執行它。所以MapReduce即是任務調度框架又是計算框架，1.0中會出現JobTracker大包大攬任務過重，而且存在單點故障問題，并且容易出現OOM問題，資源分配不合理等問題。

在2.0中：MASTER端由ResourceManager進行資源管理調度，有ApplicationMaster進行任務管理和任務監控。SLAVE端由NodeManager替代TaskTracker進行具體任務的執行，所以MapReduce2.0只是一個計算框架，具體資源調度全部交給Yarn框架。

Hadoop 2.X和3.X區別：

1：Java運行環境升級為1.8；

2：HDFS支持糾刪碼：

糾刪碼相比于副本機制節省了一半以上的存儲空間，普通副本機制需要3倍存儲空間而這種機制只需1.4倍即可。

3：:YARN時間線服務:

4：支持多余2個以上的NameNodes

3.0支持單active namenode+多standby namenode部署方式進一步提升了可用性。

5：MapReduce本地優化，性能提升了30%。

Pls:相比于1.0和2.0，3.0在實際使用過程中比較不穩定。
?

總結

以上是生活随笔為你收集整理的Hadoop1.0，2.0，3.0区别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。