?Hadoop的HA機制

前言：正式引入HA機制是從hadoop2.0開始，之前的版本中沒有HA機制

1.1HA的運作機制

（1）hadoop-HA集群運作機制介紹

所謂HA，即高可用（7*24小時不中斷服務）

實現高可用最關鍵的是消除單點故障

hadoop-ha嚴格來說應該分成各個組件的HA機制——HDFS的HA、YARN的HA

?

（2）HDFS的HA機制詳解

通過雙namenode消除單點故障

雙namenode協調工作的要點：

??? A、元數據管理方式需要改變：

??? 內存中各自保存一份元數據

??? Edits日志只能有一份，只有Active狀態的namenode節點可以做寫操作

??? 兩個namenode都可以讀取edits

??? 共享的edits放在一個共享存儲中管理（qjournal和NFS兩個主流實現）

??? B、需要一個狀態管理功能模塊

??? 實現了一個zkfailover，常駐在每一個namenode所在的節點

??? 每一個zkfailover負責監控自己所在namenode節點，利用zk進行狀態標識

??? 當需要進行狀態切換時，由zkfailover來負責切換

??? 切換時需要防止brain split現象的發生

?

1.2 HDFS-HA圖解：

?

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Hadoop的HA机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。