Hadoop 01_基础知识
1.1 Hadoop是什么
1）Hadoop是一個(gè)由Apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)
集群：若干機(jī)器共同完成任務(wù)
分布式：應(yīng)用的拆分，獨(dú)立部署和運(yùn)行
集群不一定是分布式，分布式一定是集群
2）主要解決，海量數(shù)據(jù)的存儲和海量數(shù)據(jù)的分析計(jì)算問題。
3）廣義上來說，HADOOP通常是指一個(gè)更廣泛的概念——HADOOP生態(tài)圈
1.2?Hadoop的優(yōu)勢（分布式基礎(chǔ)架構(gòu)）
技術(shù)選型
1）高可靠性：因?yàn)镠adoop假設(shè)計(jì)算元素和存儲會出現(xiàn)故障，因?yàn)樗S護(hù)多個(gè)工作數(shù)據(jù)副本，在出現(xiàn)故障時(shí)可以對失敗的節(jié)點(diǎn)重新分布處理。
2）高擴(kuò)展性：在集群間分配任務(wù)數(shù)據(jù)，可方便的擴(kuò)展數(shù)以千計(jì)的節(jié)點(diǎn)。
3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任務(wù)處理速度。
4）高容錯(cuò)性：自動保存多份副本數(shù)據(jù)，并且能夠自動將失敗的任務(wù)重新分配。
1.3?Hadoop組成
1）Hadoop HDFS：（hadoop?distribute file system ）一個(gè)高可靠、高吞吐量的分布式文件系統(tǒng)。
2）Hadoop?MapReduce：一個(gè)分布式的離線并行計(jì)算框架。
3）Hadoop?YARN：作業(yè)調(diào)度與集群資源管理的框架。
4）Hadoop Common：支持其他模塊的工具模塊（Configuration、RPC、序列化機(jī)制、日志操作）。
?
1.3.1 HDFS架構(gòu)概述
HDFS架構(gòu)概述
1) NameNode (m) :存儲文件的元數(shù)據(jù)，如文件名，文件目錄結(jié)構(gòu)，文件屬性(生成時(shí)間、副本數(shù)、
文件權(quán)限)，以及每個(gè)文件的塊列表和塊所在的DataNode等。
2) DataNode(dn): 在本地文件系統(tǒng)存儲文件塊數(shù)據(jù)，以及塊數(shù)據(jù)的校驗(yàn)和。
3) Secondary NameNode(2nn);用來監(jiān)控HDFS狀態(tài)的輔助后臺程序，每隔一段時(shí)間獲取HDFS元數(shù)據(jù)的快照。
?
Secondary Namenode是輔助NameNode更好的完成工作的
1.3.2 YARN架構(gòu)概述
ResourceManager和NodeManager既是節(jié)點(diǎn)名稱也是進(jìn)程名稱，典型的組從結(jié)構(gòu)M/S,?ResourceManager是老大，NodeManager是小弟
1） ResourceManager(rm)：處理客戶端請求、啟動/監(jiān)控ApplicationMaster、監(jiān)控NodeManager、資源分配與調(diào)度；
2）NodeManager(nm)：單個(gè)節(jié)點(diǎn)上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令；
3）ApplicationMaster：數(shù)據(jù)切分、為應(yīng)用程序申請資源，并分配給內(nèi)部任務(wù)、任務(wù)監(jiān)控與容錯(cuò)。
4）Container：對任務(wù)運(yùn)行環(huán)境的抽象，封裝了CPU、內(nèi)存等多維資源以及環(huán)境變量、啟動命令等任務(wù)運(yùn)行相關(guān)的信息。
?
1.3.3 MapReduce架構(gòu)概述
MapReduce將計(jì)算過程分為兩個(gè)階段：Map（映射）和Reduce（歸約）
Map階段就是“分”的階段
Reduce階段就是“合”的階段
1）Map階段并行處理輸入數(shù)據(jù)
2）Reduce階段對Map結(jié)果進(jìn)行匯總
?
總結(jié)
以上是生活随笔為你收集整理的Hadoop 01_基础知识的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： HiveSQL
- 下一篇： Hadoop 02_初学必知