MapReduce原理

??MapRedcue采用‘分而治之’的思想，對大規(guī)模數(shù)據(jù)集的操作，分發(fā)給一個主節(jié)點下的各個分節(jié)點共同完成，然后通過整合各個節(jié)點的中間結(jié)果，得到最終結(jié)果。Mapreduce就是任務(wù)的分解，與結(jié)果的匯總

MapReduce任務(wù)機器有兩個一個是jobTracker，另一個是TaskTracher，JobTracker用于調(diào)度的工作，TaskTracher用于執(zhí)行工作，一個hadoop集群只有一個JobTracker。

　在分布式計算中，MapReduce框架負責處理了并行編程中分布式存儲、工作調(diào)度、負載均衡、容錯均衡、容錯處理以及網(wǎng)絡(luò)通信等復(fù)雜問題，把處理過程高度抽象為兩個函數(shù)：map和reduce，map負責把任務(wù)分解成多個任務(wù)，reduce負責把分解后多任務(wù)處理的結(jié)果匯總起來。

輸入--拆分--映射--歸并---計算--結(jié)果

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/tsxylhs/p/7262011.html

總結(jié)

以上是生活随笔為你收集整理的hadoop Mapreduce组件介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。