2019獨角獸企業重金招聘Python工程師標準>>>

簡介

通過本教程您可以學習到

hadoop是什么？

hadoop能解決什么問題？

hadoop的生態環境如何？

1、hadoop是什么

1）Hadoop是一個由Apache基金會所開發的分布式系統基礎架構

2）主要解決，海量數據的存儲和海量數據的分析計算問題。

3）廣義上來說，HADOOP通常是指一個更廣泛的概念——HADOOP生態圈

2、Hadoop發展歷史

1）Lucene--Doug Cutting開創的開源軟件，用java書寫代碼，實現與Google類似的全文搜索功能，它提供了全文檢索引擎的架構，包括完整的查詢引擎和索引引擎

2）2001年年底成為apache基金會的一個子項目

3）對于大數量的場景，Lucene面對與Google同樣的困難

4）學習和模仿Google解決這些問題的辦法 ：微型版Nutch

5）可以說Google是hadoop的思想之源(Google在大數據方面的三篇論文) GFS --->HDFS Map-Reduce --->MR BigTable --->Hbase

6）2003-2004年，Google公開了部分GFS和Mapreduce思想的細節，以此為基礎Doug Cutting等人用了2年業余時間實現了DFS和Mapreduce機制，使Nutch性能飆升

7）2005 年Hadoop 作為 Lucene的子項目 Nutch的一部分正式引入Apache基金會。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中

8）名字來源于Doug Cutting兒子的玩具大象  9）Hadoop就此誕生并迅速發展，標志這云計算時代來臨

3、Hadoop三大發行版本

1）Apache版本: 最原始（最基礎）的版本，對于入門學習最好。

2）Cloudera在大型互聯網企業中用的較多。

3）Hortonworks文檔較好。

1.4 Hadoop的優勢

1）高可靠性：因為Hadoop假設計算元素和存儲會出現故障，因為它維護多個工作數據副本，在出現故障時可以對失敗的節點重新分布處理。

2）高擴展性：在集群間分配任務數據，可方便的擴展數以千計的節點。

3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任務處理速度。

4）高容錯性：自動保存多份副本數據，并且能夠自動將失敗的任務重新分配。

2、Hadoop組成

1）Hadoop HDFS：一個高可靠、高吞吐量的分布式文件系統。

2）Hadoop MapReduce：一個分布式的離線并行計算框架。

3）Hadoop YARN：作業調度與集群資源管理的框架。

4）Hadoop Common：支持其他模塊的工具模塊。

2.1 HDFS架構概述

1）NameNode（nn）：存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成時間、副本數、文件權限），以及每個文件的塊列表和塊所在的DataNode等。

2）DataNode(dn)：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

3）Secondary NameNode(2nn)：用來監控HDFS狀態的輔助后臺程序，每隔一段時間獲取HDFS元數據的快照。

2.2 YARN架構概述

1）ResourceManager(rm)：處理客戶端請求、啟動/監控ApplicationMaster、監控NodeManager、資源分配與調度；

2）NodeManager(nm)：單個節點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令；

3）ApplicationMaster：數據切分、為應用程序申請資源，并分配給內部任務、任務監控與容錯。

4）Container：對任務運行環境的抽象，封裝了CPU、內存等多維資源以及環境變量、啟動命令等任務運行相關的信息。

2.3 MapReduce架構概述

MapReduce將計算過程分為兩個階段：Map和Reduce

• Map階段并行處理輸入數據
• Reduce階段對Map結果進行匯總

3. 兩個體系圖

3.1 大數據生態體系圖

3.2 大數據推薦系統框架圖

參考

本系列的文章參考資料來源有3個地方：

尚硅谷官方大數據教學視頻。

書籍《hadoop權威指南 第四版》

書籍《Spark快速大數據分析》

書籍《數據算法——H/Spark大數據處理技巧》

官方文檔。

如果有些章節忘記填寫請原諒。第3和第4相關的內容可能在本系列牽涉不多，期待后期自己不懶，多多分享。

資源獲取

相關軟件包下載地址: 鏈接: https://pan.baidu.com/s/1cQG9I2OhIwglXG3FufCq3w 提取碼: d8gx

本系列所有代碼下載: Github: https://github.com/joyblack/hadoop-learn

如果對您有幫助，別忘了點個start喲~~~

轉載于:https://my.oschina.net/u/3091870/blog/2996266

總結

以上是生活随笔為你收集整理的【hadoop】1.简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。