Hadoop 1.0指的是版本為Apache Hadoop0.20.x、1.x或者CDH3系列的Hadoop，組件主要由HDFS和MapReduce兩個(gè)系統(tǒng)組成，HDFS是一個(gè)分布式文件存儲(chǔ)系統(tǒng)，MapReduce是一個(gè)離線處理框架，分為三部分，運(yùn)行時(shí)環(huán)境為JobTracker和TaskTracker，編程模型為Map映射和Reduce規(guī)約，數(shù)據(jù)處理引擎為MapTask和ReduceTask，Hadoop1.0資源管理由兩部分組成：資源表示模型和資源分配模型，其中，資源表示模型用于描述資源的組織方式，Hadoop 1.0采用“槽位”（slot）組織各節(jié)點(diǎn)上的資源，而資源分配模型則決定如何將資源分配給各個(gè)作業(yè)/任務(wù)，在Hadoop中，這一部分由一個(gè)插拔式的調(diào)度器完成。

Hadoop 2.0指的是版本為Apache Hadoop 0.23.x、2.x或者CDH4系列的Hadoop，組件主要由HDFS、MapReduce和YARN三個(gè)系統(tǒng)組成，其中，YARN是一個(gè)2.0新增的一個(gè)通用的資源管理系統(tǒng)(也可以作為spark，storm等的資源調(diào)度器)，負(fù)責(zé)集群資源管理和調(diào)度，而MapReduce得運(yùn)行時(shí)環(huán)境則是運(yùn)行在YARN上。

Hadoop1.0和2.0的主要區(qū)別：
1.新增yarn，1.0時(shí)mr的運(yùn)行環(huán)境為JobTracker和TaskTracker，2.0則取消了JobTracker和TaskTracker，使用yarn作為mr的資源調(diào)度調(diào)度器
2.解決了hadoop1.0中NN的單點(diǎn)故障，可以使用NN的Ha
3.Hadoop 2.x默認(rèn)的block大小是128MB，Hadoop 1.x默認(rèn)的block大小是64MB

總結(jié)

以上是生活随笔為你收集整理的Hadoop1.0和2.0的主要区别的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。