?

?

開源大數據版本	公司/開源組織	是否付費	備注
Apache Hadoop	Apache	否	大數據組件的最初發型版
CDH	Cloudera’s Distribution Including Apache Hadoop	是	和HDP合并
FusionInsight	華為	是	無
HDP	Hortonworks?Data?Platform	否	和CDH合并
MapR?	Cloudera?MapR	是	被Hewlett Packard EnterPrise收購
hadoop容錯系統	Zettaset	是	?
Intel IT’s Secure Hadoop Platform	Intel	?是	英特爾放棄發行 Hadoop 版本,轉而支持 Cloudera

上述紅色的表示商用，紫色的表示開源

?

?

一些大數據組件在一定程度上是可以互相取代的，這里進行一些整理。

常見大數據組件	競品/等同地位	用途
Flink	KSQL/Kafka streaming	為什么kafka streams和 ksql沒什么人用？
HDFS	FastDFS(已經淘汰)	分布式文件系統
MapReduce	Spark	集群計算
Hive	Cloudera Impala/Apache Kylin	靜態分析(OLAP)
Flink	Streaming/Storm	實時計算
Yarn(管理spark任務)	zookeeper(管理集群節點數據一致性)	集群管理器，但是各自管理功能不同
Apache?Zeppelin(集群數據處理，相當于spark-shell的GUI版本)	Jupyter Notebook(非集群數據處理)	代碼逐句調試用+在線可視化
Apache Kylin(Hbase OLAP SQL接口)[1] 適合靜態分析出報表	Apache Phoenix(Hbase OLTP SQL接口)[1] 適合接網站業務	都是hbase的SQL接口，但是側重點不同[1]
ElasticSearch	Solr/Phoenix	為了滿足OLTP的復雜SQL查詢
Hbase+ElasticSearch/Hbase+Phoneix（強一致性）	Cassandra(最終一致性)	支持對分布式數據庫靈活的SQL查詢
Ambari	Cloudera Manager	?
[2]: Apache轉發靜態頁面 Tomcat轉發動態頁面	Nginx	代理服務器

?

?

注意:

上述軟件中,Zeppelin對高版本的spark/hadoop支持較差。

Phoenix對高版本的hbase支持較差。

別浪費時間搗鼓。

?

?

注:上面加粗字體表示在正常中更為常用或在開發上更加快速

Reference:

[1]都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？

[2]apache代理服務器設置

總結

以上是生活随笔為你收集整理的大数据发行版本+组件中的竞品/等同地位关系(持续更新中)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。