引言

主要基于對(duì)現(xiàn)階段一些常用的大數(shù)據(jù)開源框架技術(shù)的整理，只是一些簡(jiǎn)單的介紹，并不是詳細(xì)技術(shù)梳理。可能會(huì)有疏漏，發(fā)現(xiàn)再整理。參考的太多，就不一一列出來了。這只是作為一個(gè)梳理，對(duì)以后選型或者擴(kuò)展的做個(gè)參考。

目錄

系統(tǒng)平臺(tái) （Hadoop、CDH、HDP） 監(jiān)控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle） 文件系統(tǒng) （HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio） 資源調(diào)度 （YARN、Mesos、） 協(xié)調(diào)框架 （ZooKeeper 、Etcd、Consul） 數(shù)據(jù)存儲(chǔ) （HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、CouchDB、Kudu、CarbonData） 數(shù)據(jù)處理 （MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron） 查詢分析（Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、 Phoenix） 數(shù)據(jù)收集 （Flume、Filebeat、Logstash、Chukwa ） 數(shù)據(jù)交換 （Sqoop 、Kettle、DataX 、NiFi） 消息系統(tǒng) （Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ） 任務(wù)調(diào)度 （Azkaban、Oozie、Airflow） 數(shù)據(jù)治理 （Ranger 、Sentry、Atlas） 可視化 （Kibana 、D3.js、ECharts） 數(shù)據(jù)挖掘 （Mahout 、MADlib 、Spark ML、TensorFlow、Keras） 云平臺(tái) （Amazon S3、GCP、Microsoft Azure） 與50位技術(shù)專家面對(duì)面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的大数据开源框架整理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。