本文列舉了大數據相關的部分熱門項目，盤點了該生態圈目前流行的一些開源產品和工具，并用google熱度趨勢圖體現了它們的受關注程度。從不同的熱度趨勢，可以了解到每一個產品在近5年來全球受關注的走勢，是越來越受重視還是漸漸淡出。

在QCon2016 北京站上，Druid開源項目的負責人，Imply聯合創始人Fangjin Yang分享了題為 《Evolution of Open Source Data Infrastructure》的主題演講大數據開源技術演進，探討了開源大數據世界的發展和方向。作為引申，我們希望在此基礎上，利用Google Trends的趨勢分析能力對一些熱門開源工具做了一一搜索、對比和排名。

因為大數據令人驚訝的高速發展以及知識局限性，本文沒有（也不可能）列舉出這個生態圈里的所有開源類型，比如機器學習、數據挖掘等等無法一一羅列，也無意涵蓋所有大數據牽涉的各個角落，比如OpenStack、Docker等相關大熱門。這里推薦了一些比較流行的開源產品，希望能引起大家興趣和關注。在內容介紹上，因為它們大都耳熟能詳，也僅僅是拋磚引玉的對每一款產品做了簡單的描述，這些描述基本來自官網介紹以及各類技術網站的推介。

注意

• 圖示來自Google Trends的隨時間變化的熱度趨勢圖（按全球范圍/過去5年/Google網頁搜索）。

• 圖中數字代表相對于圖表中指定區域和指定時間內最高點的搜索熱度，例如，熱度最高的字詞得 100 分。

• 按照不同分類，熱度更高的工具我們會放在前面介紹。

調度與管理服務??

• Azkaban 是一款基于Java編寫的任務調度系統任務調度，來自LinkedIn公司，用于管理他們的Hadoop批處理工作流。Azkaban根據工作的依賴性進行排序，提供友好的Web用戶界面來維護和跟蹤用戶的工作流程。

• YARN 是一種新的Hadoop資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，解決了舊MapReduce框架的性能瓶頸。它的基本思想是把資源管理和作業調度/監控的功能分割到單獨的守護進程。

• Mesos 是由加州大學伯克利分校的AMPLab首先開發的一款開源群集管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架構。對數據中心而言它就像一個單一的資源池，從物理或虛擬機器中抽離了CPU，內存，存儲以及其它計算資源， 很容易建立和有效運行具備容錯性和彈性的分布式系統。

• Ambari 作為Hadoop生態系統的一部分，提供了基于Web的直觀界面，可用于配置、管理和監控Hadoop集群。目前已支持大多數Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。

• ZooKeeper 是一個分布式的應用程序協調服務，是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的工具，讓Hadoop集群里面的節點可以彼此協調。ZooKeeper現在已經成為了 Apache的頂級項目，為分布式系統提供了高效可靠且易于使用的協同服務。

• Thrift 在2007年facebook提交Apache基金會將Thrift作為一個開源項目，對于當時的facebook來說創造thrift是為了解決facebook系統中各系統間大數據量的傳輸通信以及系統之間語言環境不同需要跨平臺的特性。

• Chukwa 是監測大型分布式系統的一個開源數據采集系統，建立在HDFS/MapReduce框架之上并繼承了Hadoop的可伸縮性和可靠性，可以收集來自大型分布式系統的數據，用于監控。它還包括靈活而強大的顯示工具用于監控、分析結果。

文件系統??

• Lustre 是一個大規模的、安全可靠的、具備高可用性的集群文件系統，它是由SUN公司開發和維護的。該項目主要的目的就是開發下一代的集群文件系統，目前可以支持超過10000個節點，數以PB的數據存儲量。

• HDFS Hadoop Distributed File System，簡稱HDFS，是一個分布式文件系統。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。

• GlusterFS 是一個集群的文件系統，支持PB級的數據量。GlusterFS 通過RDMA和TCP/IP方式將分布到不同服務器上的存儲空間匯集成一個大的網絡化并行文件系統。

• Alluxio 前身是Tachyon，是以內存為中心的分布式文件系統，擁有高性能和容錯能力，能夠為集群框架（如Spark、MapReduce）提供可靠的內存級速度的文件共享服務。

• Ceph 是新一代開源分布式文件系統，主要目標是設計成基于POSIX的沒有單點故障的分布式文件系統，提高數據的容錯性并實現無縫的復制。

• PVFS 是一個高性能、開源的并行文件系統，主要用于并行計算環境中的應用。PVFS特別為超大數量的客戶端和服務器端所設計，它的模塊化設計結構可輕松的添加新的硬件和算法支持。

• QFS Quantcast File System (QFS) 是一個高性能、容錯好、分布式的文件系統，用于開發支持 MapReduce處理或者需要順序讀寫大文件的應用。

數據搜集??

• Logstash 是一個應用程序日志、事件的傳輸、處理、管理和搜索的平臺。可以用它來統一對應用程序日志進行收集管理，提供了Web接口用于查詢和統計。

• Scribe Scribe是Facebook開源的日志收集系統，它能夠從各種日志源上收集日志，存儲到一個中央存儲系統（可以是NFS，分布式文件系統等）上，以便于進行集中統計分析處理。

• Flume 是Cloudera提供的一個高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸的系統。Flume支持在日志系統中定制各類數據發送方，用于收集數據。同時，Flume支持對數據進行簡單處理，并寫入各種數據接受方（可定制）。

消息系統??

• RabbitMQ 是一個受歡迎的消息代理系統，通常用于應用程序之間或者程序的不同組件之間通過消息來進行集成。RabbitMQ提供可靠的應用消息發送、易于使用、支持所有主流操作系統、支持大量開發者平臺。

• ActiveMQ 是Apache出品，號稱“最流行的，最強大”的開源消息集成模式服務器。ActiveMQ特點是速度快，支持多種跨語言的客戶端和協議，其企業集成模式和許多先進的功能易于使用，是一個完全支持JMS1.1和J2EE 1.4規范的JMS Provider實現。

• Kafka 是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模網站中的所有動作流數據，目前已成為大數據系統在異步和分布式消息之間的最佳選擇。

數據處理??

• Spark 是一個高速、通用大數據計算處理引擎。擁有Hadoop MapReduce所具有的優點，但不同的是Job的中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。它可以與Hadoop和Apache Mesos一起使用，也可以獨立使用。

• Kinesis 可以構建用于處理或分析流數據的自定義應用程序，來滿足特定需求。Amazon Kinesis Streams 每小時可從數十萬種來源中連續捕獲和存儲數TB數據，如網站點擊流、財務交易、社交媒體源、IT日志和定位追蹤事件。

• Hadoop 是一個開源框架，適合運行在通用硬件，支持用簡單程序模型分布式處理跨集群大數據集，支持從單一服務器到上千服務器的水平scale up。Apache的Hadoop項目已幾乎與大數據劃上了等號，它不斷壯大起來，已成為一個完整的生態系統，擁有眾多開源工具面向高度擴展的分布式計算。高效、可靠、可伸縮，能夠為你的數據存儲項目提供所需的YARN、HDFS和基礎架構，并且運行主要的大數據服務和應用程序。

• Spark Streaming 實現微批處理，目標是很方便的建立可擴展、容錯的流應用，支持Java、Scala和Python，和Spark無縫集成。Spark Streaming可以讀取數據HDFS，Flume，Kafka，Twitter和ZeroMQ，也可以讀取自定義數據。

• Trident 是對Storm的更高一層的抽象，除了提供一套簡單易用的流數據處理API之外，它以batch(一組tuples)為單位進行處理，這樣一來，可以使得一些處理更簡單和高效。

• Flink 于今年躋身Apache頂級開源項目，與HDFS完全兼容。Flink提供了基于Java和Scala的API，是一個高效、分布式的通用大數據分析引擎。更主要的是，Flink支持增量迭代計算，使得系統可以快速地處理數據密集型、迭代的任務。

• Samza 出自于LinkedIn，構建在Kafka之上的分布式流計算框架，是Apache頂級開源項目。可直接利用Kafka和Hadoop YARN提供容錯、進程隔離以及安全、資源管理。

• Storm Storm是Twitter開源的一個類似于Hadoop的實時數據處理框架。編程模型簡單，顯著地降低了實時處理的難度，也是當下最人氣的流計算框架之一。與其他計算框架相比，Storm最大的優點是毫秒級低延時。

查詢引擎??

• Presto 是一個開源的分布式SQL查詢引擎，適用于交互式分析查詢，可對250PB以上的數據進行快速地交互式分析。Presto的設計和編寫是為了解決像Facebook這樣規模的商業數據倉庫的交互式分析和處理速度的問題。Facebook稱Presto的性能比諸如Hive和MapReduce要好上10倍有多。

• Drill 于2012年8月份由Apache推出，讓用戶可以使用基于SQL的查詢，查詢Hadoop、NoSQL數據庫和云存儲服務。它能夠運行在上千個節點的服務器集群上，且能在幾秒內處理PB級或者萬億條的數據記錄。它可用于數據挖掘和即席查詢，支持一系列廣泛的數據庫，包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亞馬遜S3、Azure Blob Storage、谷歌云存儲和Swift。

• Phoenix 是一個Java中間層，可以讓開發者在Apache HBase上執行SQL查詢。Phoenix完全使用Java編寫，并且提供了一個客戶端可嵌入的JDBC驅動。Phoenix查詢引擎會將SQL查詢轉換為一個或多個HBase scan，并編排執行以生成標準的JDBC結果集。

• Pig 是一種編程語言，它簡化了Hadoop常見的工作任務。Pig可加載數據、轉換數據以及存儲最終結果。Pig最大的作用就是為MapReduce框架實現了一套shell腳本 ，類似我們通常熟悉的SQL語句。

• Hive 是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。

• SparkSQL 的前身是Shark，SparkSQL拋棄原有Shark的代碼并汲取了一些優點，如內存列存儲（In-Memory Columnar Storage）、Hive兼容性等。由于擺脫了對Hive的依賴性，SparkSQL無論在數據兼容、性能優化、組件擴展方面都得到了極大的方便。

• Stinger 原來叫Tez，是下一代Hive，由Hortonworks主導開發，運行在YARN上的DAG計算框架。某些測試下，Stinger能提升10倍左右的性能，同時會讓Hive支持更多的SQL。

• Tajo 目的是在HDFS之上構建一個可靠的、支持關系型數據的分布式數據倉庫系統，它的重點是提供低延遲、可擴展的ad-hoc查詢和在線數據聚集，以及為更傳統的ETL提供工具。

• Impala Cloudera聲稱，基于SQL的Impala數據庫是“面向Apache Hadoop的領先的開源分析數據庫”。它可以作為一款獨立產品來下載，又是Cloudera的商業大數據產品的一部分。Cloudera Impala 可以直接為存儲在HDFS或HBase中的Hadoop數據提供快速、交互式的SQL查詢。

• Elasticsearch 是一個基于Lucene的搜索服務器。它提供了一個分布式、支持多用戶的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java開發的，并作為Apache許可條款下的開放源碼發布，是當前流行的企業級搜索引擎。設計用于云計算中，能夠達到實時搜索、穩定、可靠、快速、安裝使用方便。

• Solr 基于Apache Lucene，是一種高度可靠、高度擴展的企業搜索平臺。知名用戶包括eHarmony、西爾斯、StubHub、Zappos、百思買、AT&T、Instagram、Netflix、彭博社和Travelocity。

• Shark 即Hive on Spark，本質上是通過Hive的HQL解析，把HQL翻譯成Spark上的RDD操作，然后通過Hive的metadata獲取數據庫里的表信息，實際HDFS上的數據和文件，會由Shark獲取并放到Spark上運算。Shark的特點就是快，完全兼容Hive，且可以在shell模式下使用rdd2sql()這樣的API，把HQL得到的結果集，繼續在scala環境下運算，支持自己編寫簡單的機器學習或簡單分析處理函數，對HQL結果進一步分析計算。

• Lucene 基于Java的Lucene可以非常迅速地執行全文搜索。據官方網站聲稱，它在現代硬件上每小時能夠檢索超過150GB的數據，它擁有強大而高效的搜索算法。

內存技術??

• Terracotta 聲稱其BigMemory技術是“世界上首屈一指的內存中數據管理平臺”，支持簡單、可擴展、實時消息，聲稱在190個國家擁有210萬開發人員，全球1000家企業部署了其軟件。

• Ignite 是一種高性能、整合式、分布式的內存中平臺，可用于對大規模數據集執行實時計算和處理，速度比傳統的基于磁盤的技術或閃存技術高出好幾個數量級。該平臺包括數據網格、計算網格、服務網格、流媒體、Hadoop加速、高級集群、文件系統、消息傳遞、事件和數據結構等功能。

• GemFire Pivotal宣布它將開放其大數據套件關鍵組件的源代碼，其中包括GemFire內存中NoSQL數據庫。它已向Apache軟件基金會遞交了一項提案，以便在“Geode”的名下管理GemFire數據庫的核心引擎。

• GridGain 由Apache Ignite驅動的GridGrain提供內存中數據結構，用于迅速處理大數據，還提供基于同一技術的Hadoop加速器。

數據存儲??

• MongoDB 是一個基于分布式文件存儲的數據庫。由C++語言編寫。旨在為web應用提供可擴展的高性能數據存儲解決方案。介于關系數據庫和非關系數據庫之間的開源產品，是非關系數據庫當中功能最豐富、最像關系數據庫的產品。

• Redis 是一個高性能的key-value存儲系統，和Memcached類似，它支持存儲的value類型相對更多，包括string（字符串）、list（鏈表）、set（集合）和zset（有序集合）。Redis的出現，很大程度補償了memcached這類key/value存儲的不足，在部分場合可以對關系數據庫起到很好的補充作用。

• HDFS Hadoop分布式文件系統(HDFS)被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統。它和現有的分布式文件系統有很多共同點。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。

• HBase 是Hadoop的數據庫，一個分布式、可擴展、大數據的存儲。是為有數十億行和數百萬列的超大表設計的，是一種分布式數據庫，可以對大數據進行隨機性的實時讀取/寫入訪問。提供類似谷歌Bigtable的存儲能力，基于Hadoop和Hadoop分布式文件系統（HDFS）而建。

• Neo4j 是一個高性能的，NOSQL圖形數據庫，它將結構化數據存儲在網絡上而不是表中。自稱“世界上第一個和最好的圖形數據庫”，“速度最快、擴展性最佳的原生圖形數據庫”，“最大和最有活力的社區”。用戶包括Telenor、Wazoku、ebay、必能寶（Pitney Bowes）、MigRaven、思樂（Schleich）和Glowbl等。

• Vertica 基于列存儲高性能和高可用性設計的數據庫方案，由于對大規模并行處理（MPP）技術的支持，提供細粒度、可伸縮性和可用性的優勢。每個節點完全獨立運作，完全無共享架構，降低了共享資源的系統競爭。

• Cassandra 是一個混合型的非關系的數據庫，類似于Google的BigTable，其主要功能比Dynamo （分布式的Key-Value存儲系統）更豐富。這種NoSQL數據庫最初由Facebook開發，現已被1500多家企業組織使用，包括蘋果、歐洲原子核研究組織（CERN）、康卡斯特、電子港灣、GitHub、GoDaddy、Hulu、Instagram、Intuit、Netfilx、Reddit及其他機構。

• CouchDB 號稱是“一款完全擁抱互聯網的數據庫”，它將數據存儲在JSON文檔中，這種文檔可以通過Web瀏覽器來查詢，并且用JavaScript來處理。它易于使用，在分布式上網絡上具有高可用性和高擴展性。

• Dynamo 是一個經典的分布式Key-Value 存儲系統，具備去中心化、高可用性、高擴展性的特點。Dynamo在Amazon中得到了成功的應用，能夠跨數據中心部署于上萬個結點上提供服務，它的設計思想也被后續的許多分布式系統借鑒。

• Amazon SimpleDB 是一個用Erlang編寫的高可用的NoSQL數據存儲，能夠減輕數據庫管理工作，開發人員只需通過Web服務請求執行數據項的存儲和查詢，Amazon SimpleDB 將負責余下的工作。作為一項Web 服務，像Amazon的EC2和S3一樣，是Amazon網絡服務的一部分。

• Hypertable 是一個開源、高性能、可伸縮的數據庫，它采用與Google的Bigtable相似的模型。它與Hadoop兼容，性能超高，其用戶包括電子港灣、百度、高朋、Yelp及另外許多互聯網公司。

分析和報告工具??

• Kettle 這是一個ETL工具集，它允許你管理來自不同數據庫的數據，通過提供一個圖形化的用戶環境來描述你想做什么，而不是你想怎么做。作為Pentaho的一個重要組成部分，現在在國內項目應用上逐漸增多。

• Kylin 是一個開源的分布式分析引擎，提供了基于Hadoop的超大型數據集（TB/PB級別）的SQL接口以及多維度的OLAP分布式聯機分析。最初由eBay開發并貢獻至開源社區。它能在亞秒內查詢巨大的Hive表。

• Kibana 是一個使用Apache 開源協議的Elasticsearch 分析和搜索儀表板，可作為Logstash和ElasticSearch日志分析的 Web 接口，對日志進行高效的搜索、可視化、分析等各種操作。

• Druid 是一個用于大數據實時查詢和分析的高容錯、高性能、分布式的開源系統，旨在快速處理大規模的數據，并能夠實現快速查詢和分析。

• KNIME 的全稱是“康斯坦茨信息挖掘工具”（Konstanz Information Miner），是一個開源分析和報表平臺。宣稱“是任何數據科學家完美的工具箱，超過1000個模塊，可運行數百個實例，全面的集成工具，以及先進的算法”。

• Zeppelin 是一個提供交互數據分析且基于Web的筆記本。方便你做出可數據驅動的、可交互且可協作的精美文檔，并且支持多種語言，包括 Scala(使用 Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

• Talend Open Studio 是第一家針對的數據集成工具市場的ETL(數據的提取Extract、傳輸Transform、載入Load)開源軟件供應商。Talend的下載量已超過200萬人次，其開源軟件提供了數據整合功能。其用戶包括美國國際集團（AIG）、康卡斯特、電子港灣、通用電氣、三星、Ticketmaster和韋里遜等企業組織。

• Splunk 是機器數據的引擎。使用 Splunk 可收集、索引和利用所有應用程序、服務器和設備（物理、虛擬和云中）生成的快速移動型計算機數據，從一個位置搜索并分析所有實時和歷史數據。

• Pentaho 是世界上最流行的開源商務智能軟件，以工作流為核心的、強調面向解決方案而非工具組件的、基于java平臺的商業智能(Business Intelligence)套件。包括一個web server平臺和幾個工具軟件：報表、分析、圖表、數據集成、數據挖掘等，可以說包括了商務智能的方方面面。

• Jaspersoft 提供了靈活、可嵌入的商業智能工具，用戶包括眾多企業組織：高朋、冠群科技、美國農業部、愛立信、時代華納有線電視、奧林匹克鋼鐵、內斯拉斯加大學和通用動力公司。

• SpagoBI Spago被市場分析師們稱為“開源領袖”，它提供商業智能、中間件和質量保證軟件，另外還提供相應的Java EE應用程序開發框架。

開發平臺??

• Lumify 歸Altamira科技公司（以國家安全技術而聞名）所有，這是一種開源大數據整合、分析和可視化平臺。

• Lingual 是Cascading的高級擴展，為Hadoop提供了一個ANSI SQL接口極大地簡化了應用程序的開發和集成。Lingual實現了連接現有的商業智能（BI）工具，優化了計算成本，加快了基于Hadoop的應用開發速度。

• Beam 基于Java提供了統一的數據進程管道開發，并且能夠很好地支持Spark和Flink。提供很多在線框架，開發者無需學太多框架。

• Cascading 是一個基于Hadoop建立的API，用來創建復雜和容錯數據處理工作流。它抽象了集群拓撲結構和配置，使得不用考慮背后的MapReduce，就能快速開發復雜的分布式應用。

• HPCC 作為Hadoop之外的一種選擇，是一個利用集群服務器進行大數據分析的系統，HPCC在LexisNexis內部使用多年，是一個成熟可靠的系統，包含一系列的工具、一個稱為ECL的高級編程語言、以及相關的數據倉庫，擴展性超強。

機器學習??

• Hivemall 結合了面向Hive的多種機器學習算法，它包括了很多擴展性很好的算法，可用于數據分類、遞歸、推薦、k最近鄰、異常檢測和特征哈希等方面的分析應用。

• RapidMiner 具有豐富數據挖掘分析和算法功能，常用于解決各種的商業關鍵問題，解決方案覆蓋了各個領域，包括汽車、銀行、保險、生命科學、制造業、石油和天然氣、零售業及快消行業、通訊業、以及公用事業等各個行業。

• Mahout 目的是“為快速創建可擴展、高性能的機器學習應用程序而打造一個環境”，主要特點是為可伸縮的算法提供可擴展環境、面向Scala/Spark/H2O/Flink的新穎算法、Samsara（類似R的矢量數學環境），它還包括了用于在MapReduce上進行數據挖掘的眾多算法。

總結

以上是生活随笔為你收集整理的选个关注热度上升的大数据工具学习下吧的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。