隨著企業(yè)、服務(wù)提供商和超大型數(shù)據(jù)中心從描述性分析向預(yù)測性和規(guī)范性分析演進(jìn)，結(jié)合了融合運營和分析數(shù)據(jù)管道的融合數(shù)據(jù)平臺變得日益重要。大數(shù)據(jù)閃存可讓數(shù)據(jù)處理平臺快速訪問歷史數(shù)據(jù)和實時數(shù)據(jù)流，從而以較低成本創(chuàng)建有效的預(yù)測模型。

隨著大數(shù)據(jù)從描述性分析（批量）向預(yù)測性（交互）和規(guī)范性（實時）分析演進(jìn)，企業(yè)正在越來越多地使用串流數(shù)據(jù)源和歷史批量數(shù)據(jù)，以提高機(jī)器的學(xué)習(xí)能力并建立預(yù)測模型。簡而言之，描述性分析是為了了解事態(tài)，預(yù)測性分析是為了建立一個假設(shè)場景模型，而規(guī)范性分析是為了通過采取數(shù)據(jù)驅(qū)動型行動來影響結(jié)果。新型分析應(yīng)用能夠在交易發(fā)生時實時捕獲它，并能影響其結(jié)果，從而帶來直接的商業(yè)效益。這方面的用例包括：
反洗錢欺詐分析定向營銷工業(yè)互聯(lián)網(wǎng)（IoT/IoE）實時生產(chǎn)制造醫(yī)療領(lǐng)域的患者數(shù)據(jù)情報SanDisk閃迪利用新型分析應(yīng)用對半導(dǎo)體制造數(shù)據(jù)進(jìn)行實時分析。從Lambda架構(gòu)到SMACK

Lambda架構(gòu)因其融合實時分析和批量分析的能力而深受喜愛。Lambda架構(gòu)使用HDFS、Scalding和HBASE作為融合實時分析和批量數(shù)據(jù)管道的構(gòu)建模塊。但是，該架構(gòu)帶來的多管道復(fù)制代碼和數(shù)據(jù)的開銷，使得其難以大規(guī)模部署。

為了克服Lambda架構(gòu)的局限性，必需配備一個能夠有效處理批量和實時串流的大數(shù)據(jù)管道。全新的SMACK堆棧——Scala及其Spark、Mesos、Akka、Cassandra和Kafka生態(tài)系統(tǒng)便旨在實現(xiàn)這一點。SMACK串流已成為一個用于處理批量和串流數(shù)據(jù)的有效大型平臺。

Meosphere的Infinity堆棧或MapR新近發(fā)布的Converged Data Platform等解決方案都是Lambda架構(gòu)的實例。

配備SMACK（Spark、Mesos、Akka、Cassandra和Kafka）堆棧的串流架構(gòu)

以下是SMARK堆棧的簡要介紹：
Spark：一個快速、通用的分布式大型數(shù)據(jù)處理引擎。Mesos：一個集群資源管理系統(tǒng)，在各個分布式應(yīng)用之間提供高效的資源隔離和共享功能。Akka：一個工具包和運行環(huán)境，用于在JVM上創(chuàng)建高并發(fā)、分布式、彈性消息驅(qū)動型應(yīng)用。Cassandra：一個分布式、高度可用的數(shù)據(jù)庫，旨在處理多個數(shù)據(jù)中心的大量數(shù)據(jù)。Kafka：一個高吞吐量、低時延的分布式消息系統(tǒng)，旨在處理實時數(shù)據(jù)流。面向融合數(shù)據(jù)平臺的大數(shù)據(jù)閃存

為了創(chuàng)建有效的預(yù)測模型，融合堆棧系統(tǒng)需要快速訪問歷史數(shù)據(jù)和實時數(shù)據(jù)流。基于閃存的數(shù)據(jù)網(wǎng)格可為這些新的數(shù)據(jù)驅(qū)動型架構(gòu)帶來巨大效益。

2015年3月，SanDisk閃迪設(shè)立了 “大數(shù)據(jù)閃存”市場類別，推出了InfiniFlash系統(tǒng)，它擁有極高的容量以及卓越的性能和經(jīng)濟(jì)性（源于低成本晶圓和全新的閃存尺寸規(guī)格）。

事實上，InfiniFlash系統(tǒng)之所以能成為融合數(shù)據(jù)平臺架構(gòu)的構(gòu)建模塊，其架構(gòu)和性能起著至關(guān)重要的作用：
數(shù)據(jù)捕獲每秒可捕獲數(shù)百萬個事件，且無事件丟失更快的批量攝取便于擴(kuò)展使用Avro或Protobuf格式存儲數(shù)據(jù)，無需ETL（提取、轉(zhuǎn)換、加載）過程通過支持Kafka等分布式消息系統(tǒng)消除負(fù)載數(shù)據(jù)處理能夠有效處理實時事件和批量數(shù)據(jù)輸入存儲處理，以秒和亞秒級實現(xiàn)時延交付數(shù)據(jù)存儲面向數(shù)據(jù)密集型工作負(fù)載的軟件定義數(shù)據(jù)構(gòu)造，提供敏捷性和可擴(kuò)展性可長時間存儲數(shù)個TB的數(shù)據(jù)支持高吞吐量的批量數(shù)據(jù)存儲，且滿足低時延實時查詢可處理分離的數(shù)據(jù)源和“突發(fā)性”工作負(fù)載采用無模式方式存儲數(shù)據(jù)支持HDFS和NoSQL數(shù)據(jù)庫（如Cassandra、CouchDB、MemSQL、HBase等）可借助Rackscale架構(gòu)擴(kuò)展至PB級極低的年故障率（AFR）可使用解聚/共享存儲提供企業(yè)就緒度、沿襲（審計日志）、合規(guī)（依法保留等）和版本控制（維護(hù)不同的時間點副本）專為來自HDFS/S3的故障、備份和補(bǔ)丁而設(shè)計最為經(jīng)濟(jì)高效，低于/GB[1]數(shù)據(jù)查詢支持亞秒級時延的實時查詢支持批量/聚集查詢支持針對HDFS和NoSQL的查詢

使用InfiniFlash“大數(shù)據(jù)閃存”打造數(shù)據(jù)密集型融合數(shù)據(jù)平臺的三大原因

無論您是企業(yè)還是服務(wù)提供商，以下是您應(yīng)該考慮使用InfiniFlash打造融合數(shù)據(jù)平臺的三大原因：

滿足捕獲、處理、存儲和查詢數(shù)據(jù)管道的所有要求

傳統(tǒng)的直接附加型存儲解決方案和純HDD解決方案無法提供融合數(shù)據(jù)平臺所需的大規(guī)模性能和吞吐量。此外，它們也不具備可擴(kuò)展性所帶來的資本支出和運營支出效益，也不具備這些平臺所要求的敏捷性和企業(yè)就緒程度。

與傳統(tǒng)硬盤相比，InfiniFlash系統(tǒng)的性能是它們的50倍，密度是它們的5倍，可靠性是它們的4倍，而且便于向上和向外擴(kuò)展，以滿足大數(shù)據(jù)應(yīng)用的苛刻要求[2]。基于閃存的軟件定義數(shù)據(jù)構(gòu)造可讓用戶根據(jù)需要靈活選用多種文件系統(tǒng)，其中包括HDFS、Spectrum Scale、Lustre和Ceph。

全球支持

InfiniFlash在全球各地得到了SanDisk閃迪及其合作伙伴的支持。InfiniFlash是TSA Net Support Community的一部分，可確保滿足嚴(yán)格的SLA協(xié)議要求。與此同時，我們的FlashStart 功能可確保其安裝順利，并提供卓越的客戶體驗。

同類最佳的生態(tài)系統(tǒng)

SanDisk閃迪與眾多業(yè)內(nèi)領(lǐng)先的軟件開發(fā)者和硬件合作伙伴開展合作，通過同類最佳的生態(tài)系統(tǒng)獲得更多的選擇和靈活性。我們的合作伙伴包括： RedhatCeph、Nexenta、ICloudbyte以及思科、聯(lián)想、戴爾、Supermicro、Quanta等廠商。同時，我們也正與開源社區(qū)開展密切合作，并通過我們的各項事業(yè)成為貢獻(xiàn)者和思想領(lǐng)袖。（欲了解SanDisk閃迪對于開源SCST企業(yè)級特性所做出的貢獻(xiàn)，請點擊此處。）

結(jié)語

搭建融合數(shù)據(jù)平臺是為了滿足融合運營和分析管道的要求，以及隨后的捕獲、處理、存儲和查詢階段的存儲要求，一個基于大數(shù)據(jù)閃存的數(shù)據(jù)構(gòu)造是融合平臺理想的存儲層構(gòu)建模塊，可讓數(shù)據(jù)管道的每個階段都受益。

本文轉(zhuǎn)自d1net（轉(zhuǎn)載）

總結(jié)

以上是生活随笔為你收集整理的使用大数据闪存打造融合数据平台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。