文章講的是全民大數(shù)據(jù)時代已來 阿里數(shù)加平臺詳解，業(yè)界流行一種說法，云計算與大數(shù)據(jù)就是一枚硬幣的兩面，相生相惜，不可分割。在當(dāng)下互聯(lián)網(wǎng)時代，數(shù)據(jù)的價值越來越受到社會的認可，并在今天，已然成為一種普惠資源，像水、電、能源一樣支持社會發(fā)展。今天，2016年的阿里云棲大會首站在上海拉開帷幕，作為本場大會的重磅新聞，阿里云全球首發(fā)了可以提供一站式大數(shù)據(jù)處理能力的平臺——“數(shù)加”，并全新亮相了20款新產(chǎn)品，通過阿里云開放出來，讓“普惠大數(shù)據(jù)”成為可能。

　　

　　DT時代 如何讓數(shù)據(jù)從成本中心走向價值中心

　　據(jù)IDC出版的數(shù)字世界研究報告顯示，2013年人類產(chǎn)生、復(fù)制和消費的數(shù)據(jù)量達到4.4ZB。而到2020年，數(shù)據(jù)量將增長10倍，達到44ZB。大數(shù)據(jù)已經(jīng)成為當(dāng)下人類最寶貴的財富。但全球真正享受大數(shù)據(jù)紅利的公司不足千分之一，人類已挖掘的數(shù)據(jù)財富更是不到百萬分之一。

　　如何打破傳統(tǒng)3個月刪除存儲空間以節(jié)約成本的固有規(guī)則，讓數(shù)據(jù)真正通過計算產(chǎn)生價值?

　　隨著大數(shù)據(jù)的蓬勃發(fā)展，數(shù)據(jù)計算性能的提升，使得數(shù)據(jù)從成本中心走向價值中心成為可能，而阿里此次發(fā)布的“數(shù)加平臺”就恰恰是將這種能力賦予普通企業(yè)甚至個人的途徑之一。作為數(shù)加平臺的發(fā)布嘉賓，阿里云大數(shù)據(jù)事業(yè)部資深總監(jiān)徐長亮介紹，經(jīng)過7年的雙11洗禮，原來的阿里大數(shù)據(jù)產(chǎn)品ODPS今天正式更名為“數(shù)加大數(shù)據(jù)平臺”并通過阿里云向外界開放，提供普惠大數(shù)據(jù)服務(wù)。“我們已經(jīng)預(yù)先走過了很多坑，相信可以為更多企業(yè)與個人提供高效、穩(wěn)定的數(shù)據(jù)計算服務(wù)。是大數(shù)據(jù)計算變成普惠能力，將更有助于幫助大家發(fā)現(xiàn)數(shù)據(jù)背后的價值，我們在金融領(lǐng)域的試用僅是開始，未來所有的聲音都將是圍繞數(shù)據(jù)展開。”

　　

　　

　　毫無疑問，借助大數(shù)據(jù)技術(shù)，阿里巴巴取得了巨大的商業(yè)成功。通過對電子商務(wù)平臺上的客戶行為進行分析，誕生了螞蟻小貸、花唄、借唄;菜鳥網(wǎng)絡(luò)通過電子面單、物流云、菜鳥天地等數(shù)據(jù)產(chǎn)品，為快遞行業(yè)的升級提供技術(shù)方法。 在這些創(chuàng)新中，“數(shù)加”承載了阿里巴巴EB級別的數(shù)據(jù)加工計算，經(jīng)歷了上萬名工程師的實戰(zhàn)檢驗。據(jù)介紹，大麥網(wǎng)是阿里云“數(shù)加”平臺的首批嘗鮮者。通過采用“數(shù)加”的推薦引擎，大麥網(wǎng)的研發(fā)成本從900人天降低到了30人天，效率提升了30倍。

　　另外，在輸出自身大數(shù)據(jù)能力的同時，徐長亮介紹“數(shù)加”還向有數(shù)據(jù)開發(fā)能力的團隊開放。這些團隊可入駐“數(shù)加”，借助數(shù)加上的工具為各行各業(yè)提供數(shù)據(jù)服務(wù)。“這就像在淘寶開店一樣，只是他們售賣的是專業(yè)能力。”徐常亮表示，阿里云計劃用3年時間吸引1000家合作伙伴入駐，共同分享1萬億的大數(shù)據(jù)蛋糕。

　　20款全新產(chǎn)品為“數(shù)加平臺”增效賦能

　　在過去的5年里，全球大數(shù)據(jù)計算性能實現(xiàn)了超過20倍的增長，100TB數(shù)據(jù)排序時間由8274秒縮短到377秒。“很顯然，束縛大數(shù)據(jù)的技術(shù)瓶頸已經(jīng)被完全打破，數(shù)據(jù)將從企業(yè)的成本中心轉(zhuǎn)變?yōu)閮r值中心，2016年我們將迎來大數(shù)據(jù)應(yīng)用的全面落地。”徐常亮說，通過數(shù)加平臺，我們希望所有企業(yè)都能像阿里巴巴一樣更高效的使用大數(shù)據(jù)。

　　此次，“數(shù)加”平臺首批集中發(fā)布了20款產(chǎn)品，覆蓋數(shù)據(jù)采集、計算引擎、數(shù)據(jù)加工、數(shù)據(jù)分析、機器學(xué)習(xí)、數(shù)據(jù)應(yīng)用等數(shù)據(jù)生產(chǎn)全鏈條。“這些技術(shù)至少領(lǐng)先業(yè)界三年”，徐常亮說。

　　大數(shù)據(jù)計算服務(wù)(MaxCompute)、分析型數(shù)據(jù)庫(Analytic DB)、流計算(StreamCompute)共同組成了底層強大的計算引擎，速度更快，成本更低。經(jīng)測算，自建Hadoop集群的成本是數(shù)加的1.5倍，國外計算廠商AWS 的EMR成本更是數(shù)加的5倍。

　　

　　

　　

　　具體說來包括：

　　1、大數(shù)據(jù)計算服務(wù)可6小時處理100PB數(shù)據(jù)，相當(dāng)于1億部高清電影。單集群規(guī)模過萬臺，并支持多集群聯(lián)合計算。做到了速度更快，成本更低。

　　經(jīng)測算，自建Hadoop集群的成本是數(shù)加的1.5倍，國外計算廠商AWS 的EMR成本更是數(shù)加的5倍。阿里云當(dāng)天還宣布，大數(shù)據(jù)計算服務(wù)再降價50%。

　　2、分析型數(shù)據(jù)庫可實現(xiàn)對數(shù)據(jù)的實時多維分析，百億量級多維查詢只需100毫秒。

　　3、流計算擅長對實時流式數(shù)據(jù)進行分析，具有低延時、高性能的特點。每秒查詢率可以達到千萬級，日均處理萬億條消息、PB量級的數(shù)據(jù)。

　　計算引擎之上，“數(shù)加”提供了最豐富的云端數(shù)據(jù)開發(fā)套件，開發(fā)者可一站式完成數(shù)據(jù)加工。這些產(chǎn)品包含：數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調(diào)度系統(tǒng)、數(shù)據(jù)管理、運維視屏、數(shù)據(jù)質(zhì)量、任務(wù)監(jiān)控。

　　整體來看，大數(shù)據(jù)開發(fā)套件的優(yōu)勢包括：支持100人以上協(xié)同設(shè)計、開發(fā)、運維;具有良好的擴展性;提供各個產(chǎn)品功能模塊的Open API，可二次開發(fā);多個數(shù)據(jù)實例之間的數(shù)據(jù)授權(quán)機制，確保數(shù)據(jù)只能使用卻不可見;提供白屏化的運維能力，以及字段級數(shù)據(jù)質(zhì)量監(jiān)控、機器預(yù)警、資源使用率監(jiān)控等功能，讓用戶更好的掌控自己的數(shù)據(jù)及數(shù)據(jù)任務(wù)。

　　另外，計算引擎之上，“數(shù)加”提供了最豐富的云端數(shù)據(jù)開發(fā)套件，包括數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、調(diào)度系統(tǒng)、數(shù)據(jù)管理、運維視屏、數(shù)據(jù)質(zhì)量、任務(wù)監(jiān)控。

　　徐長亮介紹，在數(shù)據(jù)分析方面，通過移動數(shù)據(jù)分析(Mobile Analytics)產(chǎn)品，開發(fā)者可快速搭建日志采集、分析系統(tǒng);通過數(shù)加BI報表產(chǎn)品，3分鐘即可完成海量數(shù)據(jù)的分析報告;通過數(shù)據(jù)可視化產(chǎn)品DataV，一星期就能做出雙11同款大屏。

　　在數(shù)據(jù)分析方面，數(shù)加提供了3款產(chǎn)品供開發(fā)者使用：

　　1、 通過移動數(shù)據(jù)分析產(chǎn)品，開發(fā)者可快速搭建日志采集、分析系統(tǒng)，從而為用戶提供個性化服務(wù);

　　2、 通過數(shù)加BI報表產(chǎn)品，3分鐘即可完成海量數(shù)據(jù)的分析報告。產(chǎn)品支持多種云數(shù)據(jù)源，提供近20種可視化效果。

　　3、 通過數(shù)據(jù)可視化產(chǎn)品DataV，一星期就能做出雙11同款大屏。這款產(chǎn)品，曾支持了阿里巴巴多年的雙11、雙12作戰(zhàn)指揮。

　　

　　這一平臺承載了阿里云“普惠大數(shù)據(jù)”的理想，即讓全球任何一個企業(yè)、個人都能用上大數(shù)據(jù)。

　　同時，基于DataV，數(shù)加還發(fā)布了面向政府的行業(yè)應(yīng)用產(chǎn)品“郡縣圖治”。通過這款產(chǎn)品，縣長可以在一個屏幕下統(tǒng)覽全縣各項經(jīng)濟民生數(shù)據(jù)，為政府決策提供輔助。

　　對于時下大熱的機器學(xué)習(xí)，數(shù)加更是提供了全面支持。“數(shù)加”發(fā)布的機器學(xué)習(xí)工具，可基于海量數(shù)據(jù)實現(xiàn)對用戶行為、行業(yè)走勢、天氣、交通等的預(yù)測。圖形化編程讓用戶無需編碼、只需用鼠標(biāo)拖拽標(biāo)準(zhǔn)化組件即可完成開發(fā)。產(chǎn)品還集成了阿里巴巴核心算法庫，包括特征工程、大規(guī)模機器學(xué)習(xí)、深度學(xué)習(xí)等。

　　為了能夠幫助開發(fā)者更快捷在應(yīng)用中集成大數(shù)據(jù)功能，“數(shù)加”同時提供了規(guī)則引擎、推薦引擎、文字識別、智能語音交互等數(shù)據(jù)應(yīng)用產(chǎn)品。

　　行業(yè)的健康發(fā)展，自律很重要。徐常亮強調(diào)，數(shù)據(jù)是客戶的寶貴資產(chǎn)，任何云計算平臺都不能移作它用。阿里云將嚴(yán)格遵守去年7月份發(fā)起的《數(shù)據(jù)保護倡議書》，也希望全行業(yè)能夠自律，共同迎接大數(shù)據(jù)產(chǎn)業(yè)的爆發(fā)。

　　

作者:張苗苗 來源：IT168 原文鏈接:全民大數(shù)據(jù)時代已來 阿里數(shù)加平臺詳解 《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的全民大数据时代已来 阿里数加平台详解的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。