阿里云大數(shù)據(jù)計算服務(wù)MaxCompute

大數(shù)據(jù)計算服務(wù)（MaxCompute，原名ODPS）是一種快速、完全托管的TB/PB級數(shù)據(jù)倉庫解決方案。
當今社會數(shù)據(jù)收集手段不斷豐富，行業(yè)數(shù)據(jù)大量積累，數(shù)據(jù)規(guī)模已增長到了傳統(tǒng)軟件行業(yè)無法承載的海量數(shù)據(jù)（百GB、TB乃至PB）級別。MaxCompute服務(wù)于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計算，提供海量數(shù)據(jù)倉庫的解決方案及分析建模服務(wù)。
由于單臺服務(wù)器的處理能力有限，海量數(shù)據(jù)的分析需要分布式計算模型。分布式的計算模型對數(shù)據(jù)分析人員要求較高且不易維護：數(shù)據(jù)分析人員不僅需要了解業(yè)務(wù)需求，同時還需要熟悉底層分布式計算模型。MaxCompute為我們提供完善的數(shù)據(jù)導入方案以及多種經(jīng)典的分布式計算模型，幫助我們快速解決海量數(shù)據(jù)的計算問題，有效降低企業(yè)成本并保障數(shù)據(jù)安全。以后可以不必關(guān)心分布式計算和維護細節(jié)，便可輕松完成大數(shù)據(jù)分析。

產(chǎn)品優(yōu)勢
?大規(guī)模計算存儲
MaxCompute適用于100GB以上規(guī)模的存儲及計算需求，最大可達EB級別。

?多種計算模型
MaxCompute支持SQL、MapReduce、Graph等計算類型及MPI迭代類算法。

?強數(shù)據(jù)安全
MaxCompute已穩(wěn)定支撐阿里全部離線分析業(yè)務(wù)7年以上，提供多層沙箱防護及監(jiān)控。

?低成本
與企業(yè)自建專有云相比，MaxCompute的計算存儲更高效，可以降低20%-30%的采購成本

功能概述
?數(shù)據(jù)通道
一、批量、歷史數(shù)據(jù)通道
TUNNEL是MaxCompute為我們提供的數(shù)據(jù)傳輸服務(wù)，提供高并發(fā)的離線數(shù)據(jù)上傳下載服務(wù)。支持每天TB/PB級別的數(shù)據(jù)導入導出，特別適合于全量數(shù)據(jù)或歷史數(shù)據(jù)的批量導入。Tunnel 為我們提供Java編程接口，并且在MaxCompute的客戶端工具中，有對應(yīng)的命令實現(xiàn)本地文件與服務(wù)數(shù)據(jù)的互通。
二、實時、增量數(shù)據(jù)通道
針對實時數(shù)據(jù)上傳的場景，MaxCompute提供了延遲低、使用方便的DataHub服務(wù)，特別適用于增量數(shù)據(jù)的導入。DataHub還支持多種數(shù)據(jù)傳輸插件，例如Logstash、Flume、Fluentd、Sqoop等，同時支持日志服務(wù)Log Service中的投遞日志到MaxCompute，進而使用DataWorks進行日志分析和挖掘。

?計算及分析任務(wù)
MaxCompute支持多種計算模型，詳情如下：
一、SQL：MaxCompute以表的形式存儲數(shù)據(jù)，支持多種數(shù)據(jù)類型，并對外提供SQL查詢功能。我們可以將MaxCompute作為傳統(tǒng)的數(shù)據(jù)庫軟件操作，但其卻能處理TB、PB級別的海量數(shù)據(jù)。

需要注意的是：
1.MaxCompute SQL不支持事務(wù)、索引及Update/Delete等操作。
2.MaxCompute的SQL語法與Oracle、MySQL有一定差別，我們無法將其他數(shù)據(jù)庫中的SQL語句無縫遷移到MaxCompute上來。
3.在使用方式上，MaxCompute SQL最快可以在分鐘、乃至秒級別完成查詢，無法在毫秒級別返回結(jié)果。
4.MaxCompute SQL的優(yōu)點是學習成本低，我們不需要了解復(fù)雜的分布式計算概念。如果您具備數(shù)據(jù)庫操作經(jīng)驗，便可快速熟悉MaxCompute SQL的使用。

二、UDF：即用戶自定義函數(shù)。
MaxCompute提供了很多內(nèi)建函數(shù)來滿足大家的計算需求，同時我們還可以通過創(chuàng)建自定義函數(shù)來滿足不同的計算需求。
三、MapReduce：MaxCompute MapReduce是MaxCompute提供的Java MapReduce編程模型，它可以簡化開發(fā)流程，更為高效。若使用MaxCompute MapReduce，需要對分布式計算概念有基本了解，并有相對應(yīng)的編程經(jīng)驗。MaxCompute MapReduce為我們提供Java編程接口。
四、Graph：MaxCompute提供的Graph功能是一套面向迭代的圖計算處理框架。圖計算作業(yè)使用圖進行建模，圖由點 （Vertex）和邊（Edge）組成，點和邊包含權(quán)值（Value）。通過迭代對圖進行編輯、演化，最終求解出結(jié)果，典型應(yīng)用：PageRank、單源最短距離算法 、K-均值聚類算法等。

?SDK
SDK是MaxCompute提供給開發(fā)者的工具包，當前支持Java SDK及Python SDK。

?安全
MaxCompute提供了功能強大的安全服務(wù)，為您的數(shù)據(jù)安全提供保護。

對大數(shù)據(jù)產(chǎn)品有需求的用戶請加“云特快”微信號：qwe521378，領(lǐng)取阿里云大數(shù)據(jù)產(chǎn)品優(yōu)惠券。

總結(jié)

以上是生活随笔為你收集整理的阿里云大数据计算服务MaxCompute的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。