OLTP+OLAP->HTAP
一、OLTP
On-Line Transaction Processing:聯(lián)機事務(wù)處理過程(OLTP)
OLTP是事件驅(qū)動、面向應(yīng)用的,也稱為面向交易的處理過程。其基本特征是前臺接收的用戶數(shù)據(jù)可以立即傳送到計算中心進行處理,并在很短的時間內(nèi)給出處理結(jié)果,是對用戶操作的快速響應(yīng)。例如銀行類、電子商務(wù)類的交易系統(tǒng)就是典型的OLTP系統(tǒng)。其具備以下特點:
-
直接面向應(yīng)用,數(shù)據(jù)在系統(tǒng)中產(chǎn)生。
-
基于交易的處理系統(tǒng)。
-
每次交易牽涉的數(shù)據(jù)量很小;對響應(yīng)時間要求非常高。
-
用戶數(shù)量非常龐大,其用戶是操作人員,并發(fā)度很高。
-
數(shù)據(jù)庫的各種操作主要基于索引進行。
-
以SQL作為交互載體。
-
總體數(shù)據(jù)量相對較小。
二、OLAP
On-Line Analytical Processing:聯(lián)機實時分析(OLAP)
OLAP是面向數(shù)據(jù)分析的,也稱為面向信息分析處理過程。它使分析人員能夠迅速、一致、交互地從各個方面觀察信息,以達到深入理解數(shù)據(jù)的目的。其特征是應(yīng)對海量數(shù)據(jù),支持復(fù)雜的分析操作,側(cè)重決策支持,并且提供直觀易懂的查詢結(jié)果。例如數(shù)據(jù)倉庫是其典型的OLAP系統(tǒng)。其具備以下特點:
-
本身不產(chǎn)生數(shù)據(jù),其基礎(chǔ)數(shù)據(jù)來源于生產(chǎn)系統(tǒng)中的操作數(shù)據(jù)
-
基于查詢的分析系統(tǒng);復(fù)雜查詢經(jīng)常使用多表聯(lián)結(jié)、全表掃描等,牽涉的數(shù)量往往十分龐大
-
每次查詢設(shè)計的數(shù)據(jù)量很大,響應(yīng)時間與具體查詢有很大關(guān)系
-
用戶數(shù)量相對較小,其用戶主要是業(yè)務(wù)人員與管理人員
-
由于業(yè)務(wù)問題不固定,數(shù)據(jù)庫的各種操作不能完全基于索引進行
-
以SQL為主要載體,也支持語言類交互
-
總體數(shù)據(jù)量相對較大
2.1 一些概念
OLAP數(shù)據(jù)立方體,是一種用于支持OLAP上卷、下鉆、切片、切塊操作的多維數(shù)據(jù)模型。立方體的每個單元,存放一個聚合值。
- 下鉆(Drill-down):由粗粒度向細粒度拆分。如通過季度銷售數(shù)據(jù)鉆取每個月的銷售數(shù)據(jù)。
- 上卷(Roll-up):下鉆的逆操作。
- 切片(Slice):通過將其中一個維度選擇單個值,從而創(chuàng)建具有較少維度的新多維數(shù)據(jù)集合。如只選電子產(chǎn)品銷售數(shù)據(jù)。
- 切塊(Dice):相比切片是選中多個維度。如第一季度到第二季度銷售數(shù)據(jù)。
- 旋轉(zhuǎn)(Pivot):維的位置互換,類似行列轉(zhuǎn)換。
OLAP按數(shù)據(jù)存儲格式可分類為:ROLAP、MOLAP、HOLAP
| ROLAP(Relational OLAP) | 基于關(guān)系數(shù)據(jù)庫的OLAP實現(xiàn) | 關(guān)系型數(shù)據(jù)庫 | 關(guān)系型數(shù)據(jù)庫 |
| MOLAP(Multidimensional OLAP) | 基于多維數(shù)據(jù)組織的OLAP實現(xiàn) | 多維數(shù)據(jù)庫 | 數(shù)據(jù)立方體 |
| HOLAP(Hybrid OLAP) | 基于混合數(shù)據(jù)組織的OLAP實現(xiàn) | 關(guān)系型數(shù)據(jù)庫 | 數(shù)據(jù)立方體 |
ROLAP更靈活、MOLAP響應(yīng)性能更好。
2.2 ROLAP
概述:
這種方法依賴于操作存儲在關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù),給傳統(tǒng)的OLAP slicing 和 dicing功能。本質(zhì)上,每個slicing或dicing功能和SQL語句中"WHERE"子句的功能是一樣的。
優(yōu)勢:
可以處理大數(shù)據(jù)量:ROLAP技術(shù)的數(shù)據(jù)量大小就是底層關(guān)系數(shù)據(jù)庫存儲的大小。換句話說,ROLAP本身沒有對數(shù)據(jù)量的限制。
可以利用關(guān)系型數(shù)據(jù)庫所固有的功能:關(guān)系型數(shù)據(jù)庫已經(jīng)具備非常多的功能。ROLAP技術(shù),由于它是建立在關(guān)系型數(shù)據(jù)庫上的,因此可以使用這些功能。
劣勢:
性能可能會很慢:因為每個ROLAP包裹實際上是一個SQL查詢(或多個SQL查詢)關(guān)系數(shù)據(jù)庫,可能會因為底層數(shù)據(jù)量很大,使得查詢的時間很長。
受限于SQL的功能:因為ROLAP技術(shù)主要依賴于生成SQL語句查詢關(guān)系數(shù)據(jù)庫,SQL語句并不能滿足所有的需求(舉例來說,使用SQL很難執(zhí)行復(fù)雜的計算),ROLAP技術(shù)因此受限于SQL所能做的事情。ROLAP廠商已經(jīng)通過構(gòu)建工具以減輕這種風(fēng)險,而且允許用戶自定義函數(shù)。
2.3 MOLAP
概述:
這是OLAP分析的傳統(tǒng)方式。在MOLAP中,數(shù)據(jù)存儲在一個多維數(shù)據(jù)集(cube)中,存儲并不是在傳統(tǒng)的關(guān)系型數(shù)據(jù)庫中,而是自定義的格式。
優(yōu)勢:
卓越的性能:MOLAP cubes為了快速數(shù)據(jù)檢索而構(gòu)建,具有最佳的slicing dicing操作
可以執(zhí)行復(fù)雜的計算:所有的計算都在創(chuàng)建多維數(shù)據(jù)表時預(yù)先生成。因此,復(fù)雜的計算不僅可行,而且迅速
劣勢:
它可以處理的數(shù)據(jù)量有限:因為所有的計算都是執(zhí)行在構(gòu)建的多維數(shù)據(jù)集上,多維數(shù)據(jù)集本身不可能包括大量的數(shù)據(jù)。當(dāng)然這并不是大數(shù)據(jù)不能派生出多維數(shù)據(jù)集。事實上,這是可以的。但是在這種情況下,只有匯總的信息能夠包含在多維數(shù)據(jù)集中。
需要額外的成本:多維數(shù)據(jù)集技術(shù)往往是有專利或現(xiàn)在并不存在在某個組織中。因此,要想采用MOLAP技術(shù),通常是要付出額外的人力和資源成本。
2.4?HOLAP
概述:
HOLAP技術(shù)試圖將MOLAP和ROLAP技術(shù)的優(yōu)勢結(jié)合起來??傮w來說,HOLAP利用了多維數(shù)據(jù)集的技術(shù)從而得到更快的性能。
當(dāng)需要詳細信息時,HOLAP可以從多維數(shù)據(jù)集“穿過”到底層的關(guān)系數(shù)據(jù)庫。
三、OLTP與OLAP對比
四、HTAP
?HTAP數(shù)據(jù)庫(Hybrid Transaction and Analytical Process,混合事務(wù)和分析處理)。2014年Gartner的一份報告中使用混合事務(wù)分析處理(HTAP)一詞描述新型的應(yīng)用程序框架,以打破OLTP和OLAP之間的隔閡,既可以應(yīng)用于事務(wù)型數(shù)據(jù)庫場景,亦可以應(yīng)用于分析型數(shù)據(jù)庫場景。實現(xiàn)實時業(yè)務(wù)決策。
這種架構(gòu)具有顯而易見的優(yōu)勢:不但避免了繁瑣且昂貴的ETL操作,而且可以更快地對最新數(shù)據(jù)進行分析。這種快速分析數(shù)據(jù)的能力將成為未來企業(yè)的核心競爭力之一。
總結(jié)
以上是生活随笔為你收集整理的OLTP+OLAP->HTAP的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java jcr使用_java – 什么
- 下一篇: 【设计模式·Python】创建型模式