还要什么ETL?它是搭建数据仓库的必备,许多人都不知道!
商業(yè)智能是什么?意義在哪里?企業(yè)又如何建設(shè)商業(yè)智能系統(tǒng)?相信這些問(wèn)題一直圍繞在CIO的腦海里。
其實(shí),很難用單一的產(chǎn)品或者技術(shù)來(lái)概括商業(yè)智能,憑我從業(yè)十年的理解,商業(yè)智能是一條路,一條從數(shù)據(jù)到信息的路,有如下幾種:
- 最簡(jiǎn)單的方案是企業(yè)數(shù)據(jù)報(bào)表系統(tǒng)
- 深層次的是olap分析
- 更深層次的是數(shù)據(jù)挖掘
作為商業(yè)智能的一條路,OLAP大概是比較常見(jiàn)的一種選擇。無(wú)論是對(duì)數(shù)據(jù)產(chǎn)品經(jīng)理,或者數(shù)據(jù)分析師來(lái)說(shuō),要想搭建一個(gè)業(yè)務(wù)的數(shù)據(jù)分析平臺(tái),OLAP分析是你不得不掌握的技能。
隨著企業(yè)的數(shù)據(jù)量越來(lái)越大,數(shù)據(jù)分析查詢(xún)響應(yīng)及時(shí)性要求越來(lái)越高,如按照傳統(tǒng)ETL(提取、轉(zhuǎn)化、加載)的數(shù)據(jù)加工方式,需要考慮各個(gè)不同維度上的聚合,來(lái)提高響應(yīng)及時(shí)性,所以會(huì)造成ETL的工作量非常大,同時(shí)對(duì)模型設(shè)計(jì)要求也比較高,也不適合靈活的維度組合查詢(xún)的需求。
?
在這種背景下,數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)的主要應(yīng)用:OLAP分析,就這么出現(xiàn)了。OLAP首先是把數(shù)據(jù)預(yù)處理成數(shù)據(jù)立方(Cube),并把有可能的匯總都預(yù)先算出來(lái)(即預(yù)聚合處理),然后在用戶(hù)選擇多維度匯總時(shí),
在預(yù)先的計(jì)算出來(lái)的數(shù)據(jù)基礎(chǔ)上很快地計(jì)算出用戶(hù)想要的結(jié)果,從而可以更好更快地支持極大數(shù)據(jù)量的及時(shí)分析。
但在實(shí)際的商業(yè)分析中,OLAP分析更多的是指對(duì)數(shù)據(jù)分析的一種解決方案。
公司的數(shù)據(jù)都儲(chǔ)存在ERP、CRM、OA等中,各業(yè)務(wù)線存在大量的OLAP分析場(chǎng)景,需要基于Hadoop數(shù)十億級(jí)別的數(shù)據(jù)進(jìn)行分析,直接響應(yīng)分析師和大數(shù)據(jù)部門(mén)等數(shù)千人的同時(shí)訪問(wèn)請(qǐng)求,對(duì)數(shù)據(jù)服務(wù)的各方面都有很高的需求。
?
OLAP的優(yōu)勢(shì)
?
?
1、多維性:它面向分析,分析驅(qū)動(dòng),支持多維分析。“維”是人們觀察數(shù)據(jù)的特定角度,是考慮問(wèn)題時(shí)的一類(lèi)屬性,屬性集合構(gòu)成一個(gè)維(時(shí)間維、地理維等)。
2、信息性:它可以支持管理需要,面向決策人員;可以導(dǎo)出綜合性和提煉性數(shù)據(jù)信息。
3、強(qiáng)處理性:OLAP一次處理的數(shù)據(jù)量比ETL、傳統(tǒng)取數(shù)方式大得多。
4、快速性:用戶(hù)對(duì)快速反應(yīng)能力有很高的要求,OLAP系統(tǒng)應(yīng)能在5秒內(nèi)對(duì)用戶(hù)的大部分分析要求做出反應(yīng)。
?
上面講的OLAP分析都是偏向IT層面,但其實(shí)OLAP的最終作用是使管理層、數(shù)據(jù)分析師、業(yè)務(wù)人員能夠從多種角度對(duì)信息數(shù)據(jù)更深入了解,它的技術(shù)核心是"維"這個(gè)概念,因此OLAP也可以說(shuō)是多維數(shù)據(jù)分析工具的集合。
業(yè)務(wù)人員如何利用OLAP分析?
業(yè)務(wù)人員在分析業(yè)務(wù)經(jīng)營(yíng)的數(shù)據(jù)時(shí),經(jīng)常需要從各種角度來(lái)思考與分析數(shù)據(jù)。
例如分析銷(xiāo)售數(shù)據(jù),可能會(huì)綜合時(shí)間、產(chǎn)品、渠道等多種因素來(lái)考量。這些分析角度雖然可以通過(guò)報(bào)表來(lái)反映,但每一個(gè)分析的角度可以生成一張報(bào)表,各個(gè)分析角度的不同組合又可以生成不同的報(bào)表,使得IT人員的工作量相當(dāng)大,而且往往難以跟上管理決策人員思考的步伐。
老一代OLAP分析的技術(shù)實(shí)現(xiàn)需要嚴(yán)格的從頭開(kāi)始手動(dòng)建模,Cube的大小極大限制了大數(shù)據(jù)背景下的使用場(chǎng)景,動(dòng)輒成百上千新舊不一的Cube需要繁重的運(yùn)維,架構(gòu)無(wú)法縱向擴(kuò)展、無(wú)法滿足大數(shù)據(jù)量下構(gòu)建、查詢(xún)和并發(fā)的性能要求。這種處理方式在新一代的BI工具中并不適用。
好的BI產(chǎn)品在olap分析方面,主要是聚焦3個(gè)方面:
- 多維觀察:就是字面意思,多個(gè)角度關(guān)聯(lián)分析
- 數(shù)據(jù)鉆取:在已有的基礎(chǔ)數(shù)據(jù)上細(xì)化,精確到更小的點(diǎn)
- cube計(jì)算:計(jì)算引擎直接考慮可能會(huì)出現(xiàn)的各種情況,進(jìn)行預(yù)計(jì)算,避免了實(shí)時(shí)數(shù)據(jù)太大而引起的數(shù)據(jù)量查詢(xún)慢
以國(guó)內(nèi)頂尖的BI工具FineBI舉例,其主要特點(diǎn)是直接仿照用戶(hù)的多角度思考模式,預(yù)先為用戶(hù)組建多維數(shù)據(jù)庫(kù)。一旦多維數(shù)據(jù)模型建立完成,用戶(hù)可以快速地從各個(gè)分析角度獲取數(shù)據(jù),也能動(dòng)態(tài)的在各個(gè)角度之間切換或者進(jìn)行多角度綜合分析,具有極大的分析靈活性。
?
FineBI的數(shù)據(jù)業(yè)務(wù)包是BI分析的數(shù)據(jù)基礎(chǔ),由管理員創(chuàng)建,通過(guò)定義的數(shù)據(jù)連接向數(shù)據(jù)庫(kù)中取數(shù),獲取到的數(shù)據(jù)自動(dòng)保存在Cube中,BI分析則從Cube中獲取數(shù)據(jù),這也就保證了只要Cube中存有數(shù)據(jù),就算不聯(lián)網(wǎng)也可以使用BI分析。
FineBI憑借OLAP分析真正做到了將技術(shù)人員的工作系統(tǒng)化,高效賦能業(yè)務(wù)人員 。 業(yè)務(wù)人員只需自助地使用 BI 工具直接分析即可。
系統(tǒng)將自動(dòng)地理解分析意圖,并在后臺(tái)透明地進(jìn)行數(shù)據(jù)準(zhǔn)備和加速,透明加速后的查詢(xún)提速至幾十倍到上百倍,滿足業(yè)務(wù)人員交互式的即席分析需求。就拿業(yè)務(wù)分析中,經(jīng)常要用到的鉆取和聯(lián)動(dòng)來(lái)說(shuō)吧。
所謂聯(lián)動(dòng),就是一個(gè)數(shù)據(jù)變化,后面所有的數(shù)據(jù)都會(huì)自動(dòng)變化。在FineBI中,組件之間任何有來(lái)自同一張表或者有關(guān)聯(lián)的數(shù)據(jù)默認(rèn)直接進(jìn)行聯(lián)動(dòng),可滿足大部分業(yè)務(wù)分析場(chǎng)景,無(wú)論是從數(shù)據(jù)反應(yīng)速度,還是從圖表的美觀程度來(lái)看,Excel數(shù)據(jù)透視表都是甘拜下風(fēng)!
?
在使用FineBI進(jìn)行數(shù)據(jù)分析時(shí),我們往往會(huì)先通過(guò)可視化報(bào)表從大的層面把握業(yè)務(wù)問(wèn)題所在,再通過(guò)一個(gè)頁(yè)面內(nèi)的鉆取聯(lián)動(dòng)逐級(jí)向下鉆取,直到明細(xì)數(shù)據(jù),才能定位到具體的問(wèn)題。
總結(jié)
實(shí)踐已經(jīng)證明,采用OLAP分析計(jì)算,能夠避免困擾現(xiàn)代BI工具和復(fù)雜大數(shù)據(jù)基礎(chǔ)架構(gòu)的一大基本難題:漫長(zhǎng)的計(jì)算時(shí)間和緩慢的查詢(xún)速度。有了OLAP分析,這些問(wèn)題將迎刃而解,
而其中的 OLAP核心能力的突破,將是增強(qiáng)分析的關(guān)鍵。
我還整理了數(shù)字化案例、IT建設(shè)案例、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)治理、行業(yè)報(bào)告等總計(jì)6個(gè)G的資料包,絕對(duì)高質(zhì)量!關(guān)注微信公眾號(hào)“商業(yè)智能研究”,回復(fù)關(guān)鍵字“資料包”即可領(lǐng)取全部資料!
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的还要什么ETL?它是搭建数据仓库的必备,许多人都不知道!的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 汉游天下公司的一些感悟
- 下一篇: 90后程序员代码漏洞更多?