看完这篇你就明白,为什么说大部分企业建设数据中台都会失败?
現(xiàn)在關(guān)于數(shù)據(jù)中臺(tái)價(jià)值的探討已經(jīng)很多了,但凡事有利必有弊,今天就反其道而行之,談?wù)剶?shù)據(jù)中臺(tái)的原罪,知道了這些“罪”,有利于你權(quán)衡利弊,做出正確的選擇,這對(duì)于數(shù)據(jù)中臺(tái)的發(fā)展很重要。
1、數(shù)據(jù)中臺(tái)有“名不正言不順”之嫌
中國(guó)儒家講仁,但如果讓你對(duì)仁下個(gè)清晰的定義,估計(jì)沒(méi)人講得清楚,這體現(xiàn)了中國(guó)哲學(xué)跟西方哲學(xué)一個(gè)區(qū)別。
康德說(shuō):“我追求一切概念都有清晰的定義,一切推理都不允許有大膽的跳躍、而力求用合規(guī)律的原則、嚴(yán)格的證明,勾畫(huà)出研究領(lǐng)域的整個(gè)范圍、部門(mén)劃分和全部五遺漏的內(nèi)容,并對(duì)未知部分立下清晰的界標(biāo)?!?/p>
概念的模糊性很容易造成類(lèi)似中國(guó)哲學(xué)的問(wèn)題,比如《論語(yǔ)》里孔子提出的:“君君、臣臣、父父、子子”,本來(lái)孔子的意思是每個(gè)崗位的人做好自己該做的事情,校長(zhǎng)要像校長(zhǎng),教授要像教授諸如此類(lèi)。
但漢朝的董仲舒為了政治需要,提出了三綱五常,把孔子這段話(huà)曲解成了“君為臣綱,父為子綱,夫?yàn)槠蘧V。” 新文化運(yùn)動(dòng)的時(shí)候,孔老夫子就被批得很厲害,實(shí)在是很冤枉。
老外沒(méi)有中臺(tái)的說(shuō)法,中臺(tái)這個(gè)詞就有那么點(diǎn)中國(guó)哲學(xué)的味道。
阿里2015年去歐洲的一家公司SuperSell參觀后提出了中臺(tái)戰(zhàn)略,數(shù)據(jù)中臺(tái)、業(yè)務(wù)中臺(tái),技術(shù)中臺(tái)等這些詞也被順勢(shì)創(chuàng)造出來(lái),我相信這些概念的提出,是各專(zhuān)業(yè)領(lǐng)域推進(jìn)自身工作的需要,沒(méi)人會(huì)在概念的嚴(yán)謹(jǐn)性上去下功夫,差不多就得了。
但既然這些詞已經(jīng)被炒起來(lái)了,就有了利益,有了利益就有了江湖,所有各方都會(huì)由于這個(gè)利益來(lái)詮釋自己對(duì)于中臺(tái)的理解,這就形成了概念亂象,一千個(gè)讀者眼中有了一千個(gè)哈姆雷特,你可以說(shuō)中臺(tái)這個(gè)詞給了業(yè)界無(wú)限的想象空間,但模糊性也帶來(lái)了很多問(wèn)題。
比如我們說(shuō)中臺(tái)的本質(zhì)是共享復(fù)用,但這僅僅是一種理念,不能當(dāng)飯吃,一般還需要化作具體的行動(dòng)吧,但沒(méi)人說(shuō)得清楚落地共性復(fù)用理念的標(biāo)準(zhǔn)動(dòng)作是什么,比如就數(shù)據(jù)中臺(tái)來(lái)講,數(shù)據(jù)領(lǐng)域哪些東西可以共享復(fù)用呢?
往大了講,平臺(tái)本來(lái)就有這個(gè)性質(zhì),工具也有這個(gè)性質(zhì),數(shù)據(jù)也可以有這個(gè)性質(zhì),數(shù)據(jù)倉(cāng)庫(kù)本身似乎也是為共享復(fù)用構(gòu)建的,那么對(duì)于已經(jīng)建完成數(shù)據(jù)倉(cāng)庫(kù)的企業(yè),干嘛還要建數(shù)據(jù)中臺(tái)呢?數(shù)據(jù)中臺(tái)到底帶來(lái)什么具體的增量?jī)r(jià)值?
很多業(yè)務(wù)和技術(shù)發(fā)展到一定階段都會(huì)有白皮書(shū),至少還是有中立的組織想標(biāo)準(zhǔn)化一下的,但中臺(tái)沒(méi)有,更別提數(shù)據(jù)中臺(tái)了,偶偶有幾本數(shù)據(jù)中臺(tái)的書(shū)想嘗試一下,但難說(shuō)對(duì)全行業(yè)有什么指導(dǎo)意義。
我能想到的破解的方法只有一個(gè),回歸業(yè)務(wù)本身,看看做哪些優(yōu)化能提升數(shù)據(jù)賦能的效率,如果能力沉淀的價(jià)值未來(lái)可期,那就去做,比如API,這就是數(shù)據(jù)中臺(tái);如果能力沉淀的價(jià)值還不大,就沒(méi)必要強(qiáng)求。
2、數(shù)據(jù)中臺(tái)違背奧卡姆剃刀原理
數(shù)據(jù)倉(cāng)庫(kù)是OLTP發(fā)展到一定階段自然演化出來(lái)的,但數(shù)據(jù)中臺(tái)不是,很多企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)被動(dòng)要求升級(jí)成數(shù)據(jù)中臺(tái),然后強(qiáng)制推進(jìn)復(fù)用共享,或者用新概念來(lái)裝點(diǎn)門(mén)面,顯然這樣的數(shù)據(jù)中臺(tái)是無(wú)法創(chuàng)造出超越數(shù)據(jù)倉(cāng)庫(kù)的新價(jià)值的。
數(shù)據(jù)中臺(tái)在原始數(shù)據(jù)和應(yīng)用數(shù)據(jù)中間增加了一層數(shù)據(jù)實(shí)體,流程增加了,信息衰減了,連接變?nèi)趿?#xff0c;這就需要施加更多的外力來(lái)進(jìn)行補(bǔ)償。
因此,如果這些新增的實(shí)體無(wú)法創(chuàng)造出增量?jī)r(jià)值來(lái)彌補(bǔ)由于引入了新的實(shí)體后帶來(lái)的成本增加,這就違背了奧卡姆剃刀原則,即“如無(wú)必要,勿增實(shí)體”,直白的解釋就是“切勿浪費(fèi)較多東西去做,用較少的東西,同樣可以做好的事情”。
數(shù)據(jù)中臺(tái)如果沒(méi)有實(shí)際超越數(shù)據(jù)倉(cāng)庫(kù),那么就無(wú)法躲開(kāi)奧卡姆剃刀的魔咒,為了進(jìn)行對(duì)抗,我們得干點(diǎn)數(shù)據(jù)中臺(tái)該干的事情,比如API,這是每個(gè)數(shù)據(jù)中臺(tái)運(yùn)營(yíng)者要想清楚的事情,你得有些使命感,做出一些不一樣的有價(jià)值的東西。
3、數(shù)據(jù)中臺(tái)需要巨大的成本投入
數(shù)據(jù)中臺(tái)希望用共享復(fù)用的理念來(lái)沉淀能力,然后基于能力來(lái)更快的支撐應(yīng)用創(chuàng)新,但快速支撐應(yīng)用創(chuàng)新的前提是要有足夠多的已經(jīng)沉淀出來(lái)的能力。
可惜數(shù)據(jù)中臺(tái)伊始,根本就沒(méi)有什么拿得出手的能力,大家喜歡用數(shù)據(jù)中臺(tái)的結(jié)局來(lái)表達(dá)其價(jià)值,但少有人能真正理解數(shù)據(jù)中臺(tái)構(gòu)筑能力過(guò)程的艱辛,不知道前期要付出多大的代價(jià)。
就好比以前說(shuō)去IOE,說(shuō)要自主掌控,老板以為可以降低IT投入了,但其實(shí)完全錯(cuò)了。
業(yè)務(wù)方需要我們開(kāi)放一批原始表,我說(shuō):“你能不能告訴原始業(yè)務(wù)需求,數(shù)據(jù)中臺(tái)用融合模型來(lái)支撐?” 業(yè)務(wù)方說(shuō):“這個(gè)你不用管,我等不了你修改融合模型,到時(shí)改來(lái)改去溝通成本也高,模型我們可以自己建。”
為了兼顧能力沉淀和響應(yīng)速度,我就說(shuō):“那能不能這樣,我安排多一倍的資源來(lái)支撐你們的需求?” 業(yè)務(wù)方后來(lái)妥協(xié)了,但這個(gè)多出的資源需要公司買(mǎi)單。
無(wú)論從哪個(gè)方面看,運(yùn)營(yíng)數(shù)據(jù)中臺(tái)都要付出巨大的代價(jià),包括建章立制、組織構(gòu)建、能力打造、迭代優(yōu)化等等。
4、數(shù)據(jù)中臺(tái)的投資風(fēng)險(xiǎn)還是很高
數(shù)據(jù)中臺(tái)概念屹立不倒,是因?yàn)槲覀儓?jiān)信數(shù)據(jù)中臺(tái)沉淀的能力在未來(lái)一定有機(jī)會(huì)創(chuàng)造更多的價(jià)值,這足以彌補(bǔ)前期的投入,但從潛力市場(chǎng)、回報(bào)周期、價(jià)值產(chǎn)出等要素看,企業(yè)投資數(shù)據(jù)中臺(tái)的確是門(mén)高風(fēng)險(xiǎn)的生意。
第一、狹義的數(shù)據(jù)中臺(tái)僅限于數(shù)據(jù)模型和服務(wù),這些數(shù)據(jù)模型和服務(wù)打上了企業(yè)和業(yè)務(wù)的烙印,因此很難復(fù)制到其他領(lǐng)域,這實(shí)際限制了數(shù)據(jù)中臺(tái)的投資回報(bào)率。
現(xiàn)在兜售數(shù)據(jù)中臺(tái)的企業(yè)賣(mài)得并不是數(shù)據(jù)模型和服務(wù),而是工具平臺(tái),這并不屬于數(shù)據(jù)中臺(tái)的核心內(nèi)容范疇。
第二、參考大廠,數(shù)據(jù)中臺(tái)三年才能小成,這還是在人才充足的前提下,因此,一般企業(yè)并不一定有足夠的耐心。
正如凱恩斯經(jīng)濟(jì)學(xué)派在批駁市場(chǎng)學(xué)派所謂的自由市場(chǎng)最終會(huì)實(shí)現(xiàn)資源的最優(yōu)配置這種觀點(diǎn)所說(shuō)的那樣:“長(zhǎng)遠(yuǎn)是對(duì)當(dāng)前事務(wù)錯(cuò)誤的指導(dǎo)。從長(zhǎng)遠(yuǎn)看,我們都已經(jīng)死了?!?/p>
第三、數(shù)據(jù)中臺(tái)概念不清,對(duì)于企業(yè)的文化、組織、機(jī)制、流程、數(shù)據(jù)、平臺(tái)又有很高的要求,輸入和產(chǎn)出的關(guān)系也不是很明顯,這也是投資比較忌諱的。
當(dāng)然企業(yè)對(duì)于自己的投資不一定要那么斤斤計(jì)較,畢竟不是簡(jiǎn)單的買(mǎi)賣(mài),但心里還是要有所權(quán)衡。
5、數(shù)據(jù)中臺(tái)的能力標(biāo)準(zhǔn)化有點(diǎn)難
15年前的數(shù)據(jù)倉(cāng)庫(kù)時(shí)代,業(yè)界曾經(jīng)提出過(guò)一個(gè)非常超前的概念:數(shù)據(jù)封裝,就是把數(shù)據(jù)封裝成API供業(yè)務(wù)調(diào)用,類(lèi)似于編程語(yǔ)言中的函數(shù)。
比如把某種即席查詢(xún)封裝成一個(gè)API,而不是跟應(yīng)用強(qiáng)捆綁,我想這是最早的數(shù)據(jù)中臺(tái)的原型吧,但我后來(lái)對(duì)數(shù)據(jù)封裝的可復(fù)用性提出了質(zhì)疑。
數(shù)據(jù)跟功能不同,數(shù)據(jù)的指標(biāo)和維度可以成千上萬(wàn),組合之后更是不勝枚舉,也許日常的函數(shù)1000個(gè)就可以滿(mǎn)足基本的編程需要的,但數(shù)據(jù)封裝呢,我不知道要多少數(shù)據(jù)封裝才能滿(mǎn)足一個(gè)數(shù)據(jù)分析應(yīng)用的需要,大多還是靠定制化取數(shù)滿(mǎn)足吧。
函數(shù)的貢獻(xiàn)來(lái)自于所有編程者,這個(gè)超越了行業(yè),因此它能夠快速更新迭代,但數(shù)據(jù)封裝很難超越行業(yè),能貢獻(xiàn)經(jīng)驗(yàn)的也僅限于企業(yè)的某些人,我一直覺(jué)得數(shù)據(jù)封裝出來(lái)的功能可能等不到規(guī)?;玫臅r(shí)候,就已經(jīng)被新的業(yè)務(wù)淘汰了,或者企業(yè)根本沒(méi)有那么多標(biāo)準(zhǔn)化能力復(fù)用的場(chǎng)景。
正是這個(gè)原因,也許只有巨型的企業(yè)才可能在數(shù)據(jù)中臺(tái)的能力標(biāo)準(zhǔn)化方面獲益。
6、數(shù)據(jù)中臺(tái)導(dǎo)致了系統(tǒng)的脆弱性
現(xiàn)在云原生如火如荼,微服務(wù),容器化,DevOps在保證業(yè)務(wù)中臺(tái)敏捷的同時(shí),也確保其連續(xù)性。
數(shù)據(jù)中臺(tái)并沒(méi)有吃到什么連續(xù)性的紅利,對(duì)于大多數(shù)公司,數(shù)據(jù)中臺(tái)一般是沒(méi)有容災(zāi)的,也許連應(yīng)急也沒(méi)有,因?yàn)閷?duì)數(shù)據(jù)的容災(zāi)就意味著成倍的投資增加,這在一般的公司無(wú)法實(shí)現(xiàn)。hadoop雖然有數(shù)據(jù)三備份的策略,但其對(duì)于人為操作失誤、數(shù)據(jù)邏輯錯(cuò)誤也是無(wú)能為力。
數(shù)據(jù)中臺(tái)的目標(biāo)是把分散的數(shù)據(jù)能力集中化、共享化,實(shí)現(xiàn)其能力“一點(diǎn)發(fā)布,全部共享”的理想,但在數(shù)據(jù)中臺(tái)連續(xù)性問(wèn)題無(wú)法徹底解決之前,集中化的數(shù)據(jù)中臺(tái)也帶來(lái)了集中化的風(fēng)險(xiǎn),比如一旦集中化的數(shù)據(jù)被刪除,那么對(duì)于企業(yè)應(yīng)用的影響是全方位的。
數(shù)據(jù)中臺(tái)做的越好,共享能力越高,風(fēng)險(xiǎn)就越高,這就是懸在數(shù)據(jù)中臺(tái)連續(xù)性上的“達(dá)摩克里斯之劍”,也就是“一點(diǎn)故障,全面影響”。
自己就曾經(jīng)歷過(guò)這么一個(gè)hadoop事故,換做現(xiàn)在,估計(jì)就是災(zāi)難了。
我們有兩個(gè)GIS應(yīng)用,一個(gè)GIS應(yīng)用由于歷史原因自己采集了很多數(shù)據(jù),另一個(gè)GIS應(yīng)用則是基于數(shù)據(jù)中臺(tái)提供的數(shù)據(jù)構(gòu)建的,某天運(yùn)維人員誤刪了數(shù)據(jù)中臺(tái)的所有GIS相關(guān)數(shù)據(jù),hadoop無(wú)法恢復(fù),幸虧另一個(gè)應(yīng)用有重復(fù)數(shù)據(jù)的存在,才避免了核心數(shù)據(jù)的丟失。
所謂禍兮福之所倚,福兮禍之所伏。
數(shù)據(jù)中臺(tái)的確有很大的價(jià)值,但也隱含著不少風(fēng)險(xiǎn),我們以前談其優(yōu)點(diǎn)多了,缺點(diǎn)談少了,這不是實(shí)事求是的作風(fēng),更可怕的是,也許我們自己并不知道這些風(fēng)險(xiǎn)的存在。
文章來(lái)源:大魚(yú)的數(shù)據(jù)人生
總結(jié)
以上是生活随笔為你收集整理的看完这篇你就明白,为什么说大部分企业建设数据中台都会失败?的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: .msc文件
- 下一篇: Java中的字符串分割