数字化转型趋势下的数据中台建设之道
近日,奇點云副總裁何夕應創(chuàng)業(yè)邦BangTalk邀請,首次線上直播分享《數(shù)據(jù)中臺建設之道》,直播間人氣爆棚互動活躍。以下為演講實錄分享(文字根據(jù)現(xiàn)場演講錄音整理)。
數(shù)字化轉型,其實并不是個新詞。
根據(jù)IDC(互聯(lián)網(wǎng)數(shù)據(jù)中心)的報告,自從數(shù)字化浪潮開啟以來,企業(yè)就開始數(shù)字化進程。而據(jù)IDC預計,到2020年中國GDP的20%將來自業(yè)務數(shù)字化轉型的增加值,數(shù)字化轉型已上升到宏觀經(jīng)濟層面,不僅將改變企業(yè)運營方式,還將重塑經(jīng)濟面貌。
我們要如何去定義人工智能的未來?
它影響到我們?nèi)ピ趺慈ダ斫鈹?shù)字化轉型的本質(zhì)。
過去10年中,云計算、大數(shù)據(jù)和人工智能技術的發(fā)展,不斷驅(qū)動機器智能替代體力和腦力,那些高頻重復的體力和腦力工作,越來越多地被機器智能所取代;而腦力賴以生存的經(jīng)驗公式(方法論、思維工具等),也越來越多地被算法所代替。
數(shù)字化轉型主要面臨的都是數(shù)據(jù)問題
站在今天的角度,我們或許可以清晰地定義數(shù)字化轉型,本質(zhì)上就是以算力、算法和數(shù)據(jù)為代表的信息技術,以數(shù)字化的方式驅(qū)動社會整體的改變和變革。數(shù)字化轉型的未來清楚指向人工智能的發(fā)展,從而讓人做人該做的事情,讓機器做機器該做的事情,人類和機器腦力算力協(xié)同發(fā)展。
傳統(tǒng)的數(shù)據(jù)分析其實是一種刀耕火種的狀態(tài),手工對數(shù)據(jù)進行提取,手工清洗數(shù)據(jù)、手工的透視和分析,以及在此基礎上生成一些可視化圖表,在這個過程中,其實只有透視和分析是人真正應該去做的事情。前面的數(shù)據(jù)提取、數(shù)據(jù)清洗,包括后來的數(shù)據(jù)可視化,其實都可以通過相關的BI工具和一些可視化工具來完成。
《富足》這本書講到,當人類社會的生產(chǎn)資料從供不應求進入供過于求后,很多商業(yè)模式和商業(yè)邏輯都會發(fā)生巨大的變化。
今天我們面臨著一個非常大的變局——數(shù)據(jù)量的指數(shù)級增長。2015年是人類社會數(shù)據(jù)增長的一個關鍵節(jié)點,因為在2015年,其一年產(chǎn)生的數(shù)據(jù)量是人類過去歷史上產(chǎn)生的數(shù)據(jù)量的總和。換句話說,人類的數(shù)據(jù)量自此進入了指數(shù)級增長,2015年之后,數(shù)據(jù)量每年增長40%-50%。然后它會給我們帶來巨大的數(shù)據(jù)富足的挑戰(zhàn)。這種挑戰(zhàn)我們稱它為日益增長的數(shù)據(jù)存儲費用和仍然稀缺的數(shù)據(jù)應用之間的矛盾。
這個矛盾到底會給我們公司的業(yè)務帶來哪些挑戰(zhàn)?需要如何解決?
作為一家已經(jīng)跨越了數(shù)據(jù)指數(shù)級增長的公司,阿里巴巴的經(jīng)歷或許可以給我們啟示。2007年,阿里巴巴決定未來要成為一家數(shù)據(jù)公司。2009年,阿里成立了阿里云,正式開啟了去IOE的路程。
從2003年成立以來,淘寶收集了大量的數(shù)據(jù),其中90%是非結構化的日志數(shù)據(jù),當有了數(shù)據(jù)之后,所有人都想看見數(shù)據(jù)背后的真相:用戶從哪來,他們買了什么,為什么購買,轉化率如何……類似這樣的分析問題,給阿里帶來巨大的數(shù)據(jù)挑戰(zhàn)。
2012年數(shù)據(jù)平臺部的成立,這個被稱為CDO的部門,誕生了一系列數(shù)據(jù)分析和挖掘工具,包括在云端、數(shù)據(jù)魔方、淘寶時光機、淘寶指數(shù)、TCIF等等。特別要提一下TCIF(淘寶消費者數(shù)據(jù)工廠),由現(xiàn)在奇點云的創(chuàng)始人行在創(chuàng)立,拉通了阿里巴巴所有的消費者數(shù)據(jù),并且完成了3000+標簽體系的建設。2012年的標志性事件,就是TCIF的存儲和計算消耗量超過了BI,以TCIF為代表的人群定向成為了計算資源的消耗大戶;另一個標志性的指標是,阿里巴巴有50%的服務器不再處理任何事務,而僅僅用于處理數(shù)據(jù)。
2015年也有兩個標志性事件:一是阿里云數(shù)加平臺的成立(行在創(chuàng)立),代表阿里巴巴開始把內(nèi)部形成的大數(shù)據(jù)能力外化,賦能社會去建立大數(shù)據(jù)能力;二是推出千人千面算法,推薦算法一躍成為了存儲和計算資源的頭號消耗大戶。
推薦算法不僅僅是我們看到的淘寶界面那么簡單,在某種程度上,推薦算法讓阿里巴巴跨越了「從人指揮機器到機器指揮人的奇點」。
數(shù)字化轉型核心是建立清晰有效的數(shù)據(jù)戰(zhàn)略
為什么今年數(shù)據(jù)中臺特別火?
我們所有的企業(yè)在數(shù)字化轉型走到今天,會發(fā)現(xiàn)業(yè)務問題背后往往可能隱藏的為數(shù)眾多的數(shù)據(jù)問題,如數(shù)據(jù)不通,數(shù)據(jù)不可用,數(shù)據(jù)變現(xiàn)等問題。
拿「數(shù)據(jù)變現(xiàn)」打個比方,在數(shù)據(jù)進入了乘數(shù)級增長或者指數(shù)級增長的領域會特別明顯,比如汽車因車聯(lián)網(wǎng)的關系,它的整個數(shù)據(jù)增長量非常快,可能每年都有幾十T的數(shù)據(jù)增長。而這些數(shù)據(jù)只是把它們存了下來,可能我有幾億行的數(shù)據(jù),但我連一張大寬表都拉不出來,所以這個情況下它的數(shù)據(jù)是完全不可用的,所以需要解決數(shù)據(jù)變現(xiàn)的問題,而數(shù)據(jù)變現(xiàn)就是日益增長的數(shù)據(jù)存儲費用和仍然稀缺的數(shù)據(jù)應用之間的矛盾。
很多的企業(yè)其實去做了很多算法、數(shù)據(jù)應用的嘗試,但是因為沒有解決數(shù)據(jù)采集、數(shù)據(jù)質(zhì)量的問題,就會出現(xiàn)例如采集到的數(shù)據(jù)一半是空值,統(tǒng)計口徑不一致所帶來的數(shù)據(jù)總和之差,也有比如說我們的發(fā)票數(shù)據(jù)和銷售數(shù)據(jù)的總和,它可能相差5%~10%不等,然后在不在某些行業(yè)來說,這可能就幾千萬到上億的一個差距。這些業(yè)務問題背后其實都不同程度地體現(xiàn)為數(shù)據(jù)問題。
數(shù)據(jù)資產(chǎn)如何變成業(yè)務價值?
講數(shù)據(jù)中臺的時候,我們一定會講,需要和數(shù)據(jù)中臺一起去建立整個企業(yè)的數(shù)據(jù)資產(chǎn)的管理體系,那么如何去建設?這也是很多企業(yè)會碰到的問題。
數(shù)據(jù)如果僅僅是存下來,它是不能解決我們所說的主要矛盾的。那么數(shù)據(jù)資產(chǎn)要如何增值?如何變成業(yè)務價值?哪些業(yè)務是這個領域,哪些業(yè)務是我的數(shù)字化轉型過程中最核心的業(yè)務?它是有業(yè)務痛點、業(yè)務場景的,包括它可能是一些明星需求能夠帶動整個公司來認知這件事情,提升對數(shù)據(jù)的認知,這些都是在這個過程中需要去解決的。
大數(shù)據(jù)咨詢的核心是厘清差距
數(shù)據(jù)戰(zhàn)略不能僅僅是把它當成一個技術問題,而是要從業(yè)務、技術、組織三個維度綜合的來考量我們的整個數(shù)據(jù)的問題。那么要如何去考量這件事情?此前一年,為幫助企業(yè)推進數(shù)字化轉型戰(zhàn)略,解決數(shù)字化轉型中的問題,奇點云推出了大數(shù)據(jù)咨詢服務,并付諸大量案例實踐。奇點云也將這些實踐經(jīng)驗總結提煉成方法論,以白皮書的形式開放給更多商業(yè)機構。
而大數(shù)據(jù)咨詢服務,它的核心的價值也就是厘清差距、明確方向。
我們?nèi)绾稳ソㄔO整個數(shù)據(jù)中臺?作為我們公司的一個基礎設施,一般把數(shù)據(jù)中臺拆成4個部分來做建設規(guī)劃。首先對于我們的數(shù)據(jù)中臺來說,他一定會需要解決的是數(shù)據(jù)的來源問題,包括對我們的數(shù)據(jù)進行有效梳理,在此基礎上,我們有專業(yè)的團隊來構建一站式大數(shù)據(jù)智能服務平臺DataSimba,通過我們的數(shù)據(jù)中臺去解決整個數(shù)字資產(chǎn)管理問題,以及建立整個資產(chǎn)管理體系,整合所有的數(shù)據(jù)。我們把這個過程稱為數(shù)據(jù)的工業(yè)化生產(chǎn)體系,在這個基礎上,我們會仰賴一些專業(yè)的分析師團隊去own,仰賴于算法工程師挖掘數(shù)據(jù)價值,真正去幫助我們做數(shù)據(jù)決策,然后去產(chǎn)生業(yè)務價值,最終一定是實現(xiàn)通過數(shù)據(jù)去建立數(shù)據(jù)決策能力,并面向市場進行一些應用的開拓,從而真正有效的使用,建立內(nèi)部協(xié)同、外部協(xié)同,提升整體的經(jīng)營水平。
具體如何基于明星需求去開展一些業(yè)務數(shù)據(jù)化的規(guī)劃和實施呢?從數(shù)據(jù)的維度,首先要建立ETL數(shù)據(jù)抽取清洗處理的能力,有專門團隊再進行探索性數(shù)據(jù)分析形成算法,去賦能整個溝通決策,相當于自動化分析,在此過程中構建數(shù)據(jù)產(chǎn)品,在現(xiàn)實世界中使用,完成整個閉環(huán)動作。
下面介紹我們建立的一套數(shù)據(jù)資產(chǎn)管理體系的方法論,我們叫它「盤理管用」。
從數(shù)據(jù)用起來的角度,根據(jù)業(yè)務場景,看數(shù)據(jù)是否已被收集、治理,是否已變成數(shù)據(jù)資產(chǎn)價值,所以叫「盤理管用」。但從我們思考的維度則相反,我們要關注怎么去盤、怎么去理、怎么去管,以及最終怎么去用。
當我們具備了這樣的數(shù)據(jù)中臺能力,具備了這樣的數(shù)據(jù)資產(chǎn)管理體系,我們就會進入到如何去賦能我們的業(yè)務,然后也分享我們在實踐過程中的一些經(jīng)驗。我們在跟一些企業(yè)做咨詢的時候,其實大家慢慢對算法這件事情會產(chǎn)生極大的認同,因為算法代替經(jīng)驗公式在今天是一個不可阻擋的潮流。那么對于公司來說,未來的競爭的態(tài)勢很可能會是每個公司所擁有的算法的數(shù)量和質(zhì)量的競爭,公司就需要去沉淀自己的算法平臺,去沉淀自己的算法模型,包括在集團管控、研發(fā)、制造、營銷、服務、人才,包括共享服務上,都需要有自己的算法模型,去真正的去一方面去提升人效,降低整個成本,另一方面就去沉淀自己的一些實實在在的競爭壁壘。
目前線下的傳統(tǒng)企業(yè),很多時候數(shù)據(jù)問題并不僅僅是數(shù)據(jù)不通或者數(shù)據(jù)變現(xiàn)的問題,很多時候還是數(shù)據(jù)有無的問題。想要具備淘寶一樣的數(shù)據(jù)化運營能力,那么它最大的數(shù)據(jù)來源會是哪里?從科學的角度來說,線下90%其實都是視圖聲的。而視圖聲數(shù)據(jù)大家都知道,它一定是非結構化數(shù)據(jù),那么我們就需要去解決這些非結構化數(shù)據(jù)的采集和結構化的問題。我們?nèi)绾伟选笖?shù)據(jù)原油」轉化為企業(yè)所需要的燃料,助推商業(yè)引擎?
奇點云提出了AI+DATA「云(智能)+端(感知)」解決方案,幫助更多企業(yè)實現(xiàn)數(shù)字化轉型,為他們賦能。
今天我們更多地還要去建立使用非結構化數(shù)據(jù)的能力,也就是奇點云在云端所提供的全場景智能化的企業(yè)轉型服務,圍繞整個數(shù)據(jù)中臺建設AI算法,通過360度數(shù)據(jù)管家?guī)椭髽I(yè)更好地掌握企業(yè)的數(shù)據(jù)現(xiàn)狀,及運用大數(shù)據(jù)咨詢解決發(fā)展中的重大數(shù)據(jù)問題,幫助客戶真正實現(xiàn)數(shù)據(jù)化企業(yè)運營,盤活企業(yè)的數(shù)據(jù)資產(chǎn),創(chuàng)造更多商業(yè)價值。
總結
以上是生活随笔為你收集整理的数字化转型趋势下的数据中台建设之道的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: SAP Spartacus delive
- 下一篇: jasmine fixture.debu