簡介：本次分享介紹客如云如何利用阿里云大數(shù)據(jù)產(chǎn)品來建設(shè)數(shù)據(jù)中臺。 客如云是2012年成立的一家公司，覆蓋餐飲、零售、美業(yè)，還有其他的業(yè)態(tài)以及服務(wù)的一家綜合性的SaaS公司。到2020年為止，客如云已經(jīng)服務(wù)了60萬商家，幫助60萬商家實現(xiàn)了數(shù)字化、智能化的改造，接下來我們會覆蓋更多的商家。

客如云技術(shù)總監(jiān) 李浩

本次分享介紹客如云如何利用阿里云大數(shù)據(jù)產(chǎn)品來建設(shè)數(shù)據(jù)中臺。
客如云是2012年成立的一家公司，覆蓋餐飲、零售、美業(yè)，還有其他的業(yè)態(tài)以及服務(wù)的一家綜合性的SaaS公司。到2020年為止，客如云已經(jīng)服務(wù)了60萬商家，幫助60萬商家實現(xiàn)了數(shù)字化、智能化的改造，接下來我們會覆蓋更多的商家。

目前客如云是四中心的架構(gòu)，我們的研發(fā)中心在成都，硬件研發(fā)中心在深圳，總部在北京，銷售中心在武漢。接下來主要介紹我們的業(yè)務(wù)范圍：客如云是以軟硬一體的SaaS收銀服務(wù)為核心的，所以SaaS收銀系統(tǒng)的硬件和軟件是我們第一層，是我們的效率工具。第二層，我們和餐飲、零售的友商企業(yè)一起打造的人、財、物、客的生態(tài)系統(tǒng)。第三層，我們利用增值服務(wù)，比如營銷、供應(yīng)鏈、人效、商業(yè)智能、金融服務(wù)，還有大數(shù)據(jù)的應(yīng)用，去滿足各層級的商家的需求。從S1到S5，所有的大小品牌我們是全覆蓋的。我們的愿景是幫助客戶，幫助商家實現(xiàn)店開天下，客如云來，而我們從中能夠更好的服務(wù)于商家，幫助商家提效降本，去獲得更多的營收，降低更多的成本。
目前客如云整體的系統(tǒng)全部建設(shè)在阿里云的服務(wù)之上，保證了在較少的資源的情況下，支撐我們現(xiàn)在成為平臺級的公司。

接下來介紹一下，我們?nèi)绾卫冒⒗镌频漠a(chǎn)品來進行數(shù)據(jù)中臺建設(shè)的。大家都知道阿里巴巴的數(shù)據(jù)中臺是3個One的核心，One ID，One Data，One Service。在基礎(chǔ)設(shè)施的完善之上，首先我們要做到數(shù)據(jù)集成，所以我們利用了阿里云的DataHub、DataWorks、DTS等產(chǎn)品，把我們的業(yè)務(wù)數(shù)據(jù)統(tǒng)一到我們的Hadoop集群里面，然后我們現(xiàn)在再遷移到我們的MaxCompute里面，利用大數(shù)據(jù)的產(chǎn)品來進行整個數(shù)據(jù)倉庫的建設(shè)。MaxCompute幫助我們實現(xiàn)了整個離線數(shù)據(jù)的計算和存儲，包括數(shù)倉空間的建設(shè)，然后我們利用PAI建設(shè)了我們的算法中心和機器學(xué)習(xí)的樣板，利用Flink的技術(shù)打造了實時計算的平臺。我們在這些實時計算和離線計算的基礎(chǔ)之上，建立了統(tǒng)一的查詢服務(wù)。利用阿里云的Hologres產(chǎn)品，實現(xiàn)了我們的一體式查詢的One Service的理念。

在這個基礎(chǔ)上，我們保證了我們整個的數(shù)據(jù)應(yīng)用，包含我們內(nèi)部的數(shù)據(jù)應(yīng)用，BI的產(chǎn)品，還有外部的數(shù)據(jù)應(yīng)用，大屏，還有報表，還有整個的算法，智能推薦、精準營銷等這塊的整個的實現(xiàn)，建立了我們客如云的數(shù)據(jù)中臺，然后快速的滿足了我們的內(nèi)部用戶和外部用戶的數(shù)據(jù)需求。

接下來我們再講一下，在這個過程中，我們?nèi)绾卫冒⒗镌频漠a(chǎn)品來幫助解決我們的哪些痛點問題？

首先我們看到的是我們原先是自建的Hadoop集群，難以維護，因為成本很高。我們經(jīng)過了一年的努力，把整個Hadoop集群換成了MaxCompute，這樣的效果很明顯，我們的運維成本降低了1倍，計算速度增加了8倍，保證了我們快速交付ETL等計算處理的能力，給到業(yè)務(wù)線來使用。

第二個問題，我們遇到了很多數(shù)據(jù)安全的問題，自建的Hadoop集群沒辦法做數(shù)據(jù)審計，所以我們用到了阿里云的敏感數(shù)據(jù)保護產(chǎn)品SDDP，來進行數(shù)據(jù)的分級分類，保護我們的產(chǎn)品，實現(xiàn)數(shù)據(jù)的零泄漏。同時我們自建的Presto集群做交互式查詢時和我們的MaxCompute又不能相互融合，我們調(diào)研了以后發(fā)現(xiàn)Hologres的產(chǎn)品，相對來講比Presto性能更好一些，所以我們用Hologres的產(chǎn)品代替了Presto，保證了我們可以直接從MaxCompute里查詢，使整個交互實現(xiàn)了無縫對接。接著我們遇到了一些數(shù)據(jù)模型，數(shù)據(jù)建模的產(chǎn)品，目前還在調(diào)研Dataphin產(chǎn)品，實現(xiàn)整個的數(shù)據(jù)模型的建設(shè)。

我們最大的痛點是實時大屏的性能問題，這個時候我們發(fā)現(xiàn)用Flink的技術(shù)，再加上QuickBI能解決我們的前端和后端的問題。接下來我們以實時大屏為核心，來介紹一下我們怎么樣應(yīng)用的，然后怎么樣解決掉這個問題的。

數(shù)據(jù)大屏我們遇到的難點第一個是我們的數(shù)據(jù)源太多了，我們用到了MySQL、 RDS、MongoDB、Redis、ES等多種數(shù)據(jù)來源，我們要把這些數(shù)據(jù)來源統(tǒng)一的匯聚，解決掉我們的數(shù)據(jù)源多的問題。第二個是我們的大屏性能方面，現(xiàn)在我們數(shù)據(jù)量特別大，然后樣式又特別多，需求特別復(fù)雜，這個時候怎么樣去解決掉這個問題。接著是看到這些需求，生成這些數(shù)據(jù)后，如何快速的在前端展示，這也是一個很大的問題。所以我們在調(diào)研QuickBI產(chǎn)品的時候，發(fā)現(xiàn)確實是能夠解決我們這方面的問題。

我們再來看一下我們是如何解決掉問題的。第一個問題，我們其實主要還是要做數(shù)據(jù)的治理，源數(shù)據(jù)的管理，血緣關(guān)系，甚至是一些多數(shù)據(jù)源的處理，減少我們的現(xiàn)有的集群。第二個問題，因為數(shù)據(jù)量大，現(xiàn)在各類企業(yè)其實有著海量的數(shù)據(jù)，需要解決快速查詢的問題，方案就是我們利用阿里云的實時計算平臺，基于Flink開源技術(shù)，解決了我們整個的查數(shù)據(jù)速度的問題。我認為整個的阿里云的Flink技術(shù)確實是能夠更快的查詢到想查詢的海量的數(shù)據(jù)，它的性能和高擴展性我們確實是得到了體驗，我覺得在這塊領(lǐng)域阿里云還是名列第一的。而在整個大數(shù)據(jù)前端這塊，我們發(fā)現(xiàn)的問題是渲染慢。但是我們用QuickBI自定義拖拽，快速地去定義數(shù)據(jù)源，導(dǎo)入到不同的框標(biāo)里面，可以快速的查詢出來。

上面是解決了一些問題，接下來介紹客如云的實時計算平臺是怎么樣的架構(gòu)。我們通過4個層，基礎(chǔ)數(shù)據(jù)層，實時計算層、接口層和展示層來架設(shè)我們的實時計算平臺。重點講一下我們的實時計算層，計算層這塊其實我們有一些需求，不單是當(dāng)天的數(shù)據(jù)，比如說商家要看這個月現(xiàn)在為止我們的營業(yè)額是多少，他不但需要當(dāng)天的數(shù)據(jù)，還需要從8月1號到現(xiàn)在為止，所有的數(shù)據(jù)。所以它會體現(xiàn)到我們不但要有流表的接入，還要有維表的接入，還要有聚合計算，從而形成了一個數(shù)據(jù)流。多流的匯聚，實現(xiàn)了我們在接口層的調(diào)用的情況下，展示層能夠展示到我們當(dāng)天能滿足商家每個維度的需求的數(shù)據(jù)，就像我舉的那個例子一樣，能夠看到當(dāng)月到現(xiàn)在為止它的營業(yè)額是多少，這樣的一個場景。所以說我們實時計算的平臺主要是為了滿足業(yè)務(wù)各方面的需求。

接下來分享一下實際應(yīng)用的場景。我們已經(jīng)幫著一些菜市場實現(xiàn)了數(shù)據(jù)大屏。這塊的展示主要是當(dāng)天的銷量是什么，哪個銷量最好，這樣能夠幫助商家了解第二天進什么貨更合適。這個大屏的應(yīng)用實際上已經(jīng)是能夠幫助商家在實際的生活場景里面得到很好的體驗。

餐飲實時大屏是基于我們現(xiàn)有的數(shù)據(jù)，展示了一下我們中國餐飲大數(shù)據(jù)的一些情況，但這是只是代表一部分客人的數(shù)據(jù)。當(dāng)然這里面可以說客人的規(guī)模越來越大，我們做的也會越來越好，我們就可以展示出來到底中國人民喜歡點什么菜，哪個菜是最好吃的，大家喜歡什么樣的口味，我們都可以通過我們的實時數(shù)據(jù)計算，通過數(shù)據(jù)挖掘來發(fā)現(xiàn)出來。

BI應(yīng)用主要是為內(nèi)部客戶使用，我們的運營團隊、銷售團隊、研發(fā)團隊還有其他團隊，能夠保證我們整個的在數(shù)據(jù)的分析運營和輔助決策里面起到很大的作用，節(jié)省很多的管理層的成本和時間。利用我們的BI產(chǎn)品，可以解決這樣的需求。

總結(jié)一下主要介紹的三點，一個是客如云是干什么的？客如云是要幫助我們的餐飲、零售、美業(yè)的商家，實現(xiàn)店開天下、客如云來的愿景的SaaS公司。第二點是客如云如何利用阿里云的大數(shù)據(jù)產(chǎn)品來建設(shè)客如云的數(shù)據(jù)中臺。第三點是客如云如何利用實時大屏、我們的商家畫像產(chǎn)品以及其他大數(shù)據(jù)應(yīng)用產(chǎn)品，來賦能商家。

感謝大家！

更多大數(shù)據(jù)客戶實戰(zhàn)案例：
https://developer.aliyun.com/article/772449

原文鏈接：https://developer.aliyun.com/article/777588?

版權(quán)聲明：本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻，版權(quán)歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權(quán)，亦不承擔(dān)相應(yīng)法律責(zé)任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務(wù)協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權(quán)保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫侵權(quán)投訴表單進行舉報，一經(jīng)查實，本社區(qū)將立刻刪除涉嫌侵權(quán)內(nèi)容。

總結(jié)

以上是生活随笔為你收集整理的利用阿里云大数据产品建设数据中台？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。