內容:第5章 大數據分析平臺實踐

時間:2022年8月7日

---

5.1 大數據分析平臺的前世今生

5.1.1 大數據分析平臺構建的背景
????????構建一個大數據分析平臺，結合多個業務系統，從中抽取海量數據進行管理、整合、分析和利用；從中發現潛在問題和有價值的規律，并通過可視化的方式進行展現；能夠為管理層提供科學決策的支持，提升企業的業務能力和效益，確保數據驅動業務增長。

????????因此，大數據分析平臺可以使企業對數據、效率的要求逐步提高。企業構建大數據分析平臺，歸根到底是構建企業的數據資產運營中心，發揮數據的價值，支撐企業業務的飛速發展。

關于大數據分析平臺：

從名字可知，他是由大數據+分析構成的——數據的價值發揮、大數據分析平臺的建設是相輔相成的，大數據分析平臺會把業務分析結果和商業價值通過平臺的形式更友好地展現給用戶。

1.BI（Business Intelligence，商業智能）先于大數據出現。

2.兩者是緊密關聯的、相輔相成。BI如果沒有業務管理的應用工具，也不產出任何的商業分析，大數據就沒有價值轉化的工具，就無法把數據的價值呈現給用戶，也就無法有效地支撐企業經營管理決策；? ? ? ?同時，大數據是基礎，沒有大數據，商業智能就失去了存在的基礎，沒有辦法快速、實時、高效地處理數據，支撐應用。

大數據平臺的功能應用
大數據分析平臺要實現數據的共享和交換，將各個應用系統的數據進行集成和整合，使來源各異、種類不一的各類數據可以相互使用，豐富數據的來源，能夠把各個業務數據串聯起來，實現數據的共享和應用。

大數據平臺與數據挖掘分析，之間的功能實現

大數據分析平臺在底層，采用大數據主流的框架和系統對數據進行統一存儲，為數據的挖掘和分析打好基礎。最后，大數據分析平臺提供大數據分析與決策能力。大數據分析平臺采用數據挖掘、數理統計等相關技術，構建大數據分析框架，提取數據中隱含的、未知的、極具潛在應用價值的信息和規律，為企業的各項工作提供決策和指導。

圖5-1所示為大數據使用的金字塔模型，數據基本有以下使用流程

自上而下：

• 數據量增大；
• 數據維度增多，對每一層的數據要求也不一樣，而且越往下層深入；
• 獲取數據的門檻變高，需要更專業的大數據工程師參與；
• 對用戶越不友好，獲取數據的效率和可視化程度會越低；

5.1.2 企業實現大數據分析平臺的方式

通過前面介紹的數據倉庫和大數據管理系統等方式，已經可以對數據進行有效的存儲和管理了。然而，這些海量的數據并沒有得到有效的統計分析和展現，并沒有對業務形成有價值的數據支撐。
企業對大數據分析平臺的應用目前主要有以下三種：
（1）【前人栽樹，后人乘涼】在開源產品上搭建大數據分析平臺。

優點：前期可以迅速搭建一個可用的大數據分析平臺。

缺點：1.準備工作繁瑣，需要對“開源產品”的細節了解得比較清楚

? ? ? ? ? ?2.如果后期根據業務做自定義擴展或者維護變更，則需要修改源碼.

補充:? ?現在市場上主流的在開源產品上搭建的大數據分析平臺主要有Airbnb開源的Superset、Grafana等。
（2）【有錢能使鬼推磨】商業版付費大數據分析平臺。

現在市面上有很多比較通用的BI分析平臺:

????????例如比較流行的Tableau、BDP等;

????????從埋點開始,全流程數據服務的GrowingIO、神策數據等。

適用于:????????沒有研發資源投入的企業，可以考慮采用商業軟件服務，還包括一些定制的業務分析等，這些公司一般會根據企業的數據量級收費。
（3）【君子以自強不息】自建大數據分析平臺。

現狀:????????現在很多中型以上的公司，都會配備自己的大數據部門進行數據的存儲、清洗、分析、展現等工作，也有足夠的研發實力自建大數據分析平臺.

優點:???????可以根據自己的業務定制開發，實現滿足自身業務需求的平臺;

缺點????????當然就是要投入一定的研發資源，前期需要有一定的技術積累。

無論用哪種方式實現大數據分析平臺，都要滿足三大構建原則，以確保大數據分析平臺的實用性。
（1）安全性。大數據分析平臺應采取安全性高的訪問認證機制，同時在平臺建設中要充分重視系統自身的安全性，并保證數據的安全性。
（2）可擴展性。大數據的分析和應用是一項長期持久的工作，隨著業務的變化，企業對于大數據分析平臺的功能和要求也會不斷變化。因此，要求平臺的設計和研發要具有良好的擴展性，以滿足業務不斷發展變化的要求。
（3）靈活性。在平臺的設計和實施中要考慮與其他應用系統的整合，能夠實現多種類型的接口，并可以靈活地接入其他系統中，拓展服務類型和服務能力。

5.2 大數據分析平臺應用實戰

5.3 移動端大數據分析平臺

[詳見原著,本文不做陳述]

5.4 大數據分析平臺走進傳統行業
????????隨著移動互聯網紅利的消退，各大企業紛紛開始注重2B業務的發展，并加速向傳統產業滲透，驅動生產方式和管理模式變革，推動制造業向網絡化、數字化和智能化方向發展。在這個過程中，大數據分析平臺作為數據展現和業務分析的一種產品形態，發揮了越來越重要的價值。

總的來說，工業大數據分析平臺的應用價值主要可以體現在以下幾個方面：

• （1）提高企業生產效率，通過數據驅動，提升產品的質量。
• （2）利用數據精細化管理，可以降低生產成本，找出關鍵環節，真正實現節能減耗。
• （3）為產品創新提供數據依據，加速產品迭代，根據用戶需求實現大規模生產。
• （4）利用智能化管理，加快企業生產，提升企業競爭力。
  ?

案例:

在工業大數據方面，聯想推出了針對工業大數據的一站式應用平臺Leap系列解決方案，圖5-50所示為Leap家族中LeapIOT的產品架構圖。LeapIOT已經先后與汽車、醫藥流通、重裝制造、能源、教育等多行業客戶展開合作，通過聯想大數據平臺Leap家族產品和解決方案向行業客戶賦能。
?

圖5-50 LeapIOT產品架構（圖片來自聯想大數據官網）?

?

總結

以上是生活随笔為你收集整理的读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY5的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。