戳藍字“CSDN云計算”關(guān)注我們哦！

作者|安森來源|個推技術(shù)學(xué)院

安森，個推CTO

畢業(yè)于浙江大學(xué)，現(xiàn)全面負責(zé)個推技術(shù)選型、研發(fā)創(chuàng)新、運維管理等工作，已帶領(lǐng)團隊開發(fā)出針對移動互聯(lián)網(wǎng)、金融風(fēng)控等行業(yè)的多項前沿數(shù)據(jù)智能解決方案。

曾任MSN中國首席架構(gòu)師，擁有十余年資深技術(shù)開發(fā)與項目管理經(jīng)驗，在大數(shù)據(jù)處理系統(tǒng)、大規(guī)模并發(fā)平臺、分布搜索系統(tǒng)、手機應(yīng)用開發(fā)、無線通信領(lǐng)域和智慧金融系統(tǒng)等領(lǐng)域擁有豐富實踐經(jīng)驗。

引言

中國移動互聯(lián)網(wǎng)的發(fā)展見證了中國大數(shù)據(jù)行業(yè)的蓬勃發(fā)展。數(shù)據(jù)智能作為移動互聯(lián)網(wǎng)時代的自然產(chǎn)物，也是未來很長一段發(fā)展階段的核心所在。個推（每日互動）和業(yè)界的共識不謀而合，從2010年成立到現(xiàn)在，經(jīng)過多年的發(fā)展，從一家移動互聯(lián)網(wǎng)時代服務(wù)于開發(fā)者的基礎(chǔ)推送平臺服務(wù)商，已經(jīng)成長為創(chuàng)業(yè)板的上市公司，也是國內(nèi)首家在A股上市的數(shù)據(jù)智能公司。作為專業(yè)的數(shù)據(jù)智能服務(wù)商，個推立足開發(fā)者服務(wù)，將不斷致力于用數(shù)據(jù)推動產(chǎn)業(yè)智變。

圍繞“數(shù)據(jù)智能”主題，我將通過一系列文章進行闡述。本文主要從技術(shù)角度來探討數(shù)據(jù)智能中涉及的各個方面，希望通過這一系列內(nèi)容，能讓大家對數(shù)據(jù)智能以及所涉及的技術(shù)體系有一個比較清晰的了解。

本系列將從以下五方面展開：

01

數(shù)據(jù)智能時代的來臨：本質(zhì)和技術(shù)體系要求

核心內(nèi)容：我們根據(jù)個推在數(shù)據(jù)智能領(lǐng)域多年的實踐來講講我們對于數(shù)據(jù)智能的理解，并且從總體上提出對應(yīng)的技術(shù)體系要求。

02

數(shù)據(jù)智能下的數(shù)據(jù)資產(chǎn)治理思路

核心內(nèi)容：主要探討作為資產(chǎn)后的數(shù)據(jù)如何進行治理，需要具備的基礎(chǔ)，具體如何實施，最終保證數(shù)據(jù)資產(chǎn)的安全、合理使用、以及價值創(chuàng)造。

03

數(shù)據(jù)智能下的安全計算體系

核心內(nèi)容：在保證數(shù)據(jù)資產(chǎn)的所有權(quán)和使用權(quán)分開的前提下，目前可以采用的技術(shù)和方法論。

04

數(shù)據(jù)智能下的數(shù)據(jù)質(zhì)量保證體系

核心內(nèi)容：大數(shù)據(jù)之所以為大，是因為其規(guī)模以及多樣性，不同于傳統(tǒng)的小數(shù)據(jù)，可以很快去驗證其正確性，那么可以采取什么方法去保證數(shù)據(jù)的質(zhì)量及可檢驗性呢？

05

數(shù)據(jù)智能下的不同行業(yè)的業(yè)務(wù)探索實踐

核心內(nèi)容：隔行如隔山，數(shù)據(jù)智能也具有鮮明的行業(yè)區(qū)分性，這個主題會講述幾個我們涉及比較深的行業(yè)的探索實踐，并總結(jié)一些經(jīng)驗和教訓(xùn)。

正文

大數(shù)據(jù)的發(fā)展歷程

本文是系列文章的開篇，首先聊一聊我們理解中的數(shù)據(jù)智能的本質(zhì)；同時作為公司技術(shù)負責(zé)人，和大家探討一下基于技術(shù)體系的要求，也就是數(shù)據(jù)智能時代，要從數(shù)據(jù)中體現(xiàn)智能，從技術(shù)方面需要做哪些事情。

什么是數(shù)據(jù)智能，這個概念怎么來的呢？

記得從2010年開始，隨著移動互聯(lián)網(wǎng)的興起，大數(shù)據(jù)也隨之出現(xiàn)在各個媒體網(wǎng)站和行業(yè)論壇，大家見面都會問一句：“你們搞大數(shù)據(jù)了嗎？” 其實大家對大數(shù)據(jù)該如何加以應(yīng)用都不太清楚。

大數(shù)據(jù)的發(fā)展過程是什么樣的呢？下圖比較清楚地對此進行了詮釋。

我把它稱之為大數(shù)據(jù)成熟度模型。這個過程實質(zhì)上我們理解也是數(shù)據(jù)從工具變成為資產(chǎn)的過程，從一個輔助的東西變成生產(chǎn)資料的過程。現(xiàn)在在提的數(shù)字經(jīng)濟，很多人試圖對此進行理論定義，以便把數(shù)字經(jīng)濟和實體經(jīng)濟從概念上區(qū)分開來，我的建議是就從數(shù)字是否作為主要生產(chǎn)資料，是否作為核心資產(chǎn)這個角度去界定，會比較簡單明了。

從這幾年的實際發(fā)展來看，大數(shù)據(jù)基本上按照上圖的這個模型在演進發(fā)展。

2013年左右，企業(yè)已經(jīng)開始認知到數(shù)據(jù)價值，各個具有大數(shù)據(jù)生產(chǎn)環(huán)境的行業(yè)如電信運營商、政府、公安、金融等開始建設(shè)大數(shù)據(jù)平臺，收集并存儲企業(yè)業(yè)務(wù)產(chǎn)生的數(shù)據(jù)。同時，金融等行業(yè)也開始大量購買外部數(shù)據(jù)，希望通過外部數(shù)據(jù)快速挖掘數(shù)據(jù)的價值，彌補自身數(shù)據(jù)短缺的問題，不少從事數(shù)據(jù)聚合和相關(guān)服務(wù)公司獲得了發(fā)展機遇。

2015年，大數(shù)據(jù)進入到了監(jiān)測階段，通過數(shù)據(jù)大屏等形式，實現(xiàn)對業(yè)務(wù)的監(jiān)測，這是大數(shù)據(jù)最早、最先成熟的應(yīng)用方向。對于政府、央企及大型國企而言，數(shù)據(jù)大屏、領(lǐng)導(dǎo)看板等數(shù)據(jù)展現(xiàn)應(yīng)用是大數(shù)據(jù)最直接能夠反映價值的方式。

2017年，大數(shù)據(jù)平臺建設(shè)基本完善，單純數(shù)據(jù)展現(xiàn)開始難以滿足企業(yè)的多樣化需求，大數(shù)據(jù)開始與業(yè)務(wù)場景結(jié)合，基于大數(shù)據(jù)實現(xiàn)對業(yè)務(wù)問題的洞察，呈現(xiàn)出百花齊放的局面，分別應(yīng)用在金融領(lǐng)域的精準營銷和風(fēng)控反欺詐，公安領(lǐng)域的刑偵破案，工業(yè)領(lǐng)域的故障預(yù)測預(yù)警等。

企業(yè)對業(yè)務(wù)場景的洞察，單純靠簡單的數(shù)理統(tǒng)計已經(jīng)不足以滿足要求，因此，數(shù)據(jù)挖掘、數(shù)據(jù)建模技術(shù)應(yīng)運而生。AI建模平臺、數(shù)據(jù)科學(xué)平臺開始進入人們的視野，出現(xiàn)了一些主打建模平臺的創(chuàng)業(yè)公司，但更多公司將AI建模平臺內(nèi)化成自身的能力，基于AI建模平臺，形成解決方案，幫助企業(yè)客戶落地大數(shù)據(jù)應(yīng)用。

在2019年左右，大數(shù)據(jù)開始進入到業(yè)務(wù)決策階段，也就是說，由機器形成數(shù)據(jù)報表或者數(shù)據(jù)報告，業(yè)務(wù)人員進行決策變成機器直接給出決策建議，讓機器具備推理能力。例如，在外賣、出行場景，美團和滴滴的系統(tǒng)直接形成最佳調(diào)度方式，系統(tǒng)自動完成決策環(huán)節(jié)，將任務(wù)下發(fā)給騎手和司機。這種消費互聯(lián)網(wǎng)相對常見的場景，將在產(chǎn)業(yè)互聯(lián)網(wǎng)、企業(yè)業(yè)務(wù)場景中逐漸出現(xiàn)。也就是說，大數(shù)據(jù)開始從業(yè)務(wù)數(shù)字化階段向數(shù)據(jù)智能化階段邁進。

數(shù)據(jù)智能的特征和定義

從上節(jié)中的大數(shù)據(jù)發(fā)展歷程中，我們看到數(shù)據(jù)智能目前對應(yīng)的是決策、優(yōu)化以及商業(yè)重塑階段，也就是說讓機器具備推理能力；而這些能力意味著自然語言處理(NLP)、知識圖譜(Knowledge Graph) 等認知技術(shù)的逐漸成熟，這也是為何2018年NLP、知識圖譜成為市場的熱點的原因。因此，數(shù)據(jù)驅(qū)動決策，數(shù)據(jù)驅(qū)動業(yè)務(wù)發(fā)展的企業(yè)新需求，也必然會帶動一批數(shù)據(jù)智能公司的興起。

未來，隨著技術(shù)更加成熟，大數(shù)據(jù)會從決策進入到最后一個環(huán)節(jié)，也就是業(yè)務(wù)重塑。很多執(zhí)行環(huán)節(jié)可以由機器來實現(xiàn)，但仍然有很多環(huán)節(jié)需要人參與其中。因此，人機協(xié)同會迎來迅猛發(fā)展，從人工智能 AI (Artificial Intelligence ) 向人類智力增強 IA (Intelligence Augmented) 進發(fā)。

至此， 我們試著給數(shù)據(jù)智能做一個定義：數(shù)據(jù)智能就是以數(shù)據(jù)作為生產(chǎn)資料，通過結(jié)合大規(guī)模數(shù)據(jù)處理、數(shù)據(jù)挖掘、機器學(xué)習(xí)、人機交互、可視化等多種技術(shù)，從大量的數(shù)據(jù)中提煉、發(fā)掘、獲取知識，為人們在制定決策時提供有效的數(shù)據(jù)智能支持，減少或者消除不確定性。

大數(shù)據(jù)的發(fā)展歷程

數(shù)據(jù)智能首先需要有數(shù)據(jù)提供，而且數(shù)據(jù)在其中充當著核心資產(chǎn)和生產(chǎn)資料的角色，那么對于數(shù)據(jù)的治理就顯得尤為重要。什么是數(shù)據(jù)治理(Data Governance) 呢? 我們經(jīng)常聽到公司治理這個詞，公司治理在經(jīng)濟學(xué)上主要解決幾個問題：

所有權(quán)和經(jīng)營權(quán)如何分離？

公司所有者如何向職業(yè)經(jīng)理人進行科學(xué)的授權(quán)及監(jiān)督？

那么對應(yīng)地，數(shù)據(jù)治理也要解決類似的幾個問題：

數(shù)據(jù)（資產(chǎn)）有哪些？

如何讓數(shù)據(jù)所有權(quán)和使用權(quán)分離？

數(shù)據(jù)資產(chǎn)所有者如何向數(shù)據(jù)使用者進行科學(xué)的授權(quán)及監(jiān)督？

數(shù)據(jù)智能的所有手段其實都是在解決上述的幾個問題。關(guān)于數(shù)據(jù)治理方面的內(nèi)容我將在本系列的第二部分進行詳細描述。

同時，我們知道窮人和富人之間的差別在于對待財富的態(tài)度，富人更多的是從資產(chǎn)增值的角度去對待財富，想的是如何創(chuàng)造更多資產(chǎn)，并且讓資產(chǎn)不斷增值；窮人更偏向于從消費的角度去看待財富，賺來的錢更多的是用于消費。那么在數(shù)據(jù)智能時代，如果我們想成為一個“富人”，就需要考慮如何讓數(shù)據(jù)發(fā)揮更大的價值，如何找到其他合作者去聯(lián)合創(chuàng)造價值，但是數(shù)據(jù)不同于別的資產(chǎn)，其具有可復(fù)制性、難確權(quán)的性質(zhì)，這就需要我們?nèi)ソ鉀Q數(shù)據(jù)安全問題，也就是目前行業(yè)內(nèi)比較關(guān)注的安全計算技術(shù)，在本系列的第三部分我將對此進行詳細闡述。

還有一個需要我們關(guān)注的點是：大數(shù)據(jù)由于其具備的 4V 特性，特別是量大、種類多，有時候會讓我們對于其聚合或者產(chǎn)生的結(jié)果存疑，雖然有一些可以通過常識或者直覺去判斷，但是總是有說不出的味道。這就需要有一個質(zhì)量保證體系來讓我們對于數(shù)據(jù)從產(chǎn)生到最終的各個環(huán)節(jié)有一個完整的檢驗過程，本系列的第四部分會對質(zhì)量保證體系進行詳細描述。

在這里小結(jié)一下，數(shù)據(jù)智能的技術(shù)體系至少需要包含三個方面：

數(shù)據(jù)治理系統(tǒng)

數(shù)據(jù)質(zhì)量保證系統(tǒng)

數(shù)據(jù)安全計算體系

結(jié)語

數(shù)據(jù)智能作為大數(shù)據(jù)時代一個重要且激動人心的階段，機會與挑戰(zhàn)并存。作為本系列開篇文章，本文對該主題內(nèi)容進行了一個整體概述，后續(xù)會對具體內(nèi)容逐步展開，希望對大家有所幫助。

福利

掃描添加小編微信，備注“姓名+公司職位”，加入【云計算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

推薦閱讀：

• 微博宕機復(fù)盤：什么樣的技術(shù)架構(gòu)，可支持80個明星并發(fā)出軌？

• 漫畫 | Kubernetes帶你一帆風(fēng)順去遠航

• Android 告急！

• 超酷炫！Facebook用深度學(xué)習(xí)和弱監(jiān)督學(xué)習(xí)繪制全球精準道路圖

• 多地GitHub賬號使用受限；Python之父考慮重構(gòu)解釋器；62歲程序員埋邏輯炸彈 | 開發(fā)者周刊

• 3個核心差異, 告訴你為什么Libra永遠成不了比特幣！
  

真香，朕在看了！

總結(jié)

以上是生活随笔為你收集整理的【个推CTO谈数据智能】之本质及技术体系要求的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。