深度剖析数据中台提供的数据服务
數據中臺是“數據服務工廠”,所以,數據服務是數據中臺的核心能力。
那么,數據中臺都提供哪些數據服務呢?
?
現在行業里講的Data as a Service (DaaS),在Wiki中則特制基于SOAP的API服務。
data as a service is enabled by software as a service (SaaS).[1] Like all "as a service" (aaS) technology, DaaS builds on the concept that its data product can be provided to the user on demand,[2] regardless of geographic or organizational separation between provider and consumer. Service-oriented architecture (SOA), and the widespread use of API, has rendered the platform on which the data resides as irrelevant.[3]
?廣義的數據服務則可以理解為,為業務提供數據的服務。
金融數據服務
金融數據服務是目前商業化程度最高,最成熟的行業數據服務。全球有眾多的金融數據服務公司,比較有名的有Bloomberg,Wind,湯森路透等,而在國內,典型的金融數據服務機構就包括中國外匯交易中心。
?
拿外匯交易中心為例,它提供的服務主要有:市場數據,市場公告,指標數據,數據服務,而典型的數據服務類型分成了以下幾類:信息產品服務、數據接口服務、媒體數據服務、信息商數據服務。
公開數據服務
公開數據服務是將一些公共用途的數據以服務的形式提供出來,供所有的用戶使用。類似于國家統計局,政府公開數據等。
?
拿上海市公共數據開放平臺做例子:
上海市公共數據開放平臺,提供了三類數據服務:
數據產品,數據接口,數據應用。
知識數據服務
萬方數據是典型的知識數據服務的類型,提供學術研究類知識的數據服務。主要服務類型根據領域不同會有所差別,如下圖所示:
那么什么是數據服務呢?
?
? ? ? ?我個人覺得,通過某一種或多種方式提供數據,就是數據服務。
我們先梳理一下歷史上數據服務的五種類型。
?
數據產品:
一般是指可以下載的數據集,比如CSV/DOC格式存在的。例如:
?
數據接口:
通過特定的技術手段去調用其他系統,獲得數據的接口。
?
數據應用:
數據應用是指一個特定領域的數據及數據使用的應用系統,在上海公共數據平臺中,數據應用關聯到一個完整的獨立的APP。
數據服務的五種類型
從提供數據的技術方式上,我們可以將數據服務分為以下五種類型。
?
Data API
?
這是最常用的一種數據服務的形式,用戶通過請求/響應來訪問數據。優勢是很容易公布/訂閱這些API接口。這類數據接口服務一般包括參數,返回值,接口樣本,接口地址等。
常用的Data API是REST形式。
?
Event HUB
通過消息隊列(MQ)的方式,提供事件消息的數據服務,典型的架構如下圖所示:
?
Database
數據庫是最早的提供數據的服務形式,比如數據湖,當用戶需要數據的時候,直接提供一個數據庫訪問鏈接給到用戶,從而直接訪問這個數據庫里的數據。
目前企業的業務部門對于其他數據的訪問形式,數據庫是很重要的一種,典型的場景就是業務部門在開發業務應用的時候,需要數據,那么直接問數據部門要數據庫的訪問權限,然后自己基于這個數據庫去做數據開發,在系統中直接調用這些數據。
這樣的數據庫服務形式的優點是靈活,但是缺點也很明顯,沒有權限劃分,需要業務部門有專業的數據開發能力,并且無法追溯,最重要的是,當多個業務部門都利用這種方式訪問和使用數據的時候,會產生很多份數據拷貝,也就是企業數據不一致的重要的原因。
File
當數據量比較大,或者沒有比較好的訪問通道的時候,數據文件也是一種提供服務的形式。比如,通過FTP文件服務器等。
Terminal & APP
前面四種數據服務形式的本質都是提供某一種形式的數據集,而Terminal & APP的形式,則不僅包括數據集,還包括使用,訪問數據的方法和流程。
此類典型的樣例就是大智慧,同花順這樣的證券交易APP。
總結
我們從實時性,數據量,訪問頻率,可審計性,安全性等多個維度來對比以上五類數據服務。
| ? | 實時性 | 數據量 | 安全性 | 可審計性 | 便利性 | 易利用 |
| Data API | ***** | *** | ***** | ***** | ***** | ***** |
| Event Hub | ***** | **** | ***** | *** | **** | *** |
| Database | **** | ***** | *** | ** | ** | * |
| File | ** | ***** | ** | * | ** | * |
| Terminal & App | *** | *** | ***** | ***** | *** | *** |
在目前,數據中臺的語境里,主要趨勢是Data API,所以,我們下面重點來剖析Data API。
總結
以上是生活随笔為你收集整理的深度剖析数据中台提供的数据服务的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在FreeBSD8.2下配置SVN服务器
- 下一篇: 使用Spinner和setDropDow