大数据资产管理在腾讯游戏的实践
| 導語 數據是資產的概念已經成為行業共識。然而現實中，對數據資產的管理和應用尚處于摸索階段，企業數據資產管理面臨價值評估難、數據標準混亂、數據質量不高、數據安全威脅等諸多挑戰?；蕪?013年開始啟動此項工作，歷經從數據管理到治理，再到資產化的轉變。自年初起，我們啟動實施大數據資產管理體系的建設，本文分享在此過程中的一些實踐經驗與思路。
數據是資產的概念已經成為行業共識。然而現實中，對數據資產的管理和應用尚處于摸索階段，企業數據資產管理面臨價值評估難、數據標準混亂、數據質量不高、數據安全威脅等諸多挑戰。互娛從2013年開始啟動此項工作，歷經從數據管理到治理，再到資產化的轉變。自年初起，我們啟動實施大數據資產管理體系的建設，本文分享在此過程中的一些實踐經驗與思路。
數據資產管理（DAM，Data Asset Management）是指規劃、控制和提供數據及信息資產的一組業務職能，包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序，從而控制、保護、交付和提高數據資產的價值。--來源《數據資產管理實踐白皮書3.0》，即通過流程、制度、技術等手段，去提升數據升值能力，助力產品成功，最終提升企業的競爭力。
數據資產管理的定位及架構如上圖所示，其處于大數據平臺（中臺）與數據應用的中間層，連接著底層的大數據平臺（中臺），覆蓋數據全生命周期管理，同時為上層數據應用提供高質量數據的保障能力。
目前我們互娛增值服務部服務于50+款端游，40+款頁游，還有300+多款手游，每日數據量級為17000億條，每日數據增量約為260TB，總存儲是80PB的規模。技術棧是使用自研結合開源的混合模式，采用了TEG數平的TDW（騰訊大數據倉庫）來構建離線數據的計算與存儲，結合自研的高性能分布式計算Bitmap技術實現多維、下鉆分析。
對于具體的數據服務場景，相信大家對上圖這些界面不會感到陌生。圖中只是我們數據增值服務的部分呈現，包括玩家在游戲里面的歷程、對戰的戰績信息、個人中心、社區交友、任務系統等服務。其中，任務系統是基于我們實時能力構建起來的一個數據應用。
除此之外，我們還面向IEG內部的游戲AI、游戲反外掛系統、鐵算盤、游戲助手、渠道管理等提供數據服務。
騰訊游戲數據資產管理體系如上圖所示自下而上主要分為元數據管理、資產管理四大核心組成、資產管理平臺以及數據增值服務等四個層次。
最底層是元數據管理。元數據在整個資產管理體系中是最核心的一個部件。我們會定制實現整個元數據的標準化，存儲的數據包含業務元數據、技術元數據，提供元數據的檢索、開放等能力。
往上一層便是資產管理四大核心部分：
1、價值評估，我們定義出用于評估整個數據價值的評估模型以及數據度量報告，我們認為這是資產管理中最核心的一個點，可以協助決策者清楚了解數據的價值在哪里，到底有多大。
2、數據運營，其覆蓋了整個數據生命周期管理，包含數據的安全、質量、成本等部分，我們也采用了DevOps和AIOps這些業界先進理念貫穿整個數據運營過程，參與這個職能的角色我們也叫DataOps。
3、數據治理，此概念更多強調的是數據標準化、制度、流程等這一系列的內容。這里不詳細展開。
4、數據集成，從數據的采集、傳輸、整合、到落地存儲，通過標準化去統一不同類型、格式的數據源，按指定規范去實施轉換，并最終落地至統一的大數據倉庫，且訪問數據采用統一標準，這里采用的是TDW提供的方案。
最上層為資產平臺能力。研發的思路遵循《數據資產管理實踐白皮書3.0》，并結合我們的服務場景，提供多樣及個性化的數據資產管理服務。最頂層則為我們提供的數據增值服務，比如我們提供數據可視化與分析、營銷活動的支持、消息推送、渠道管理等一系列服務。以上便是我們數據資產管理的技術體系架構。
針對如何去評判我們整個資產管理建設的能力水平這個問題，我們總結出“三好”能力模型。首先是“用好”數據資產，二是“管好”數據資產，三是“看好”數據資產。
其中“看好” 資產屬于數據安全的范疇。數據是企業里面的核心資產，也涉及了數據泄露與用戶隱私等問題，一旦發生數據安全事件，對公司的損失是巨大的，甚至是災難性的，所以我們認為“看好” 資產是重中之重。踐行“三好”能力模型的過程中，我們會根據不同的角色去定義并提供相應的服務能力，我們內部資產管理平臺研發與設計也是基于此評估模型。
元數據管理在整個數據資產管理中占有舉足輕重的地位，接下來介紹我們是如何對其進行設計和構建的。首先它要具備以下幾個能力特點：
1、數據的異構適配和集中存儲。隨著公司歷經不同的發展階段，必然會出現多種多樣的技術棧，則不可避免的產生各式各樣的數據類型，比如說關系型、NoSQL類型，還有一些文本的，一些業務接口、業務系統等。怎樣去采集并且適配如此之多的數據類型，怎樣去描述和定義數據，其難度是非常大的，因此我們定義了一個適配層，此做法和業界主流方案有些類似。具體我們構建了一個模型橋接器來實現智能轉換，去適配異構和集中存儲。
2、元數據到底存儲了什么數據？舉個例子，游戲行業是有很多指標去衡量它的運營狀態。比如說7日留存率，意思是說這個玩家注冊當天往后去推移7天有沒有流失，有些業務平臺是按注冊后第二天才開始計算，這樣同一個指標大家就理解不一樣，自然導致計算結果不一致。所以我們將游戲內部累計兩、三千個業務指標，連同它的計算邏輯等描述都存儲到元數據里面去，然后再開放給所有的業務平臺。比如DataMore（智能游戲運營方案）、圖靈（數據挖掘分析平臺），一體化（游戲指標開發平臺）等內部平臺，大家都采用一套標準，包括指標名稱及計算邏輯，這樣便可有效避免數據不一致的情況。
3、描述數據，其為元數據的本質，在元數據管理中發揮核心作用。我們會定義數據的來源，包括責任人，創建與更新時間，分區號及數據字典等一系列的描述信息，以及表與表之間的關系等。通過數據描述模型，數據使用者可以看到整個數據的全景以及數據的描述信息，可大大降低其使用數據的成本，最大化利用數據的能力，協助產品做精細化的運營，更好地完成運營KPI。
4、自動構建血緣關系鏈，這是一個非常重要的考核指標，后面會詳細講解。
5、擴展能力，輔助運營。元數據不僅包括業務的元數據，還包括技術的元數據、運維日常工作過程當產生的告警指標及閥值，甚至是AIOps模型的算法等，都會統統存儲至元數據中，以輔助我們做好運營，提供運營策略支持。
以上是我們元數據構建的一些特點。
?
以上是某游戲元數據管理功能截圖，包含一個數據全景及數據屬性描述的功能，可以清晰看到數據責任人歸屬、創建時間、最后變更時間，它的表結構、字段、信息等信息，這些信息對數據的使用者而言都是非常有用的。
四、?騰訊游戲數據質量管理介紹
下面介紹我們構建數據質量體系的過程。不合格、不具備交付價值的數據則為垃圾數據，所以數據質量的保障是一個核心點。數據質量體系的構建分為以下四個步驟：
第一，定義數據的標準，包括它的格式、類型以及上報模式等均需統一標準化。我們內部通過制定好的標準去約束，比如定義一張數據表的描述，包含數據類型，表名稱，字段類型與長度等，研發人員則根據此格式打日志，標準貫穿采集、傳輸、轉換、存儲全鏈路。
第二，定義質量規則。此部分同業界一致，我們也采用完整性、一致性、準確性及延時性等監控維度。具體介紹如下：
1、“完整性”，比較好理解，即數據不能缺失，不能出現“采集一萬落地八千”的不合格情況，此指標我們采用數據對賬的方式去做數據驗證。
2、“一致性”，相當于數據定義的標準化，意思是怎么讓內部所有人按照指定規則去理解數據，且涵蓋各個技術平臺、業務線系統。比如我們定義一個ipv4的IP地址是15位，定義手機號碼為13位的或者國內的郵編地址為6位，這個理解上大家肯定是統一的，我們也會將這個標準存儲到元數據里面去，各業務平臺一起去遵循這個標準。最終達成一致性。
3、“準確性”，數據中避免出現亂碼或者不是預設類型的值。
4、“及時性”，從數據的采集到數據應用，它的時效性是否滿足業務的需求，比如正常打完一個對局時會收到系統推送的一條消息，內容可能是一個道具或一個金幣，這個及時性要求是非常高的，絕不允許出現對局完成后兩個小時再把金幣推送出去，這就沒有意義了。這是一項非常重要的數據質量考核指標，對應用層面的影響也是非常敏感的。
第三，質量監控。定義完這些規則和標準后，接下來便是質量監控，包括對帳、心跳、內容檢查還有延遲告警等相應的保障。
第四，質量報告。我們會給產品側輸出整體數據質量的趨勢報告，包括同比、環比及各個質量維度的達標率情況等，目前數據交付的質量都維持在三個九。
總結來說就是通過業務+流程+技術的手段來實現數據質量的總體保障。
上圖為一個非常典型的數據實時微服務的架構，從開始的采集到傳輸，再到離線的計算和存儲，還有一條實時分支做數據的轉發、透傳、會涉及到消息隊列以及流式計算，然后將數據的結果寫到Tredis（NoSQL）中。寫到NoSQL中的數據，來源可能是實時計算或者離線計算任務。研發人員會根據業務規則開發接口邏輯，調用數據存儲層，接下來研發會將接口交付至運維人員，進入完整的DevOps全鏈路，最終完成整個數據+業務邏輯的發布。整個應用過程會遇到幾點問題：
第一點是整個數據服務涉及到的環節眾多，只要其中一個環節出問題，故障的定位就非常困難。
第二點是業務層的數據異?；厮?#xff0c;難度更大。比如一個玩家看到戰報數據，正常的話應該是20級，結果顯示8級，如何快速確認數據從哪算的，經過哪個環節，屬于哪個業務邏輯、哪個項目、哪個邏輯指標以及哪個計算服務集群等。
第三點就是底層數據平臺故障，如何快速評估影響面。比如當離線計算平臺其中一個集群掛了，如何確認影響哪個項目、哪個接口、哪些指標、哪些功能，也無從去判斷跟定位。這里給出的解決方案是通過“數據”加“業務”的血緣組合來解決。
見上圖，我們的血緣數據貫穿從數據采集開始到最終的數據服務整個鏈路。首先將采集的粒度細到IP、端口與進程，業務表ID、計算的任務ID、透傳的表ID、計算業務指標以及Tredis里面的Key前綴，最終交付給接口的業務ID以及集群的ID，均上報至血緣數據庫。此時整個解決問題思路清晰可見，無論從上往下還是從下至上，均可輕易地實現問題的快速定位以及影響面的快速評估。
上圖為平臺截圖，是一張普通業務的血緣關系圖。從關系圖中我們可以快速了解數據從采集到應用中的全部處理過程，知道其部署資源信息、接口信息以及指標信息等。具備這些能力之后，則可運用其有效輔助運營。如，當一個計算任務出庫出現延遲，運維人員通過血緣監控可快速知悉此延遲可能會影響的項目、接口以及相應具體指標，且可快速啟動故障預案，如跟產品溝通，采取掛公告或補償性的動作等預案策略。
下面探討如何去做數據的生命周期管理，首先給出一個結論：數據生命周期管理的策略與數據的在線度有關。
數據在線度即為數據的活躍度，其隨時間推移，數據使用價值的降低不斷衰減，用于數據的在線程度和使用衰減情況。數據在線度主要受兩個方面因素影響：
第一， 其跟定義數據的重要級別有關系，我們共定義了“收入類”、“流水類”、“在線類”、“行為類”和“性能類”等。其中，“收入類”和“流水類”的重要級別比較高，故而打上四星或者五星的標簽。相應的，“行為類”或運維監控日志，重要級別則相對沒有那么高，為其打上一星或兩星的標簽。數據的重要級別由運營人員根據運營經驗定義。
第二，數據的價值，主要參考數據的熱度和數據的廣度。
數據在線度的關聯函數我們定義為：
其中V(t)為數據訪問熱度，W(t)為應用廣度， I為數據重要等級。
接下來介紹我們做資產價值評估的過程和方案。我們從三年前嘗試做這個事情，經歷了兩個階段，第一階段是數據的成熟期，第二是研究的觀察期，目前處于灰度放量階段。
在數據價值評估具體實施方面，我們提出了從“熱度”、“廣度”、“收益度”等三個維度，按照價值指標、評估模型、價值表現等三大評價流程進行價值評估的架構思路。
其中，關于數據的“熱度”，我們內部有一個共識，就是“只有當數據被使用了才有可能產生價值”，當然這是一個很籠統的說法。第二就是“廣度”，舉個例子，比如我們在國際某個機構去發布一個專利，結果發現谷歌也引用了、亞馬遜也引用了，Facebook和其他國內的公司也引用了，我們就認為這個專利是有價值的，這個理論相信不少人會認同，同樣我們在內部也是采用這樣的思路，“廣度”依賴的是我們的數據應用及功能模塊，只要跟數據耦合程度越高，我們就認為它的廣度就越大。第三就是“收益度”，即數據干預之后帶來多大的收益，比如帶來多少活躍用戶、UV、PV、流水等，這些數據直接上報給平臺，通過平臺去做模型評估，加上每個價值點權重去計算。這里我們通過A/B Test方案去做整個模型的訓練。
做資產管理價值評估需經過三個階段，第一是做指標的采集，第二階段是做評估模型的定制，最后一個階段就是價值的表現。我們會在平臺上看它的整個分數區間分布。下圖為某個業務的熱度跟廣度表現趨勢的情況。
最后總結一下做數據資產評估的意義。
數據資產評估是衡量投入產出比的重要依據。通常我們希望 “價值產出”能做到無限放大，同時我們又希望成本能越小越好、甚至沒有。成本核算的方法主流有“成本法”和“價值法”。其中，“成本法”是以數據成本來結算數據服務，“價值法”則認為數據服務的結算定價應該跟成本無關，跟價值有關。具體選擇因場景而定。如我們服務的是IEG內部用戶，數據服務結算的方式采用的是“成本法”，我們的目標是要助力產品成功，應盡可能幫助業務減少成本與支出，這樣的方式可以很好提升產品的競爭力。對于面向toB、toC或toG的業務場景，這時候用價值法也是合理的，因為這樣的機制有益于企業利益的最大化。
以上是在騰訊游戲實施數據資產管理整個歷程的一些思路，供大家參考與借鑒。中間磕磕碰碰，也引用與總結了業界現有的概念和思路。也感謝TEG數據平臺部給予我們專業的數據服務。一句話總結一下，我們還在路上，希望與大家一起共勉，謝謝大家。
向業界輸出方法論及服務方案，定制行業標準：
白皮書下載地址：
http://www.caict.ac.cn/kxyj/qwfb/bps/201812/P020181214608773379834.pdf
總結
以上是生活随笔為你收集整理的大数据资产管理在腾讯游戏的实践的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 反应式编程详解
- 下一篇： 腾讯云安全专家 Killer 告诉你，企