美團(tuán)點(diǎn)評(píng)作為業(yè)內(nèi)最大的O2O的平臺(tái)，以短信/push作為運(yùn)營(yíng)手段觸達(dá)用戶的量級(jí)巨大，每日數(shù)以千萬計(jì)。

美團(tuán)點(diǎn)評(píng)線上存在超過千萬的POI，覆蓋超過2000城市、2.5萬個(gè)后臺(tái)商圈。在海量數(shù)據(jù)存在的前提下，實(shí)時(shí)投放的用戶在場(chǎng)景的選擇上存在一些困難，所以我們提供對(duì)場(chǎng)景的顆粒化查詢和智能建議，為用戶解決三大難題：

• 我要投放的區(qū)域在哪，實(shí)時(shí)和歷史的客流量是什么樣的？
• 在我希望投放的區(qū)域歷史和現(xiàn)在都發(fā)生過什么活動(dòng)，效果是什么樣的？
• 這個(gè)區(qū)域是不是適合我投放，系統(tǒng)建議我投放哪里？

如圖1所示，整個(gè)產(chǎn)品致力于解決以上三大問題，能夠?yàn)檫\(yùn)營(yíng)在活動(dòng)投放前期，提供有效的參考決策依據(jù)。

挑戰(zhàn)

• 場(chǎng)景查詢器需要展示的數(shù)據(jù)分為多種，所以數(shù)據(jù)過濾和組裝的時(shí)間，嚴(yán)重依賴于基礎(chǔ)數(shù)據(jù)量。但是隨著維度的下鉆，基礎(chǔ)數(shù)據(jù)量巨大，所以導(dǎo)致實(shí)時(shí)計(jì)算數(shù)據(jù)的響應(yīng)時(shí)間無法忍受。
• 數(shù)據(jù)來源均是RPC服務(wù)，需要調(diào)用的服務(wù)多種多樣，每一項(xiàng)服務(wù)的響應(yīng)時(shí)間都會(huì)影響最終的結(jié)果返回，難以提供前端接口的響應(yīng)時(shí)間。
• 需要組裝的數(shù)據(jù)各種各樣，沒有統(tǒng)一的數(shù)據(jù)模型，造成代碼耦合度高，后期難以維護(hù)針對(duì)上面的挑戰(zhàn)，我們給出如下的解決方案。

總體方案

如圖2所示，我們的總體架構(gòu)是分層設(shè)計(jì)的，最底層都是各類服務(wù)，再上層是預(yù)計(jì)算層和數(shù)據(jù)層，預(yù)計(jì)算層的作用很明顯，是連接服務(wù)和數(shù)據(jù)的核心層，通過拉取后臺(tái)服務(wù)的各類數(shù)據(jù)然后預(yù)計(jì)算形成數(shù)據(jù)層。再往上是中臺(tái)服務(wù)層，包含有核心功能是服務(wù)熔斷降級(jí)，以及通用服務(wù)，為具體業(yè)務(wù)邏輯提供統(tǒng)一的服務(wù)，最上層便是具體的業(yè)務(wù)邏輯了，對(duì)應(yīng)具體場(chǎng)景和需求。

后臺(tái)服務(wù)層

該層均是Thrift的RPC服務(wù)，提供各種投放的反饋數(shù)據(jù)。

數(shù)據(jù)組裝

后臺(tái)服務(wù)層數(shù)據(jù)特點(diǎn)是數(shù)據(jù)分散，結(jié)果多樣。數(shù)據(jù)組裝是對(duì)多個(gè)服務(wù)調(diào)用返回的結(jié)果，進(jìn)行過濾組合。

如圖3所示，服務(wù)1、2、3分別用黃色、藍(lán)色、棕色表示，A 、B、C均是調(diào)用對(duì)應(yīng)服務(wù)返回的數(shù)據(jù)，并且A、B的數(shù)據(jù)格式是列表，C是單個(gè)數(shù)據(jù)。最后一個(gè)虛線框，代表數(shù)據(jù)組裝算法，A和B的列表取交集，結(jié)果是長(zhǎng)度為2的列表，然后再依次調(diào)用服務(wù)3，單個(gè)獲取數(shù)據(jù)C。

數(shù)據(jù)組裝痛點(diǎn)

• 過程繁瑣，如取交集，單個(gè)組裝等等，組裝時(shí)間受數(shù)據(jù)量影響較大。
• 組裝過程中，混合著大量的服務(wù)調(diào)用，組裝時(shí)間受服務(wù)響應(yīng)時(shí)間影響較大。

后臺(tái)服務(wù)層重點(diǎn)在于提供數(shù)據(jù)，保證服務(wù)的可用性。但是在組裝過程中遇到以上痛點(diǎn)，導(dǎo)致出現(xiàn)請(qǐng)求響應(yīng)時(shí)間長(zhǎng)，用戶體驗(yàn)差等問題。規(guī)避此類問題的主要方法是將服務(wù)調(diào)用數(shù)據(jù)提前組合計(jì)算好進(jìn)行存儲(chǔ)，即數(shù)據(jù)預(yù)計(jì)算。

預(yù)計(jì)算層

主要作用在于提前計(jì)算數(shù)據(jù)，快速響應(yīng)請(qǐng)求，構(gòu)建過程依次為數(shù)據(jù)建模、構(gòu)建計(jì)算模式。該層主要包含以下核心功能。

• 構(gòu)建通用的數(shù)據(jù)模型，使上層控制和處理，更加高效。
• 保證計(jì)算速度的同時(shí)，計(jì)算大量基礎(chǔ)數(shù)據(jù)。
• 為了保證數(shù)據(jù)的實(shí)時(shí)性，實(shí)現(xiàn)高密度并行計(jì)算。

數(shù)據(jù)模型

在場(chǎng)景查詢器中，為前端提供的數(shù)據(jù)普遍都是上下級(jí)數(shù)據(jù)，比如頁(yè)面要展示全國(guó)匯總數(shù)據(jù)，同時(shí)會(huì)級(jí)聯(lián)展示下屬各省數(shù)據(jù)，如果展示省級(jí)匯總數(shù)據(jù)，那么同時(shí)級(jí)聯(lián)展示下屬各地級(jí)市數(shù)據(jù)。通過分析業(yè)務(wù)需求，發(fā)現(xiàn)需要的數(shù)據(jù)，大多是分上下級(jí)的這種級(jí)聯(lián)數(shù)據(jù)。經(jīng)過抽象，數(shù)據(jù)模型設(shè)計(jì)為樹形結(jié)構(gòu)，如圖4，左側(cè)為概念模型，樹的高度只有兩層，根節(jié)點(diǎn)為匯總數(shù)據(jù)，葉子節(jié)點(diǎn)為地理等級(jí)維度下鉆的數(shù)據(jù)；右側(cè)為實(shí)際使用的模型，因?yàn)榈讓泳S度的基數(shù)比較大，不利于下級(jí)數(shù)據(jù)的遍歷、篩選和分頁(yè)，所以實(shí)際使用中，下級(jí)節(jié)點(diǎn)數(shù)據(jù)以一個(gè)列表存儲(chǔ)。節(jié)點(diǎn)可以存儲(chǔ)若干指標(biāo)，具體類型根據(jù)地理維度而定。該模型的特點(diǎn)如下：首先支持地理維度繼續(xù)下鉆，其次在后臺(tái)服務(wù)支持的情況下，可以對(duì)歷史數(shù)據(jù)做預(yù)計(jì)算。

數(shù)據(jù)存儲(chǔ)和獲取

有了數(shù)據(jù)模型，需要確定一個(gè)高效的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)定位的方式，因?yàn)榻Y(jié)果數(shù)據(jù)大多是非半結(jié)構(gòu)化數(shù)據(jù)，而且低維度的的數(shù)據(jù)量數(shù)據(jù)量較大，所以采用NoSQL來存儲(chǔ)數(shù)據(jù)。

如圖5所示，ID表示地理維度值，level表示地理維度等級(jí)，數(shù)據(jù)節(jié)點(diǎn)（包含根和葉子節(jié)點(diǎn)）以ID+level為Key，轉(zhuǎn)化為樹形JSON格式數(shù)據(jù)存儲(chǔ)，通過ID+level可以唯一獲取到一個(gè)數(shù)據(jù)，在數(shù)據(jù)量不大的情況下，還可以通過級(jí)聯(lián)獲取下級(jí)模型，即圖中虛線代表級(jí)聯(lián)獲取下級(jí)數(shù)據(jù)。

計(jì)算模式

在構(gòu)建的數(shù)據(jù)模型基礎(chǔ)上，該層最核心便是預(yù)計(jì)算模式，從業(yè)務(wù)需求出發(fā)，數(shù)據(jù)需要在地理等級(jí)這個(gè)維度不斷下鉆，從全國(guó)開始，一直下鉆到POI級(jí)別，每個(gè)級(jí)別單獨(dú)分層計(jì)算，然后存儲(chǔ)計(jì)算結(jié)果。

如圖6所示，每一個(gè)矩形代表一級(jí)維度的計(jì)算，從左到右依次進(jìn)行維度下鉆，從全國(guó)的數(shù)據(jù)依次計(jì)算到商圈，計(jì)算分層每層單獨(dú)計(jì)算。

實(shí)現(xiàn)方式

如圖7所示，是計(jì)算模式的兩種實(shí)現(xiàn)方式，上半部分是串行層序計(jì)算，下半部分是并行層序計(jì)算。每部分從上到下分不同顏色區(qū)分不同的計(jì)算層次。每個(gè)矩形對(duì)應(yīng)一個(gè)具體ID的計(jì)算，t代表計(jì)算時(shí)間，這里假設(shè)所有計(jì)算單元的計(jì)算時(shí)間都相同，方便對(duì)比計(jì)算時(shí)間。

1）串行層序計(jì)算

如圖7，普通的串行計(jì)算，使用單線程計(jì)算，從上到下一層一層計(jì)算，這類計(jì)算的的痛點(diǎn)有兩處，第一，是時(shí)間復(fù)雜度的，每個(gè)計(jì)算單元的計(jì)算時(shí)間都會(huì)累計(jì)，如計(jì)算第一層的時(shí)間為3*t，第二層為4*t，第三層為6*t，總計(jì)耗時(shí)13t。第二，是空間復(fù)雜度的，因?yàn)閿?shù)據(jù)均是調(diào)用后臺(tái)服務(wù)獲取，計(jì)算一層的同時(shí)，需要把下級(jí)的數(shù)據(jù)都存儲(chǔ)起來，在計(jì)算下層時(shí)候，再遍歷數(shù)據(jù)計(jì)算。

2）并行層序計(jì)算

依賴于Apache Storm計(jì)算框架，將數(shù)據(jù)抽象成為流，然后通過不同的Bolt，分別計(jì)算不同維度的數(shù)據(jù)。每一級(jí)Bolt首先處理數(shù)據(jù)，然后將下級(jí)數(shù)據(jù)流入下一級(jí)Bolt。同時(shí)隨著維度的下鉆，計(jì)算的數(shù)據(jù)量變得越來越大，通過增加Bolt的并發(fā)度，加速計(jì)算。在預(yù)計(jì)算的過程中，主要利用了Storm高速數(shù)據(jù)分發(fā)和高密度并行計(jì)算的特性，規(guī)避了串行計(jì)算的痛點(diǎn)，首先時(shí)間復(fù)雜度大幅度降低，如圖7所示，因?yàn)榭梢圆⑿杏?jì)算，所以每一層的時(shí)間只花費(fèi)t，那么總耗時(shí)為3*t，當(dāng)然這樣估算是不準(zhǔn)確的，因?yàn)闆]必要在一層所有數(shù)據(jù)都計(jì)算完，才發(fā)射數(shù)據(jù)，可以在每一個(gè)計(jì)算單元運(yùn)行完畢，就發(fā)射數(shù)據(jù)。這樣就可以形成上下級(jí)數(shù)據(jù)計(jì)算流水線，進(jìn)一步壓縮計(jì)算時(shí)間。其次，空間復(fù)雜度大幅度降低，在Storm中，不需要保存下級(jí)數(shù)據(jù)，因?yàn)閿?shù)據(jù)是不斷流動(dòng)的，計(jì)算完畢就會(huì)被發(fā)射到下級(jí)Bolt。為此，本文采用Storm做預(yù)計(jì)算。計(jì)算拓?fù)浣Y(jié)構(gòu)如圖8。

如圖8所示，數(shù)據(jù)源頭（ChinaSpout）只有一個(gè)，該Spout內(nèi)首先計(jì)算全國(guó)到省的數(shù)據(jù)，包括全國(guó)匯總數(shù)據(jù)以及省一級(jí)的數(shù)據(jù)，然后立刻將所有省級(jí)數(shù)據(jù)流入下層的ProvinceBolt，這一層應(yīng)該考慮增加并發(fā)度，因?yàn)槭〉绞幸患?jí)的數(shù)據(jù)量級(jí)開始擴(kuò)大，設(shè)置并發(fā)度為40，在計(jì)算完省到市級(jí)數(shù)據(jù)之后，數(shù)據(jù)開始流入CityBolt，這一層到市級(jí)數(shù)據(jù)，并發(fā)度可以再擴(kuò)大，目前配置為300，計(jì)算完畢之后，數(shù)據(jù)流入最后一層BareaBolt，計(jì)算商圈到POI級(jí)別的數(shù)據(jù)。各級(jí)Bolt預(yù)計(jì)算產(chǎn)生的結(jié)果數(shù)據(jù)，都會(huì)存入數(shù)據(jù)層。存儲(chǔ)時(shí)遇到一個(gè)問題，在計(jì)算商圈到POI級(jí)別的數(shù)據(jù)時(shí)候，發(fā)現(xiàn)POI的量級(jí)比較大，不能直接存儲(chǔ)。為了不影響數(shù)據(jù)模型的通用性，我們隊(duì)POI級(jí)別的做了壓縮，然后再做存儲(chǔ)。為了保障數(shù)據(jù)的實(shí)時(shí)性，數(shù)據(jù)源會(huì)周期性產(chǎn)生數(shù)據(jù)流，更新預(yù)計(jì)算數(shù)據(jù)，其實(shí)這是Storm一類計(jì)算模式—–DRPC，數(shù)據(jù)源頭就是發(fā)射的參數(shù)，Storm的各級(jí)Bolt承擔(dān)運(yùn)算。

該層解決的最大問題，是計(jì)算速度慢的問題，通過高密度的并發(fā)計(jì)算，降低重復(fù)數(shù)據(jù)過濾，大量數(shù)據(jù)組合，以及批量數(shù)據(jù)獲取慢對(duì)響應(yīng)時(shí)間的影響。

數(shù)據(jù)層

預(yù)計(jì)算之后的數(shù)據(jù)需要存儲(chǔ)，供業(yè)務(wù)邏輯使用，存儲(chǔ)選型需要滿足以下幾點(diǎn)：

• 預(yù)計(jì)算產(chǎn)生的數(shù)據(jù)模型是樹形結(jié)構(gòu)，所以不適合關(guān)系型數(shù)據(jù)庫(kù)
• 數(shù)據(jù)具有時(shí)效性，數(shù)據(jù)過期會(huì)帶來臟數(shù)據(jù)
• 高密度并行計(jì)算，寫入并發(fā)量大，需要保證寫入速度
• 實(shí)現(xiàn)災(zāi)備，存儲(chǔ)不可用時(shí)候，需要服務(wù)降級(jí)

為了滿足以上幾點(diǎn)要求，選用美團(tuán)點(diǎn)評(píng)內(nèi)部研發(fā)的公共KV存儲(chǔ)組件Squirrel和Tair分別來做存儲(chǔ)和災(zāi)備。其中，Squirrel是基于Redis Cluster的純內(nèi)存存儲(chǔ)，squirrel 屬于KV存儲(chǔ)，具有寫入、查詢速度快，并發(fā)度高，支持?jǐn)?shù)據(jù)豐富，時(shí)效好的特點(diǎn)。而Tair支持持久化，性價(jià)比更高，適合用來做災(zāi)備，當(dāng)Squirrel不可用時(shí)，使用Tair提供服務(wù)。

熔斷層

預(yù)計(jì)算過程中，為了實(shí)現(xiàn)災(zāi)備，還需要使用熔斷技術(shù)實(shí)現(xiàn)服務(wù)降級(jí)。熔斷雖然在上層控制，嚴(yán)格來說應(yīng)該屬于數(shù)據(jù)層。

熔斷技術(shù)選用公共組件Rhino（美團(tuán)點(diǎn)評(píng)自研的穩(wěn)定性保障平臺(tái)，比Hystrix更加輕量、易用及可控，提供故障模擬、降級(jí)演練、服務(wù)熔斷、服務(wù)限流等功能），主要作用是：

• a. 保護(hù)服務(wù)，防止服務(wù)雪崩
• b. 及時(shí)熔斷，保障服務(wù)穩(wěn)定
  
• c. 提供多種降級(jí)策略，靈活適配服務(wù)場(chǎng)景
  

如圖9所示，虛線框，代表Rhino控制的區(qū)域，request1到來的時(shí)候，squirrel沒有問題，正常提供服務(wù)。request2 到來的時(shí)候，訪問squirrel發(fā)生異常（超時(shí)、異常等），請(qǐng)求被切換到tair。在squirrel恢復(fù)的過程中，Rhino會(huì)心跳請(qǐng)求squirrel，驗(yàn)證服務(wù)可用性。request3請(qǐng)到來squirrel此刻已經(jīng)恢復(fù)正常，由于Rhino會(huì)周期檢測(cè)，所以請(qǐng)求再次被切換到squirrel上恢復(fù)正常。

中臺(tái)服務(wù)層

數(shù)據(jù)準(zhǔn)備好之后，還不能被業(yè)務(wù)邏輯直接使用，需要提供統(tǒng)一的服務(wù)，應(yīng)對(duì)多變的業(yè)務(wù)邏輯。該層主要解決如下問題：

• 數(shù)據(jù)模型修改對(duì)業(yè)務(wù)邏輯有影響，數(shù)據(jù)服務(wù)需對(duì)上層具體業(yè)務(wù)邏輯透明
• 業(yè)務(wù)邏輯對(duì)數(shù)據(jù)有部分通用操作，需要抽象通用操作，防止數(shù)據(jù)業(yè)務(wù)緊耦合
• 存儲(chǔ)不可用的時(shí)候，需要服務(wù)熔斷和降級(jí)，降低對(duì)業(yè)務(wù)邏輯的影響
• 服務(wù)擴(kuò)展增強(qiáng)能力，不能影響正常業(yè)務(wù)邏輯

該層對(duì)外提供RPC服務(wù)，直接處理數(shù)據(jù)模型，提供數(shù)據(jù)分頁(yè)、數(shù)據(jù)壓縮、數(shù)據(jù)解壓、數(shù)據(jù)篩選、數(shù)據(jù)批量提取以及數(shù)據(jù)原子提取 等功能，基本覆蓋了大部分對(duì)數(shù)據(jù)的操作，使得業(yè)務(wù)邏輯更加簡(jiǎn)單。提取數(shù)據(jù)的時(shí)候，加入Rhino實(shí)現(xiàn)服務(wù)熔斷和降級(jí)，為業(yè)務(wù)邏輯層提供穩(wěn)定可靠的服務(wù)。因?yàn)樵搶又苯硬僮髂Ｐ蛿?shù)據(jù)，所以即使數(shù)據(jù)模型有改動(dòng)，也不會(huì)對(duì)業(yè)務(wù)邏輯造成影響，大大降低數(shù)據(jù)和業(yè)務(wù)的耦合。另外該層支持服務(wù)橫向擴(kuò)展，在消費(fèi)者大量增加的情況下，仍然能保證服務(wù)可靠運(yùn)轉(zhuǎn)。

通過一系列的抽象和分層，最終業(yè)務(wù)邏輯直接使用簡(jiǎn)單的服務(wù)接口就可以實(shí)現(xiàn)，客戶端的響應(yīng)從最開始的十幾秒，提升到1秒以內(nèi)，并且數(shù)據(jù)和代碼之間的耦合大幅度降低，對(duì)于后面的業(yè)務(wù)變化，只需要修改數(shù)據(jù)模型，增量提供若干中臺(tái)服務(wù)接口，即可滿足需求，大大降低了開發(fā)難度。

作者簡(jiǎn)介

• 張騰，美團(tuán)點(diǎn)評(píng)系統(tǒng)開發(fā)工程師，2016年畢業(yè)于西安電子科技大學(xué)，同年加入招銀網(wǎng)絡(luò)科技，從事系統(tǒng)開發(fā)以及數(shù)據(jù)開發(fā)工作。2017年加入美團(tuán)點(diǎn)評(píng)數(shù)據(jù)中心，長(zhǎng)期從事BI工具開發(fā)工作。

招聘信息

最后插播一個(gè)招聘廣告，有對(duì)數(shù)據(jù)產(chǎn)品工具開發(fā)感興趣的可以發(fā)郵件給 fuyishan@meituan.com。

我們是一群擅長(zhǎng)大數(shù)據(jù)領(lǐng)域數(shù)據(jù)工具，數(shù)據(jù)治理，智能數(shù)據(jù)應(yīng)用架構(gòu)設(shè)計(jì)及產(chǎn)品研發(fā)的工程師。

總結(jié)

以上是生活随笔為你收集整理的智能投放系统之场景分析最佳实践的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。