導語

本文主要介紹商業策略技術團隊在預算平滑技術上的探索實踐，首先介紹了主流的預算平滑技術，然后結合具體業務場景，分享基于pacing方法的預算平滑技術在58的實踐應用和心得體會。

背景

按點擊計費(cost per click)的在線廣告是互聯網平臺變現的重要手段，當用戶點擊網站或APP里展示的廣告時，平臺就會收取廣告主相應的費用。廣義二價拍賣機制(generalized second-price auction mechanism)廣泛應用于競價類的在線廣告中，廣告主需要為廣告設定一個出價(bid)以及每天的廣告預算(budget)，廣告的出價會影響廣告在頁面里展示的排名和平均點擊價格(acp)，若當天的花費超過了每日的預算，廣告就會從平臺中下線，直到第二天恢復上線。
廣告主通常都希望能將廣告展示給更多的人，但受限于廣告的預算，在平臺的流量高峰時段內容易發生廣告的預算被迅速消耗、廣告過早的下線、廣告主的投放體驗差。針對廣告預算被快速消耗的問題，業界流行的做法是通過pacing的方式，將預算的消耗合理平滑的分配到一天中的各個時間段。58平臺上有大量預算非常有限的小微廣告主，通過預算平滑技術延長廣告的在線時長、降低廣告主的轉化成本十分必要。
本文主要介紹商業策略技術團隊在預算平滑技術上的探索實踐，包括以下幾方面：

• 主流的預算平滑技術簡介
• 58應用場景簡介
• Budget Pacing的算法原理
• 系統設計
• 上線效果
• 總結和展望

主流的預算平滑技術簡介

1、基于pacing的方法
在業界中主流的預算平滑技術是基于pacing的方法，大體可分為以下2類：
1) 調節廣告出價(bid modification)
通過調節出價從而影響競價成功的概率，從而達到控制預算消耗的目的。Mehta等人在論文[1]中提出了在每次廣告競價時，根據當前的預算消耗情況調節廣告的出價的方法，原理公式如下：

這種方法在實踐中存在2個難題：首先是在RTB(real-time bidding)類廣告中，競價環境不斷在發生變化，并不是一個穩定的環境，通過調節bid難以精準的控制廣告的預算消耗；其次，媒體方(SSP)通常都會設有一個底價(reserve price)，當調節后的出價低于底價時、廣告不被展示，影響策略的調節效果。
2) 調節廣告曝光概率(probabilistic throttling)
論文[2]和[3]則基于調節廣告曝光概率的方法，其原理是將廣告預算以某種方式(如根據一天中的流量分布或轉化的分布)分配至各個時間段，當某個時間段消耗的預算超過了計劃值，策略就會降低廣告的曝光量或減少廣告的競價次數，反之則增加。2、基于強化學習的方法
使用強化學習(reinforcement learning)的技術解決RTB廣告的出價策略已成為當前業界的研究熱點。通過將預算作為廣告競價的一個重要約束引入到RL模型中，可以更加優雅的解決預算的消耗過快的問題，并達成廣告主投放目標。相比基于pacing方法，基于強化學習的方法目前更多還處于研究階段。
這方面的典型研究如下：
1) 2017年張偉楠團隊在論文[4]提出將強化學習用于解決RTB領域的廣告出價問題。論文使用MDP模型(Markov Decision Process)對RTB的廣告競價問題進行建模，通過動態規劃(dynamic programming)的方式找到最優出價策略。文章在iPinYou RTB數據集上做了實驗，和多個基線出價策略相比，該模型可以在相同廣告消耗下獲得更多的點擊；模型還在Vlion DSP線上系統做了ab測，觀察到在該模型的控制下，廣告的預算消耗和點擊分布都更加平滑。
2) 2018年阿里發表論文[5]，提出了多智能體的強化學習(Multi-Agent Reinforcement Learning)來處理預算約束下的廣告出價。常見的RL方法只能為單個廣告主建立出價策略，該論文通過對廣告主的聚類和MARL方法，可以為多個廣告主確定最優出價策略。在離線實驗中，相比單智能體的RL方法，該模型幫助廣告主在有限預算的條件下獲得了更多的訂單量。

58應用場景簡介

我們在58房產、招聘、黃頁、二手車業務線上都落地了預算平滑策略。這4類業務有以下特點：
1) 以小微廣告主居多、每日的預算極為有限，若沒有預算控制策略廣告每天在線時間會很短，例如有些廣告每天的預算之內支持不到10次的點擊，在線時長不到10分鐘；
2) 產品區別大。黃頁的在線廣告屬于競價cpc類產品，房產屬于定價cpc類產品；此外，這兩類產品在廣告的售賣方式、召回排序等方面的邏輯都不同；
3) 流量構成較為復雜，廣告主在不同流量上的轉化成本有一定的差異。首先，從平臺角度，包含了PC、M、APP、小程序4種類型；然后，從場景角度，可以分為推薦、搜索、列表3類；其次，從分布角度看，流量在不同城市、一天里的不同時間段內分布差異大；
在具體實踐時，為了緩解小微廣告主集中消耗的問題，預算平滑策略需要能夠快速、精準的控制廣告的預算消耗情況；為了能夠適應不同的商業產品，預算平滑策略需要具有良好的通用性；為了幫助廣告主降低轉化成本，預算平滑策略還需要能夠幫助廣告主優先將廣告展示在低成本的流量上。
綜合以上需求，我們在實踐中采用了pacing方法，并核心參考了論文[2]中Linkin的做法，同時結合58的應用場景對算法做了改進。模型上線后在緩解廣告預算快速消耗，延長廣告在線時長，降低廣告主轉化成本上取得了較為顯著的效果。下面對我們的方法做詳細說明。

基于Pacing方法的預算平滑

基于Pacing方法的預算平滑，核心在于“計劃“與”控制“，具體如下：
1) 預算分配，即制定一個合理的預算消耗計劃。
例如可以將廣告預算按一天24小時劃分成24份，每小時的消耗不能超過對應的預算份額。一個合理的預算計劃可以幫助廣告主達成預算消耗目標、同時避免預算在某個時間段被集中消耗。
2) 預算控制，即按“計劃”控制廣告的消耗。
用戶點擊天然會滯后于廣告的展現，偶然出現的流量突增等因素都會給預算控制帶來了不小的挑戰。
后文將從這2個方面展開，論述我們在58業務場景下的做法。

1、預算分配(budget allocation)
要解決廣告預算快速消耗的問題，首先需要明確什么樣的消耗方式(即預算分配，budget allocation)是合理的。這是一個開放性的問題，在不同的業務場景下往往有不同的答案，常見的做法是按一天中流量、或轉化的分布情況進行分配，考慮到58是一個偏低頻的應用，每天的轉化分布波動較大而流量分布相對穩定，因此在實踐中我們采用基于流量的分布對預算進行調節。

在實踐中，各種內外部的因素都會影響模型的準確性，為了保證廣告主的預算消耗率目標，我們會假定每天22點之后的流量為0，即需要在前22個小時內完成廣告主的預算消耗目標，剩余的時間會放開budget pacing控制。

圖1 廣告請求量(歸一化后)的隨時間的累積分布圖

2、預算控制

在初期，我們使用的是Linkin的做法，即使用固定調節速率對PTR值進行控制，后期我們根據上線效果，改為使用基于PID控制的方法。具體如下：
?2.1、初版控制方法: 基于固定的調節速率

r是公式中一個很重要的參數，表示每次的PTR的調節的步長，它是一個不隨時間變化的值(因此我們稱這個方法為“固定速率”的調節)。在實踐中，我們通過數據分析和業務規則將流量劃分為2類，每類設置一個調節參數 。這是因為前文提到58有較為復雜的流量構成，不同的流量上的廣告的轉化率有較大的區別，通過為不同的流量設置不同的調節步長，可以使廣告優先展示在高轉化率的流量上，幫助廣告主降低轉化成本。
此外，廣告的預算通常是以天為單位設置的，每天凌晨自動重置廣告的消耗數據，因此我們也會初始化廣告的PTR值。為更好的幫助廣告主緩解快速消耗問題，目前我們對所有廣告都使用了較小的定值作為初始PTR值，在實踐中發現某些廣告的預算消耗率降低了，因此我們后續計劃為每個廣告設置不同的初始化PTR值。一個可行的做法是將廣告期望的曝光量和可用曝光量的比值作為初始值，廣告期望的曝光量是指將廣告預算消耗完所需的最小曝光量。
1.1. 改進后的方法: 基于PID控制PID調節器是一種線性調節器，是實際工業控制過程中應用最廣泛、最成功的一種控制方法。PID控制的主要優點在于：原理簡單，魯棒性強，當被控對象的結構和參數不能完全掌握，或得不到精確的數學模型時，應用PID控制技術最為快速有效。PID調節器的離散形式的微分方程如下所示：

其中，cost是廣告的消耗，pv是廣告的曝光，ctr是廣告的點擊率。我們使用統計的方法計算廣告的點擊率，對于新廣告則使用具有相似投放需求的其它廣告的平均點擊率。

系統設計

在廣告系統中，預算平滑功能的主要流程如圖3所示，由4個模塊組成。

• 實時統計模塊：使用實時處理框架Flink技術，通過消費消息隊列Kafka里的廣告實時展現和點擊(計費)數據，統計每條廣告在固定時間周期里的曝光量和預算消耗。
• 預算分配模塊：根據廣告的預算計算當前時間段內的計劃消耗(或計劃曝光量)。
• PID控制模塊：實現PID控制邏輯，根據廣告的計劃值和實際值的偏差、輸出廣告的PTR值。
• PTR過濾模塊：為本次請求召回的每條廣告生成一個[0,1]區間的隨機數，若該隨機數小于這條廣告的PTR值，該廣告在本次廣告請求中不參與競價，反之則參與。同時，在這個模塊中還會集成AB test分流功能(基于廣告的分流)和一些用于支持業務需求的功能(例如針對廣告的黑白名單等)。

圖3 預算平滑的主要流程

上線效果

通過線上ab測實驗觀察，基于PID控制的預算平滑策略取得了既定的業務目標：有效的緩解了廣告預算快速消耗的問題、并顯著增加了這些廣告的在線時長。同時得益于在線時長的提高、廣告受眾多樣性得到了提高，我們觀察到廣告主的轉化成本有較為明顯的降低。
基于PID控制的預算平滑策略上線后，我們隨機挑選一個預算較充足的廣告(圖4)和一個預算非常有限的廣告(圖5)，分別觀察實際控制效果。
在圖4中，藍線(ptr)表示該廣告一天中的ptr值的變化情況，黃線(target)代表該廣告的計劃累積曝光分布，紅線(base)表示該廣告在沒有預算平滑策略的情況下的累積曝光分布，綠線(exp)表示該廣告在預算平滑(基于PID)作用下的累積曝光分布。可以看出，在預算平滑的控制下，廣告的在線時長由13.83個小時延長至19.75個小時，增加了43%，同時廣告的預算消耗率持平、轉化成本有較明顯的降低，說明通過合理的預算分配能夠有效的提高廣告的在線時長。此外我們還看到通過PID控制，廣告實際累積曝光和計劃累積曝光分布基本吻合，說明了基于PID控制的策略有效。圖4 基于PID控制的預算平滑策略上線效果如圖5所示，該廣告主每日預算僅能支持4次點擊。當沒有預算控制策略時，廣告在線時間僅有7分鐘(base)，在上線預算平滑策略后，在線時間大幅增加至3小時(exp)。這里需要指出，對于預算非常少的廣告，為了幫助廣告主將預算向高轉化率的流量上傾斜、降低轉化成本，我們在實踐中會把流量分為點擊轉化率高(part1)和低(part2)2類，并將策略應用在低轉化率流量上。線上實驗可以觀察到，該廣告主的在part1上的曝光占比超從基線路的12%提升至94%，同時轉化成本顯著降低。圖5 基于PID控制的預算平滑策略上線效果

總結和展望

我們在58多個業務線的(cpc類)在線廣告產品中較為成功的落地了基于pacing原理的預算平滑策略，并在“延長廣告在線時長，降低廣告主轉化成本”的目標上取得了一定的成績。后續我們考慮將預算平滑和其它策略(如ocpc)相結合，通過強化學習的技術手段、智能化的幫助廣告主完成廣告投放，并實現廣告主業務目標。

參考文獻1、Mehta A , Saberi A , Vazirani U V , et al. AdWords and Generalized On-line Matching[C]// 46th Annual IEEE Symposium on Foundations of Computer Science (FOCS 2005), 23-25 October 2005, Pittsburgh, PA, USA, Proceedings. IEEE, 2005.
2、Agarwal D, Ghosh S, Wei K, et al. Budget pacing for targeted online advertisements at linkedin[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. 2014: 1613-1619.
3、Lee K C, Jalali A, Dasdan A. Real time bid optimization with smooth budget delivery in online advertising[C]//Proceedings of the Seventh International Workshop on Data Mining for Online Advertising. 2013: 1-9.
4、Cai H, Ren K, Zhang W, et al. Real-time bidding by reinforcement learning in display advertising[C]//Proceedings of the Tenth ACM International Conference on Web Search and Data Mining. 2017: 661-670.
5、Jin J, Song C, Li H, et al. Real-time bidding with multi-agent reinforcement learning in display advertising[C]//Proceedings of the 27th ACM International Conference on Information and Knowledge Management. 2018: 2193-2201.
6、Agarwal D, Chen D, Lin L, et al. Forecasting high-dimensional data[C]//Proceedings of the 2010 ACM SIGMOD International Conference on Management of data. 2010: 1003-1012.作者簡介劉楊，商業產品技術部-策略技術團隊算法資深開發工程師，主要負責58同城商業產品機制類策略(ocpc，預算控制)，以及在推薦流量上的廣告召回策略。

END

閱讀推薦

房產經紀人頁面錯誤信息采集方案58房產Nginx 網絡調優實踐如何設計打造金融場景下的業務平臺前端埋點統一接入方案實踐招才貓直聘安卓DU動態框架實現Hermes推送系統架構及實施(iOS)

總結

以上是生活随笔為你收集整理的ctr 平滑_预算平滑技术在58商业的探索与实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。