内容流量管理的关键技术:多任务保量优化算法实践
簡介:?對于新熱視頻的投放來說,每個視頻能投放的資源是十分有限的,如何科學地分配各視頻的曝光資源,增加每個視頻自身的曝光從而達到播放量最大化,是一個非常值得研究的問題。本文將分享阿里文娛高級算法工程師雷航在內容流量管理上的實踐,通過分析其中的關鍵問題,建立了新熱內容曝光敏感模型,并最終給出一種曝光資源約束下的多目標優化保量框架與算法。
一 業務背景
保量策略對于視頻內容來說,是一種很重要的投放策略。新熱視頻內容都需要增加自身的曝光資源來達到播放量最大化,而各場景(首頁、頻道頁等)的總體資源有限且每個抽屜坑位的日曝光資源有限,因此各內容的曝光資源分配存在競爭問題。另外,不同場景之間相互獨立,每個場景根據自身的目標進行效率和體驗上的優化,但是場景與場景之間流量協同無法通過優化單一場景來完成。
為內容分配曝光量涉及到關于曝光和點擊建模問題,以及內容的未來點擊量預測問題。內容曝光、點擊和播放等構成了一個復雜的非線性混沌系統,不僅取決于內容質量本身,也取決于內容更新時間、更新策略和用戶點擊習慣等。傳統的統計預測模型無法闡述外部環境的各種干擾因素以及系統的混沌特性,即無法從機理上描述系統本質。針對此問題,我們首先通過分析新熱內容的歷史曝光點擊日志,使用常微分方程建立了新熱內容曝光敏感模型,即pv-click-ctr模型(簡稱P2C模型)。在P2C模型基礎上,結合各場景和抽屜的曝光資源約束,給出一種曝光資源約束下的多目標優化保量框架與算法。
二 內容曝光敏感度模型
通常情況下,點擊PV(click)隨曝光PV增大而增大,即高曝光帶來高點擊。但是,內容消費者數量有限,給同一個消費者針對單一內容重復曝光并不會帶來更多的點擊量。這種點擊“飽和”現象可從內容的歷史曝光點擊日志觀察得到。受此現象啟發,我們根據內容曝光PV和點擊PV歷史數據特點,建立一種能夠描述內容點擊量隨曝光量變化趨勢的常微分方程(Ordinary Differential Equation, ODE)模型,即 pv-click-ctr (P2C) 模型,整體結構如圖3所示。
一個內容由于自身因素和外部環境的限制,對應的點擊量存在最大值或飽和值。當給定一個曝光量時,存在唯一的點擊量和飽和度。對于一個點擊量,飽和度定義為當前點擊量和飽和值的差距與飽和值的比值,即
對于任意一個內容,隨著pv的增大,click飽和度減小,且單位pv帶來的click增量(簡稱click增量)與當前click比值呈下降趨勢。也就是說,click增量與飽和度存在正相關關系,可用下式表示:
其中,為正相關系數。根據式(2),可以得到click隨pv增長的常微分方程模型。
對式(3)分離變量后兩端進行積分,可以得到
其中,和分別為初始pv和click。
對于式子 (4) 中的參數和,可采用最小二乘法擬合。這里首先需要對歷史pv和click數據以及參數進行過濾和預處理。
(a)樣本點過濾原則。分別在日歷史pv和click數據序列選取最大遞增子序列。
(b)參數預處理。由于點擊量飽和值的數量級通常很大,而相關系數數量級通常很小,為了避免“大數吃小數”的現象,分別對這兩個參數進行數據變換,即:
(c)樣本點預處理。為了避免最小二乘法在擬合參數時陷入局部最優,分別對歷史樣本(click值y,pv值x)進行數據變換,即:,。經過參數擬合過程,可得到單一內容pv-click函數關系。進而可進行pv-click-ctr預測,這里可采用有限差分的數值解法預測,也可將數據點代入式子 (4) 預測。
三 保量模型&算法
基于上一節建立的P2C模型,本節任務是在各場景和抽屜曝光資源有限的情況下,給出每個內容近似最優的曝光量。整體方案流程如下圖:
首先,基于pv-click-ctr預測的常微分方程 (ODE) 模型,針對內容池中每個內容,采用最小二乘擬合ODE中的兩個參數:click飽和值和click隨pv的固有增長率。從而給出每個內容pv-click函數關系。
第二,基于給定的優化目標和約束條件,可建立pv分配的多目標非線性優化模型。在將業務問題抽象為數學模型之前,有必要對模型中的符號進行說明,如下所示。
上述模型的優化目標包含兩個:多場景vv最大化,內容池內容ctr方差最小。需要注意的是,這里的ctr方差最小是曝光公平的一種形式化描述,用以平衡“過曝光”和“欠曝光”。約束條件分別表示了場景、抽屜、坑位和內容的曝光PV約束。由于目標函數我們采用數值方法求解,使得上述優化模型無法運用傳統的基于梯度的算法求解。而進化算法提供了一種解決方案,這里選取遺傳算法(GA)求解。需要說明的是,GA中的適應值函數計算采用了P2C模型。
四 實驗結果
我們選取多個新熱內容,分別給出P2C模型的預測效果以及保量模型的離線效果。這里的評估指標是均方根誤差 (RMSE) 和絕對誤差百分比 (APE)。分別采用P2C模型和平滑ctr方法[1]預測新熱內容的點擊量。從表中可以看出P2C模型可以有效預測點擊量,在RMSE方面優于平滑ctr方法。
線上實驗部分,我們建立了分桶實驗。基準桶采用人工策略保量;實驗桶采用本文提出的策略,實驗過程中關注和對比基準桶和實驗桶每日投放效果(CTR方差、策略在場景上的整體CTR等)。以下給出30天和7周的保量效果數據,與人工策略結果對比發現,保量策略在CTR方差和場景整體CTR方面均有不同程度的提升。特別地,在CTR方差方面,保量策略效果非常明顯,平均相對提升+50%。
五 總結 & 展望
內容保量策略旨在解決流量資源有限與需求過多之間的矛盾,為各個內容提供一種優化的曝光量建議,從而使得各場景的曝光資源能夠產生更大的價值。本文針對新熱內容的多場景VV保量需求,提出了一種資源約束下的保量模型和算法框架,此框架整體由預測和優化兩階段構成。我們在部分場景進行了離線測試以及分桶實驗,實驗結果反映了本文策略的可行性和有效性。未來需要持續探索和完善的有很多方面,如PUV保量、保量冷啟動問題等。
本文章已被KDD2020錄用
Hang Lei, Yin Zhao, and Longjun Cai. 2020. Multi-objective Optimization for Guaranteed Delivery in Video Service Platform. In Proceedings of the 26th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’20), August 23–27, 2020, Virtual Event, CA, USA. ACM, New York, NY, USA, 9 pages. https://doi.org/10.1145/3394486.3403352
參考文獻
[1]Xuerui Wang, Wei Li, Ying Cui, Ruofei Zhang, and Jianchang Mao. 2011. Click through rate estimation for rare events in online advertising. In Online multimedia advertising: Techniques and technologies. IGI Global, 1–12.
總結
以上是生活随笔為你收集整理的内容流量管理的关键技术:多任务保量优化算法实践的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 调查问卷 | 中国云原生用户调研,邀您参
- 下一篇: 3个因素看透 AI 技术架构方案的可行性