专访 | PP云技术副总监:如何使用机器学习算法优化分发链路
轉載聲明:本文轉自公眾號【PP視頻云】
4月21日PP云作為LiveVideoStack的特別支持單位,將在上海浦東新區陸家嘴軟件園蘇寧文創園區舉辦《多媒體開發新趨勢》系列沙龍,為大家展現新技術在音視頻領域的探索與實踐,以及新興應用場景和傳統行業的最新、最佳實踐。PP視頻云技術副總監曾小偉作為特邀講師,將為大家帶來《如何使用機器學習算法優化分發鏈路》的演講。今天先為大家透露一些演講內容的精彩摘要。
Speaker:
演講者曾小偉現擔任蘇寧云商數據云公司PP視頻云技術副總監。圖像編解碼、高性能計算出身;從事過AI(NLP)方向的工作,10年以上流媒體服務服務端開發與架構設計經驗,8+年以上團隊管理經驗。目前負責PP視頻云的架構設計與研發工作,承接蘇寧集團內部的視頻業務,推動視頻云平臺架構改進,提升服務能力;對外,提供優質的視頻SAAS服務。同時是多家科技類網站的執筆觀察員,PP視頻云長期特邀撰稿人兼執行主編。
Topic:
點播視頻(包括短視頻)壓制完成后,需要經過內部存儲和分發才能接入到視頻CDN,內部存儲分發的功能由點播視頻源站來實現。源站內部分發的過程中,視頻數據會通過大量的服務器節點,這些節點分布在不同地域、不同運營商的機房、不同的時間,連通性都是不斷變化著的。傳統的做法是根據運維經驗,配置固定的主備線路進行分發,缺點是線路發生擁塞和故障時,分發的質量會受嚴重影響甚至失敗。PP云則引入機器學習算法,實時生成轉發鏈路的方案,選擇最優質的網絡鏈路,提高分發速度。本次分享將對優化方案架構、模型、算法設計和實踐,以及未來發展做詳細介紹。
Abstract
1. 點播視頻源站介紹及分發鏈路優化的意義
PPTV新上線了一個電影,或者一些短視頻網站的用戶新提交了一個短視頻后,這些視頻放在哪里呢?對于視頻網站(平臺)來說,這個存儲視頻的地方,就叫做源站。點播視頻源站的職責,不僅僅是負責有效的存儲這些視頻文件,同時也要考慮如何高效穩定的讓觀眾看到這些數據。
觀眾觀看這些視頻,通常是通過客戶端從CDN下載視頻數據,CDN的核心節點,會對接視頻網站的源站,下載數據(這個過程通常稱作回源),之后CDN會分發(并緩存)這些數據到觀眾。一個視頻網站,可能會對接多個CDN,包括自建和商業,每個CDN,在不同的區域和運營商,可能也有不同的接入點。另外,視頻源站內部的設計,也是分層級的,通過多級緩存和分發,逐級降低和分散訪問壓力。
源站內部服務器之間以及源站與CDN接入點的通信和數據傳輸,一般都是通過網絡的,經常會有抖動。動態的選擇好的分發鏈路,將大大提升數據從源站內部分發,以及到CDN的分發速度。
2. 傳統的源站內部分發方案的缺點
前面提到,源站內部,其實是可以分層級或者已經分了層級的。在源站的不同層級之間,數據首先會存儲在中央層,通過網絡向下層分發,分發過程中,下級節點向上級的哪個節點回源,通常是固定的;CDN也是通過固定的接入點,對接源站回源。網絡可能會有抖動,在某一時刻,按照固定的鏈路回源,可能不是最優的鏈路,甚至在故障期間是不可用的。
3. 通過基于機器學習的分發鏈路選擇處理將帶來什么好處
歷史上每次回源下載文件,使用的鏈路,以及最終下載的速度(文件大小、下載時間)等數據是寶貴的資源,通過對這些數據進行機器學習,可對當前時間點、不同鏈路選擇下針對一定大小的文件的傳輸做出下載速度預估,在這些鏈路中,選擇出一個相對(預估)最優的鏈路進行分發,將大大提升源站的分發效率。
當然,通過機器學習預估后的結果,產生的下載速度,將作為下一步學習的輸入數據,不斷調整和學習,做到最優鏈路的選擇。這個思路,不只是可以用在點播源站內部分發的過程中,同時也時可以使用在一些直播回源鏈路中的,只是學習的模型、參數會有差異。
4. PP云點播視頻源站架構簡介
PP云點播視頻源站,分為三層,中央層為原始的視頻文件存儲以及HTTP下載緩存服務;轉發層部署在全國幾個BGP機房中,負責文件的中轉以及臨時緩存;邊緣層對接各個CDN的接入點。
引入智能分發后,轉發層和邊緣層之間,其實是沒有明顯界限的,數據的分發選擇節點更為自由和智能,CDN接入質量更優秀。
更多精彩分享,我們在上海等你
伴隨Codec的百花爭艷,WebRTC1.0定版,AI、區塊鏈技術的快速發展,我們看到了多媒體與更多新技術的融合與實踐。4月21日,我們邀請到騰訊、優酷、觸寶科技、蘇寧PP視頻云、三體云、相芯科技的6位技術大咖一同分享多媒體開發的技術實踐與未來展望。
講師與話題:
?吳威麒 觸寶科技音頻技術專家 《實時語音通信的音頻后處理技術》?
?曾小偉 PP視頻云技術副總監 《如何使用機器學習算法優化分發鏈路》?
?沈軻軼 騰訊天天P圖iOS開發組長 《iOS實時相機的GPU實踐》?
?崔文秀 三體云產品副總裁 《實時音視頻技術賦能傳統行業》
?蔡銳濤 相芯科技圖形引擎負責人 ?《Animoji動態表情的技術實現》?
總結
以上是生活随笔為你收集整理的专访 | PP云技术副总监:如何使用机器学习算法优化分发链路的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Netflix:如何通过机器学习提高流媒
- 下一篇: 聚焦北京,探秘多媒体开发新趋势(内附资料