今年的NAB2019上，資深編解碼技術(shù)專家Jan Ozer采訪了Twitch的首席研工程師沈悅時博士，沈博士從編解碼器的角度討論了Twitch對于視頻新技術(shù)的實踐與探索，同時介紹了Twitch未來五年在流媒體技術(shù)戰(zhàn)略方面的布局。他認為，五年后Twitch的頭部以及尾部內(nèi)容將100%使用AV1編碼。

文 / Jan Ozer

譯 / 郭俊翔

原文

https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/NAB-2019-Twitch-Talks-VP9-AV1-and-its-Five-Year-Encoding-Roadmap-131163.aspx?from=timeline?

Jan Ozer：大家好，我是Jan Ozer。這次我們非常榮幸地請到了Twitch首席研發(fā)工程師沈悅時，接下來我們將從編解碼器的角度討論Twitch的研發(fā)工作。總所周知，視頻編解碼器是一個日新月異的領(lǐng)域。你好，悅時，歡迎你的到來。

沈悅時：非常感謝Jan。大家好，我是來自Twitch的悅時。Twitch是一個以電子競技與游戲直播內(nèi)容為主的直播流媒體平臺，根據(jù)twitchtracker.com的公開信息，高峰時我們有14萬個直播頻道，而在線觀眾的峰值是400萬。由于我們是一個互動直播的平臺，所以我們對編解碼的低延遲要求很高。同時我們擁有一個龐大的主播社群，直播頻道根據(jù)受歡迎程度來講分為頭部和長尾兩大板塊。對于頭部主播，我們下個月將部署基于VP9的流媒體直播，等未來生態(tài)AV1系統(tǒng)逐漸成熟后，我們會考慮同時傳輸x264、VP9與AV1格式。由于觀眾規(guī)模巨大，對于頭部內(nèi)容，同時支持多種視頻編碼器格式是負擔(dān)得起的：雖然這樣做會增加編解碼成本，但流量費用的節(jié)省使得我們能夠?qū)崿F(xiàn)總體凈成本的降低。另一方面，對于低觀看率的長尾頻道而言，我們只能為它們提供單一格式的流媒體服務(wù)，而我們目前長尾頻道的編碼策略是使用高密度硬件H.264編碼的解決方案。但是，我們希望到2024年或2025年，屆時AV1生態(tài)系統(tǒng)會完全就緒，而那時我們也會實現(xiàn)Twitch平臺的百分百AV1化。

Jan Ozer：你說的是2024或2025年嗎？

沈悅時：是的，這是我們根據(jù)對整個工業(yè)界的了解而做的預(yù)測。但另一方面，正如我所說，我們希望在2022-2023年實現(xiàn)對頭部內(nèi)容率先部署AV1格式，同時保持AV1與H.264的雙格式流媒體傳輸。對于長尾內(nèi)容，我們則是希望五年以后，整個生態(tài)里所有的設(shè)備都支持AV1，屆時我們的直播頻道無論頭部還是長尾都將會百分百切換至AV1。

Jan Ozer：所以Twitch是一個以互聯(lián)網(wǎng)直播為主的視頻平臺。你說的頭部內(nèi)容是指用戶觀看次數(shù)最多的直播內(nèi)容？

沈悅時：是的。比如電子競技內(nèi)容和頭部主播頻道 。

Jan Ozer：好的，所以你們最近一直在考慮轉(zhuǎn)用VP9，用的是硬件編碼、軟件編碼還是二者兼具？

沈悅時：這是一個非常好的問題。我們的著眼點是如何實現(xiàn)VP9的高壓縮效率，因此我們現(xiàn)如今使用的VP9編碼器是基于FPGA的。而至于軟件編碼，我們的評估結(jié)果是至今為止還沒有足夠的數(shù)據(jù)讓我們相信軟編可以提供類似FPGA的壓縮效率。順帶說一句，我們對于實時編碼器壓縮效率的參考標準是x264 median，對于VP9的期望值是至少能實現(xiàn)25%的碼率節(jié)省，同時我們下一代的VP9編碼器是計劃能實現(xiàn)35%的碼率節(jié)省。?

Jan Ozer：好的，您是說使用FPGA編碼器生成的VP9 流媒體，在相同畫質(zhì)的前提下，其碼率相對x264 median降低了25％？

沈悅時：沒錯，就是這么回事。

Jan Ozer：好的，同時這是為了實時編碼傳輸嗎？

沈悅時：是的，是為了直播的應(yīng)用。

Jan Ozer：這到是讓我想起我們倆幾個月前有一個很有趣的、關(guān)于你們作為一個直播大平臺、對于VBR和CBR利弊的討論。 你能不能詳細解釋一下你從一個直播平臺的角度，對于VBR與CBR的看法？

沈悅時：好的。先解釋一下，Twitch平臺是基于我們的私有CDN，也就是說我們有自己的骨干網(wǎng)，以及分發(fā)、邊緣服務(wù)器，同時也和眾多ISP有peering的合同。基于我們的實際操作，我們并不歡迎VBR，原因是在于我們通常向ISP預(yù)定一個帶寬，我們稱之為“管道”。 如果視頻是VBR的，我們很難計算應(yīng)該將多少觀眾放在這個管道里，從而導(dǎo)致我們的服務(wù)質(zhì)量變得不可控。我們直播的情形和點播是截然不同的，點播是不同的觀眾在同一時間觀看不同的內(nèi)容，而直播則是不同的觀眾在同一時間觀看相同的內(nèi)容，所以說VBR會混淆我們的觀眾分配系統(tǒng)，讓我們計算不出在某一個管道里應(yīng)該放多少觀眾 。

Jan Ozer：通過你的解釋，大家對你們平臺在觀眾方的架構(gòu)有所了解了 。換個話題，對于主播方，你們是從游戲玩家那里獲得一路原始音視頻流，然后為轉(zhuǎn)碼成多個碼率，那你們的碼率階梯是什么樣的？

沈悅時：是，目前我們接受的原始視頻流是1080p 60FPS。

Jan Ozer：碼率是多少？

沈悅時：碼率取決于主播的上行帶寬，通常在6～8.5Mbps之間。然后我們將會轉(zhuǎn)碼成720p 60FPS 3Mbps、720p 30FPS 2Mbps，直到160p 200Kbps。

Jan Ozer：好的，那你對客觀畫質(zhì)指標有什么看法？你使用哪些指標，對哪些指標是你比較有信心？

沈悅時：好的，這是一個非常好的課題，其實我們現(xiàn)在正進行一些這方面的研究。在現(xiàn)階段，我們是綜合PSNR、SSIM與VMAF考量客觀質(zhì)量，不過我們暫時還是最依賴是我和我同事的主觀評測，也就是我們的眼睛。當(dāng)然PSNR是可以給了我們一些的參考，它能發(fā)現(xiàn)一些明顯的編碼錯誤，但一半以上的質(zhì)量評測仍然依賴于我們的眼睛。

Jan Ozer：好的。昨天我與一位大OTT公司的的編解碼工程師討論了如何對于編碼梯度中不同的碼率選用不同的編碼參數(shù)，他的觀點是對于更低的碼率采取降低噪音甚至降低清晰度的編碼策略。你們是不是也有相關(guān)的研究？

沈悅時：這是確實是一個非常有趣的研究領(lǐng)域，但囿于條件，實際上我們并不嘗試對編碼做圖像預(yù)處理。

Jan Ozer：我的讀者大部分沒有你的技術(shù)水平，肯定也沒有像我采訪的那位專家（編者按，Jan說的那位專家是亞馬遜視頻的Ben Waggoner，專著”Compression for Great Vid-eo and Audio: Master Tips and Common Sense”的作者）的技術(shù)水品。我們大多數(shù)人包括我自己對于編碼器設(shè)置停留在僅僅選擇x264 preset的階段，當(dāng)然x264 preset本身是包含了很多參數(shù)的組合。但是有一個有趣的想法是去研究x264每個具體的設(shè)置，比方說低分辯率和1080p或者720p會有不同的要求，畢竟低分辯率的視頻是事先做過很多縮放處理的。對此你有什么看法？

沈悅時：關(guān)于這一點，我想我們需要在評估此項優(yōu)化的投資回報率之后才能給出準確的答案。于此同時，實際上我們平臺的大多數(shù)觀眾觀看視頻是1080p 60FPS。

Jan Ozer：沒錯。

沈悅時：我暫時沒有開發(fā)此項編碼器優(yōu)化的投資回報率數(shù)據(jù)。

Jan Ozer：那你談到你們平臺絕大多數(shù)的觀眾觀看1080p 60FPS，你能告訴我具體的比例嗎， 比如是95％還是62％？

沈悅時：我腦海中暫時并沒有一個明確的數(shù)字，但我可以保證這個比例一定超過50％，當(dāng)然這是要視地區(qū)而定的，像美國這樣有比較好的互聯(lián)網(wǎng)環(huán)境的地區(qū)比例一定更高。

Jan Ozer：除了美國之外，你們的主營市場還有哪些？這些國家與地區(qū)的占比又是什么情況？

沈悅時：亞太地區(qū)是我們十分重視的市場，如新加坡、韓國等都擁有非常不錯的網(wǎng)絡(luò)傳輸條件。而像拉美、東歐等地區(qū)，盡管寬帶條件相對較差，也有超過50％的觀眾觀看1080p 60FPS的視頻。當(dāng)然，在美國與西歐地區(qū)，這個比例會更高。

Jan Ozer：原來如此，這可能就是你們并沒有太大動力在優(yōu)化低碼率音視頻流傳輸上投入過多資源的原因。

沈悅時：是的，不過我們實際上也做了一些關(guān)于低碼率傳輸?shù)膬?yōu)化工作。比如說我們之前的160p檔是500Kbps，我們通過優(yōu)化音頻碼率降低了整個160p檔的碼率。

Jan Ozer：你有PSNR、SSIM或VMAF的推薦參數(shù)嗎？

沈悅時：抱歉，這需要視內(nèi)容而定，我暫時并不想推薦某些絕對的數(shù)值。

Jan Ozer：好的，非常感謝沈悅時接受我們的采訪，希望您與Twitch能夠在未來大展宏圖。

沈悅時：好的，非常感謝您。

LiveVideoStack? 招募

LiveVideoStack正在招募編輯/記者/運營，與全球頂尖多媒及技術(shù)專家和LiveVideoStack年輕的伙伴一起，推動多媒體技術(shù)生態(tài)發(fā)展。了解崗位信息請在BOSS直聘上搜索“LiveVideoStack”，或通過微信“Tony_Bao_”與主編包研交流。

LiveVideoStackCon 2019北京正在招募講師，無論你是技術(shù)派還是學(xué)術(shù)派，亦或是行業(yè)專家，無論你的團隊有多小、有多新，都可以來申請成為LiveVideoStackCon的講師。點擊【閱讀原文】了解更多大會相關(guān)信息。

超強干貨來襲 云風(fēng)專訪：近40年碼齡，通宵達旦的技術(shù)人生

總結(jié)

以上是生活随笔為你收集整理的Twitch未来五年的视频编码战略：从H.264到 AV1的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。