麻省理工學院計算機科學與人工智能實驗室（MIT CSAIL）開發的基于機器學習的流媒體系統能更好的適應不同的網絡條件，從而提供更加流暢的流媒體傳輸體驗。LiveVideoStack對原文進行了摘譯。點擊【閱讀原文】訪問Pensieve官網

文 / Adam Conner-Simons

譯 / 金歌

審校 / Alex.Chow

原文：http://news.mit.edu/2017/high-quality-online-video-with-less-rebuffering-pensieve-0814

我們在YouTube上觀看視頻時常會遇到兩件非常令人不悅的事情：視頻突然出現了大量馬賽克，或者卡住并開始重新緩沖。

這兩種情況的出現都是由于特定的算法預先將視頻切分成很多小片，并隨著你觀看的進度進行實時加載。如果你的網速很慢，YouTube可能會將隨后幾秒視頻的分辨率降低，以確保視頻觀看的流暢性，從而造成馬賽克現象（像素化）。如果你試圖快進，直接跳到視頻尚未加載的部分，那么視頻就不得不停下來以便對該部分進行緩沖。

YouTube通過自適應比特率（ABR）算法，旨在為用戶提供更加穩定的觀看體驗。這類算法還節省了帶寬：人們通常不會自始至終的觀看視頻，因此，面對每天10億小時的視頻流量，倘若隨時為所有用戶緩沖成千上萬條長視頻，這無疑是一種資源的浪費。

盡管ABR算法總體上解決了這些問題，但用戶對視頻流觀看體驗的期待也在不斷升高，并且諸如Netflix和YouTube這類網站在視頻質量與播放卡頓率之間的折衷依然無法滿足用戶的需求。

“研究表明，用戶會因視頻質量過低而放棄觀看該段視頻，從而導致內容提供商在廣告收入方面遭受重大損失，”麻省理工學院Mohammad Alizadeh教授說道， “視頻網站必須不斷尋求新的創新方案?！?/span>

為此，麻省理工學院計算機科學與人工智能實驗室（CSAIL）的Alizadeh教授和他的團隊開發了“Pensieve”系統。這是一種基于人工智能的系統，通過機器學習的方法，依據網絡條件選擇不同的算法。與已有系統相比，該系統在提升視頻質量的同時，能獲得更低的卡頓率。

具體來說，該團隊在實驗中發現，相比于其他視頻流傳輸方式，Pensieve可以將重緩沖情況降低10%到30％，并且在關鍵的“體驗質量”（QoE）指標方面，用戶評分高出了10%到25％。

Pensieve系統也可以根據內容提供商的優先級對算法進行調整。 例如，如果用戶正在乘坐地鐵并且即將進入無網絡區域，YouTube可以選擇自動降低比特率，快速加載足夠量的視頻，以便用戶在通過無網絡區域時進行觀看，而無需進行重緩沖。

?“我們的系統非常靈活，可以對任何目標進行優化?！辈┦垦芯可鶫ongzi Mao說道。Hongzi Mao作為第一作者與Alizadeh教授和博士生Ravi Netravali共同撰寫了相關論文?！澳闵踔量梢栽O想，用戶能夠根據自己對重緩沖和降低分辨率的需求，個性化定制屬于自己的流媒體體驗?！?/span>

自適應比特率算法的工作原理

ABR算法大體上分為兩種：第一種是基于網速，算法根據測量出的網絡速率對流媒體傳輸進行調整，第二種是基于緩沖，旨在確?？傆幸欢ㄩL度的待觀看視頻已被提前緩沖。

然而，這兩類算法有著共同的弊端，即他們沒有同時考慮到網速和緩沖。因此，這些算法所做的碼率選擇決策通常表現都不夠好，需要專業人員手動調整才能適應不同的網絡條件。

研究人員也曾試圖將兩種方案結合起來：卡內基梅隆大學開發出了一種基于“模型預測控制”（MPC）技術的系統，其表現比前文提到的兩類算法都更勝一籌。這種系統旨在通過預測用戶網絡條件隨時間變化的方式來對決策進行優化。這是一個很大的改進，但仍然存在著難以對網絡速率等因素進行建模的問題。

Alizadeh教授對此的評價是：“對動態的網絡進行建模是非常困難的，而采用像MPC這類技術的系統，其最終表現將取決于網絡動態模型是否優質?！?/span>

Pensieve不需要依賴任何模型以及任何關于網絡速率等條件的假設。它利用神經網絡實現ABR算法，并在多種不同緩沖情況和網絡速率條件下反復進行了全面的測試。

該系統通過獎勵和懲罰機制對其算法進行調整。例如，系統將在視頻以高分辨率傳輸并且無緩沖（等待）時獲得獎勵，而在視頻進行重緩沖時遭到懲罰。

“該系統能夠自行學習不同策略是如何對其表現造成影響的，并且通過觀察過去（已有）的實際表現，更穩健地對其決策方式進行改進?！盚ongzi Mao說道。（Hongzi Mao在最新一篇相關論文中擔任第一作者。）

像YouTube這樣的內容提供商可以根據他們優先考慮的指標來自行定制Pensieve系統的獎罰機制。例如，研究表明，觀看者在視頻播放的開始階段更容易接受重緩沖現象，因此算法可以被調整為，對出現緩沖現象的懲罰隨著時間的推移而加重。

融合深度學習技術的機器學習

該團隊在多種環境中對Pensieve系統進行了測試，包括在咖啡廳中使用Wifi，在街上步行時使用LTE等。實驗表明，與MPC相比，Pensieve在達到與其相同的視頻分辨率時，緩沖情況減少了10％到30％。

?“以前的方案都嘗試基于專家的直覺進行控制，”卡內基梅隆大學電氣和計算機工程學院的助理教授Vyaz Sekar說道（他沒有參與Pensieve系統的研究），“而Pensieve系統則預示著利用新的類‘深度學習’技術的機器學習方法，將有很大希望取得成功?！?/span>

Hongzi Mao說，該團隊的實驗表明，Pensieve即使面對以前從未出現過的情況也能很好地做出應對。

“當我們在利用合成數據對Pensieve進行壓測時，該系統依然足以應對真實的網絡情況，”Hongzi Mao說道?！斑@種壓測表明，該系統能夠很好地對現實世界中的新場景進行推理?！?/span>

Alizadeh教授還指出，Pensieve系統只接受了一個月下載量的視頻數據的訓練。如果團隊能夠擁有Netflix或YouTube量級的大規模數據，該系統的性能將會有更加顯著的提升。他們團隊的下一個項目是在VR視頻場景下對Pensieve進行測試。

“傳輸4K分辨率的VR視頻往往需要高達每秒數百兆的比特率，目前的網絡根本無法支持如此高的比特率，”Alizadeh教授說?！拔覀兒芷诖齈ensieve這樣的系統能夠為VR視頻的傳輸做出一些貢獻。不過這僅僅是Pensieve應用所邁出的第一步。“

Pensieve由國家科學基金會以及高通公司的創新研究獎學金部分資助。

LiveVideoStackCon 2018講師招募

LiveVideoStackCon 2018是音視頻技術領域的綜合技術大會，今年是在10月19-20日在北京舉行。大會共設立18個專題，預計邀請超過80位技術專家。如果你在某一領域獨當一面，歡迎申請成為LiveVideoStackCon 2018的講師，讓你的經驗幫到更多人，你可以通過speaker@livevideostack.com提交演講信息。了解大會更多詳情，請掃描圖中二維碼訪問LiveVideoStackCon 2018官網，報名即刻享受7折優惠。

總結

以上是生活随笔為你收集整理的Pensieve：AI带来的更流畅的高质量观看体验的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。