一切为了高清——金山云魔镜平台助推5G高清应用
Photo by Thuanny Gantuss from Pexels
5G時代是超高清的時代，然而，冰凍三尺非一日之寒，在超高清視頻直播點播等業務研發過程中，總會遇到很多令人抓狂的難題。本次LiveVideoStackCon 2020線上峰會我們邀請到了金山云高級技術總監蔡媛，她將從金山云魔鏡平臺本身出發，講解平臺如何幫助使用者提升畫質評測效率，保障評測質量，一站式解決用戶畫質評測的難點。?
?
文 / 蔡媛
整理 / LiveVideoStack
大家好，我是來自金山云視頻云團隊的蔡媛，很高興可以在LiveVideoStackCon2020首屆線上峰會與大家見面，本次我分享的主題是：一切為了高清——金山云魔鏡平臺助推5G高清應用。在5G時代，超高清視頻直播點播業務飛速發展，你是否也面臨這樣一些問題，比如AI超分或者美顏會不會有bad case？局部的暗場和色彩增強的效果如何？磨皮去噪是否丟失了細節？金山云魔鏡平臺就是為了解決以上問題而誕生的，其目的是建立符合用戶”感知愉悅度”的評價體系，深度解析算法對主觀畫質的影響。
01
PART
金山云視頻云介紹
本次的內容將從以下幾個方面進行介紹：首先介紹金山云視頻云的整體情況；其次分析視頻行業的痛點；再次重點介紹金山云魔鏡平臺（https://kqoe.ksyun.com/）是如何解決視頻圖像質量的痛點以及其中的核心技術難點；最后分享魔鏡平臺的客戶案例。
?
1.1?金山云視頻云簡介
金山云創立于2012年，是中國前三的互聯網云服務廠商，于2020年5月在美國納斯達克成功上市，業務遍布全球及多個國家和地區。成立八年以來，金山云始終堅持以客戶為中心的服務理念，擁有120多個行業解決方案，服務于243個頭部客戶，為客戶提供安全、可靠、穩定、高品質的云計算服務。
?????
?
金山云視頻云擁有六大核心技術，包括視頻編解碼技術、圖像處理技術、質量評價體系、人工智能、邊緣計算、網絡傳輸技術。在六大技術的基礎上構建了五個產品，分別是金山云魔鏡、AV1、KSC265、人臉修復、超分。又在五大產品的基礎上構建八大行業解決方案，包括直播行業解決方案、點播解決方案、云游戲、評價體系、集智高清、KIE、智能審核以及VR，這些方案為圖中九大行業進行服務。
?
1.2?金山云視頻云優勢介紹
金山云視頻云的優勢體現在：一是構建在金山云龐大的云計算和云存儲基礎上進行服務，所以擁有大規模的緩存系統，流量調度系統以及各種編解碼轉碼系統；滿足互聯網各種視頻應用業務場景的需求，為客戶提供完整的解決方案；并且有大數據平臺可以幫助客戶進行實時的大數據分析。二是在視頻垂直細分領域有強大的經驗技術積累的基礎，比如金山云視頻云在存儲、CDN、視頻編解碼和人工智能方面都有非常強的技術儲備；曾榮獲2018年亞太CDN年會“最佳創新獎”，并且多次獲得MSU編碼大賽冠軍；而且基于AI的云轉碼“集智高清”可以為客戶節省58%以上碼率，屬于行業領先的水平。
?
02
PART
視頻行業痛點
?
2.1?視頻行業的痛點
視頻行業實際上處于一個高速發展的階段，用戶的痛點也在不斷發生變化。視頻行業的痛點主要體現在：首先客戶終端發生了變化，即從電視到手提電腦到Pad到手機，而且手機終端的應用也有極大的豐富。
其次視頻的高清體驗不斷提升，分辨率從1K到4K到8K超高清、立體聲從單聲道、雙聲道到立體聲道、幀率從10fps到30fps到60fps,都有很大提升，所以隨著視頻行業的發展趨勢，在帶寬、網絡極大豐富的背景下，高清相比碼率的需求會增加。同時視頻內容發生變更，PGC、UGC、云游戲的出現，當手機娛樂達到一個瓶頸時，會螺旋式地向大屏方向發展，包括pad、8k超高清電視等。netflix，google stadia 就是很好的例子。
Netflix是美國最大的流媒體播放服務商和美國最受歡迎的視頻網站，電視會員群體發展非常良性，而google stadia則在大屏上具備了比手機端更加非凡的效果。
?
2.2?量化主觀質量的難點
在5G時代，視頻高清發展不斷提升的大背景下，如何不斷地提升高清體驗，如何衡量包括超分、修復、增強等這些視頻質量效果是量化主觀質量的難點。
我們從線上爬取了14萬的數據，并篩選了1000個視頻，每個視頻時長在五秒鐘左右。在1000個視頻里進行隨機地編碼和縮放失真，生產了2000段噪聲數據，并對這2000段噪聲數據進行標注，總計有15萬次標注。
通過VMAF、PSNR數值得出VMAF、PSNR的SROCC值并不高，這反映出雖然擁有客觀評價指標，但客觀評價指標實際上很難量化主觀觀看的效果。這僅是編碼失真的衡量上就體現出這樣的難點，那么AI增強以及修復等增強的效果可能更難去衡量。
?
2.3?提升視頻高清體驗的關鍵點
如何不斷地提升視頻高清體驗，關鍵點是需要有一個明確的可量化的質量目標。回看南轅北轍的故事總結出目標的重要性，做任何事情，在行動之前需要明確一個正確的目標，這是做成一件事情的前提。因此提高視頻高清體驗也需要一個明確可量化的主要目標，這樣才能支持高清路線迭代地向前發展。
?????
2.4?視頻主觀畫質可量化指標的難點
建立視頻主觀畫質可量化指標主要從以下四個方面進行分析：
首先是視頻的篩選，如何從海量視頻里挑選具備代表性的視頻和內容的覆蓋面廣度是比較關鍵的問題，因為不同的視頻測試集，最終得出的測試結果完全不一樣，那么測試序列該如何篩選呢？
其次是評測維度的制定，哪些評測維度是有必要衡量的，用幾分制？全參考和無參考的模式也不相同。
再次是評測質量，因為評測需要多人的評測才能得出一個平均分數，那么多少人的評測才能既保證評測的精度又不浪費人力成本？同時還要考慮評測的結果是否需要篩選，數據如何分析的問題。
最后是數據映射，不同時期，不同情景下的評測分數，如何將這些不同時期的數據進行數據映射這也是其中的難點。以上四點是我們認為的評測中的難點。
03
PART
金山云魔鏡
3.1 金山云魔鏡的作用
上圖部分介紹了金山云魔鏡平臺是如何解決上述問題的。一是平臺提升了評測效率和質量，魔鏡平臺是以在線平臺的方式提供圖像和視頻評測服務，不需要下載；評測的任務是通過流式管理，大大提升了評測的效率，并且可以通過平臺監控主觀評測的質量。
?
二是平臺提供專業的評測方式，支持全參考模式、無參考模式和OAA模式這三種評測模式；支持自定義評測維度，并為客戶提供客觀評價指標的自動化計算。
?
三是平臺的背后還有評測專家的支持，幫助客戶進行合理的視頻篩選以及評測維度的制定，而且提供專業的評測報告和數據分析。
?
最后所有的這些平臺功能和專家團隊的支持，實際上都是幫助客戶提升圖像和視頻產品的主觀質量，提升客戶產品的感知愉悅度。
?
3.1.1 視頻篩選
在細節解讀方面，首先是視頻篩選，傳統的基于內容的篩選實際上存在比較大的缺陷，比如傳統的分類包括籃球、足球、綜藝等分類，但這只是篩選的其中一個維度，還需要對特征質量包括色彩、亮度、噪聲、抖動等特征進行篩選，但這些特征是連續的、非離散的，沒辦法通過窮舉的方式得出合適的篩選集，需要通過篩選的算法達到這樣的效果。
?
?
魔鏡平臺在數據篩選方面有以下幾個步驟：首先將海量的數據集經過數據過濾，再通過均衡算法進行篩選。均衡算法里包括特征均衡、質量均衡、內容均衡。特征均衡主要包括亮度、色彩、邊緣等特征；質量均衡包括噪聲、模糊、抖動數據集的均衡；內容均衡包括運動的動態、靜態、遠景、近景。綜合這些均衡算法可以得出一個綜合的考量的數據集。
?
下面兩張圖是篩選前后的一個對比，在篩選前的原始數據分布是極度不均勻的，其呈現的特點就是中間大兩頭小。經過均衡篩選后的數據集，在各維度的分布上都更加的均衡。
?
3.1.2 測頻維度
數據集篩選之后就要開始制定評測維度，評測維度有哪些？每個維度如何設定分數，分數如何描述和量化以及維度之間是不是具有相關性，這些對一次評測的成敗有比較關鍵的影響。
對視頻質量而言，存在多種多樣的場景，比如在采集和壓縮中帶來的噪聲，拍攝中的暗場和過曝，或對焦失準造成的模糊，還有色彩問題、動作卡頓、磨皮造成的細節丟失，或者AI增強、暗場增強造成的違和感、過銳，美顏和超分造成的形變和異常。這些場景對于評測維度的制定有很大的相關性，和客戶的場景也有很大關聯性。
?
場景分析之后需要確定評測的方式，魔鏡平臺提供三種評測模式：
專家模式也是全參考的評測模式，就是full reference，指的是兩個視頻進行對比時，其內容一樣但質量不同，比較適合10到15個人快速查看結果。
用戶模式也叫無參考模式，就是no reference，針對一個視頻進行打分，比較適合真正模擬用戶的實際體驗。通過用戶實際體驗結果結合下圖分析，隨著評測人數的增加，SROCC分數是不斷提升的，但人數到達55人之后，SROCC分數提升的幅度會越來越小，因此鎖定用戶模式的人數是在50到100人。
細粒度模式也叫OAA模式，即挑選一類的視頻，用于小差別的PK對比，人數在20到50人之間。評測的時候客戶可以根據自己的實際情況選擇評測模式。
在評測分制之前要注意一些評測細節，包括觀看終端、分辨率的要求、觀看距離、視頻播放次數、圖片觀看時間，這些都有相應的要求。
評測維度有兩種維度：整體維度和局部維度。
整體維度包括整體主觀效果、模糊、色彩、亮度、細節處理等。以整體主觀為例，給評測員呈現的不是1到5分，而是具體的描述，比如難以忍受、令人不悅、普通、令人舒適、賞心悅目，這些描述對用戶標注的指引性作用非常強，比如對舞蹈的描述是無可挑剔還是賞心悅目，這兩個選擇是經過較多的討論才確定的，認為賞心悅目是更符合用戶的選擇習慣并且能更明確視頻質量的一個質量指標。
?
對于局部維度關注較多的是人臉，包括模糊、膚色、明暗、細節紋理、噪聲這類維度。以模糊為例，是顯著、輕微還是沒有。局部圍度還可以是頭發、唇色等，這個可以基于用戶場景來確定。
實驗論證方面會給各個維度進行整體打分，分析維度之間的相關性以及各維度對整體打分的影響。下表中主觀畫質和模糊、噪聲、色彩的關聯度非常高，但與亮度的關聯性較低，那么對于這個數據集的用戶來說，其算法可以重點關注模糊、噪聲、色彩，可以降低對亮度的關注點。
分析結束后需要對標注者情況進行分析，如標注者對視頻評測分數的離散程度如何，對每一個標注者進行一對一的交流，并發放問卷以反饋更細粒度的問題，可以了解到影響用戶體驗的具體地方。
?
3.1.3 測評質量保障
金山云魔鏡平臺從平臺上保證整個評測質量的正確性，擁有整套的評測流程。首先會對評測者信息進行統計，包括基本信息、崗位、設備、愛好等等，再對其進行教學，以保證其操作符合平臺的引導。
接著進入考試，考試的題目是專家評測提供的測試題庫，之后才能進入評測任務。在評測過程中會隨機加入驗證的題目以監控整個評測的有效性。
最后平臺上有一些埋點的分析用以分析評測者的行為，保證整個評測的有效性。
?
3.1.4 測評結果分析
當整個評測完成之后會自動生成評測報告與合格性報告，評測報告里會包括評測者的分析：有效性判定、評測者信息分析；評測數據分析：評測分布、評測置信度、類型分析；評測維度分析：維度相關性、主客觀相關性；合格性分析：圖標繪制、界面顯示。
?
3.1.5 數據映射
因為評測可能是在不同時期以及不同場景下評測的結果，不同時期人們對高清的定義是不一樣的，所以不同時期不同場景下的評測分數是不同的，那么如何將數據進行映射呢？
?
上圖左側是兩個不同時期的測試集，分別是Koniq、KADID。我們在當前的數據集上訓練的模型，在對方的數據集上表現出的srocc和plcc是比較低的，但如果把兩個數據集一起進行訓練，在兩個數據集上srocc和plcc表現的都比較好。如果使用數據映射之后再一起訓練，srocc和plcc將有四五個點的提升，這是更上一個臺階的提升。上圖的右邊是對進行數據運算的算法的分析。
?
3.2 魔鏡平臺功能
魔鏡平臺是一個為了方便評測人員和評測任務管理員的平臺，其提供的功能主要包括：項目及評測任務管理、支持圖片、視頻在線評測、自定義主觀評測標準、支持同時多人主觀評測、集成客觀質量評價算法以及自動生成專業評測報告。
?
3.2.1 測評模式
金山云魔鏡在平臺上提供了三種評測模式：
一是專家模式（全參考模式），這種模式比較容易看出細微的差別，適合專家進行評測。
二是用戶模式（無參考模式），符合用戶最終使用場景，直接評判主觀效果，必須有大數據保證消除誤差。
三是精細對比模式（OAA模式），用于模擬用戶場景的同時兼顧細粒度對比，且可以克服場景有略微區別的難題。
?
3.2.2 自動生成專業測評報告
評測平臺會自動生成專業評測報告，評測報告包括各個維度的評分、評測員的分析、Badcase的展現等，以及各個維度優勢、劣勢的對比，主觀評測和客觀分數的擬合程度也會呈現在整個評測報告中。
?
3.2.3 魔鏡平臺適用場景
魔鏡平臺主要適用于三個場景：
場景一適用于算法團隊的內部算法迭代。算法迭代之后如何評測評估效果？首先需要制定精準的測試集和測試維度；其次生成對比評測任務，把舊版本和新版本的效果在平臺上進行對比評測，最后產生評測報告。
場景二適合于用戶實際觀看體驗的評估。這需要拉取產品線上的視頻數據和圖片數據，并確定評測維度，再生成無參考評測任務進行評測，最后產出評測報告。
場景三適用于競品對比分析。比如對比抖音和快手兩個競品的視頻質量水平，需要先爬取競品不同類別的視頻作為測試集，再生成OAA評測方式的評測任務，對比不同競品的效果，最后產出測評報告。
?
3.2.4 測評服務
除了平臺之外，我們還提供了評測服務。評測服務有三個方案：
方案一是只使用魔鏡平臺的模型效果對比，和內部主觀評測以及開源客觀評價指標計算。
方案二在方案一的基礎上加入了第三方人工評測服務。
方案三在第三方人工評測服務的基礎上加入了專家咨詢，可以向客戶提供更深入的畫質咨詢服務。
金山云魔鏡平臺的愿景是以魔鏡平臺做一個拋磚引玉的點，可以尋求更多的合作，以共同打造完善的畫質評價體系。該畫質評價體系是符合國人審美的，可以用于不同終端的評價體系。此外，我們也希望可以借助金山云魔鏡平臺連接學術界，把更精準的工業界需求傳遞給學術界，推動技術的發展。最后希望可以有明確可度量的評測分數以促進高清技術的進步和應用。
?
04
PART
成功案例
這部分我將分享一些魔鏡平臺的成功案例，魔鏡平臺的客戶落地效果，反應都非常得不錯，主要以兩個亮點突出的案例進行分享。
?
4.1 案例一：小米KIE
案例一是小米，我們為小米MIUI圖像增強的支持提供了基于AI超分技術，通過超分技術可以大幅度提升畫質，并且可以部署在手機端。在對接小米優化調試的整個過程，我們花了3個月時間迭代更新5個版本，確定600張圖片作為測試樣本。通過優化，整體評分從3.78分提升到了4.21分，整個調優過程都是在魔鏡平臺進行。
該項目成功在小米新手機的發布會上作為功能亮點進行宣傳，并且在MIUI10上正式落地。
?
4.2 案例二：CCTV集智高清
客戶案例二是央視，央視在世界杯和春晚上的帶寬是非常高的，其直播業務也非常重要，而央視的一個痛點是需要非常高的帶寬，所以其直播時存在帶寬高以及畫質存在模糊、噪聲和色彩飽和度不足的問題。
?
針對這些痛點，我們為客戶提供了集智高清的解決方案。該方案一方面為客戶降低帶寬，另一方面提升畫質。降低帶寬主要是應用了圖像預處理、視頻分類、感知編碼、Per-tile等編碼技術，大幅度降低碼率；并采用云轉碼方案，提升卡頓率和首屏時間等指標。畫質提升主要利用AI技術進行去噪、去模糊以及色彩增強；又挑選163個測試視頻，經過兩個月的優化，使主觀評分達到3.64分。
?
在整個調優過程，魔鏡平臺整個的優化效果確認上都是非常重要的，并且給予整個調優效率上高效的支持。
?
4.3 合作伙伴
我們合作伙伴主要在學術界和工業界兩個部分，學術界方面主要是和香港城市大學進行學術上的交流和合作，以及對算法上的迭代進行合作和交流。工業界方面主要是和Intel在畫質以及編解碼上進行比較深入的合作。此外，魔鏡平臺對SVT-AV1的主觀畫質給予支持，共同進行主觀畫質的評測和評定。
希望有更多的朋友可以使用魔鏡平臺（https://kqoe.ksyun.com/），并且同我們一起在主觀畫質評測這個話題上，能更進一步的進行交流合作。
總結
以上是生活随笔為你收集整理的一切为了高清——金山云魔镜平台助推5G高清应用的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【线上分享】移动音视频SDK工程实践之数
- 下一篇： 如何使用开源SFU构建RTC云服务