正文字數：2004 ?閱讀時長：3分鐘

本文來自騰訊極速高清團隊的投稿，介紹了AR-SR在對壓縮后的視頻進行后處理，減輕壓縮帶來的畫質損失。歡迎通過contribute@livevideostack.com 投稿把你的經驗和思考分享給大家。

文 / 騰訊極速高清團隊

視頻是當前網絡媒體主要形式和網絡帶寬資源的主要消耗者。通過降低分辨率和增加壓縮比率，人們可以將視頻以較小的網絡帶寬消耗進行傳輸，但降質傳輸的視頻畫質效果很影響用戶觀看體驗。因此，如何讓視頻以更小的帶寬傳輸，再通過修復增強算法恢復出高清畫質，實現“美”的共享，是視頻技術領域的新挑戰。

在此背景下，騰訊極速高清團隊以低帶寬占用下為用戶提供更好的視頻體驗為目標，提出了包括畫質修復與增強、內容自適應參數選擇、高質量編碼器等一整套視頻處理解決方案。其中，在畫質增強修復中提出的“AR-SR”方案，在AIIA2020人工智能開發者大會專項賽事曠視超分辨率大賽中取得冠軍，下面由騰訊極速高清團隊帶來關于“AR-SR”方案的技術分享。

（左：受損畫質 右：AR-SR提升結果）

“AR-SR”網絡設計結合匯聚層及空間注意力機制，充分挖掘壓縮失真和紋理的模式信息，并依據對壓縮失真和紋理的分析，在SOTA的RIR（residual in residual）結構上進一步改進，在合理的層數設計上添加了內外兩層跳躍連接，提高了網絡模型的穩定性。與此同時，“AR-SR”設計的解耦信噪特征損失函數(disentangled loss)，通過端到端地引導網絡對偽影和紋理加以區分，在增加網絡可控與可解釋性的同時，讓網絡擁有良好的偽影去除及邊緣保持特性。最終，“AR-SR”在保證客觀指標得分的前提下，能夠進一步提升畫質主觀效果。下面從結構設計和損失函數設計兩個角度對“AR-SR”進行詳細介紹。

結構設計

在結構設計上，“AR-SR"具有以下幾個特點：

多級匯聚層：網絡主干使用了殘差內殘差的baseline結構，創新地在內外層的兩級殘差均添加了匯聚層模塊，用于充分挖掘淺層、中層信息，即壓縮失真和紋理的模式。這是很多現有算法忽略到的部分。

輕量像素注意力：使用了輕量級模塊提取像素注意力。該模塊與匯聚層結合能更好地挖掘特征中的信息，減少參數冗余。研究發現匯聚層和注意力機制的作用有1+1>2的效應。

多幀融合：時移模塊(Temporal shift)，該模塊是一種輕量的時域信息遷移模塊。相關成果比較新，目前還很少有在底層視覺運用，唯一接近的工作是圖像修補。

子像素提取模塊：像素重新排列，相較轉置卷積速度更快，且沒有棋盤效應。

壓縮失真和紋理分析：分析了退化數據的壓縮偽影和真實紋理的分布和模式，通過可視化(如下圖右側)像素誤差信息，添加必要的連接（下圖左側），讓網絡更好辨別二者。

模型選擇：通過分析模型效果的方差，挑選出泛化能力更強的模型。該方法簡單有效，在實際應用中經常采取該策略。

每個技術點的實際收益如下圖所示，可以看到多級匯聚技術帶來的收益最為明顯。

“AR-SR”網絡模塊設計靈活，以此為基礎，后續很方便改造為高效的、適用多種降質任務的輕量網絡。

損失函數設計

一直以來，AI技術的可控性和可解釋性都是比較差的，因此深度學習也常常給予人們一種捉摸不透的“黑盒子“印象。現有超分辨率算法在遇到嚴重的噪聲/偽影干擾時，表現性能會大幅下降。具體表現為會放大噪聲/偽影等錯誤的高頻信息，產生嚴重影響觀感的bad case。同時現有數據驅動的去壓縮失真、去噪算法也伴隨著像素平均化的影響，出現over-smooth的現象。

團隊設計了“對癥下藥“的解耦信噪特征損失函數(disentangled loss)，根據編解碼知識的先驗，使得網絡可以智能感知編碼量化帶來的塊效應、振鈴效應以及各種復雜的偽影現象，如下圖所示，黑色標記為失真偽影。

解耦信噪特征損失函數(disentangled loss)，通過端到端地引導網絡去區分像素屬于偽影還是紋理，增加網絡的可控與可解釋性。其他算法(包括編解碼的環路濾波、傳統圖像算法、現有最新的深度學習網絡沒有足夠可靠的機制與統一的公式去判斷壓縮塊的邊界是量化產生還是真實就有的。借助這項自研的像素區域分類損失，和像素級重建損失結合，這項技術不僅能夠在測試數據上展現明顯領先的客觀指標分數，同時能大大緩解over-smooth的現象，取得了“黑科技“般的主觀效果。

（左：受損畫質 右：AR-SR提升結果）

（左：受損畫質 右：AR-SR提升結果）

同時，“AR-SR”是深度學習技術和編解碼先驗知識結合的一次實踐。團隊下一步的計劃是在傳統圖像處理、視頻編解碼的先驗知識中挖掘更多可供利用的信息，指導網絡結構的設計，使其更高效可控。這是目前網絡結構搜索(NAS)等方式所不具備的能力。

展望

往往UGC點播短視頻視頻場景，受限于用戶拍攝條件有限或上行網絡帶寬限制，需要對拍攝源視頻降低分辨率、使用較低碼率壓縮，從而給視頻帶來了很大的采樣損失和量化損失，很大程度影響用戶觀感體驗。對于這種場景，可以在轉碼端對源視頻使用團隊改造后“AR-SR”方案進行畫質提升，修復壓縮帶來的損耗和恢復原分辨率信號。

團隊后續不斷演進“AR-SR”算法，提升算法魯棒性，并將實際落地應用到點播視頻修復與增強業務場景。

LiveVideoStackCon 2020?北京

2020年10月31日-11月1日

點擊【閱讀原文】了解更多詳細信息

總結

以上是生活随笔為你收集整理的解读腾讯极速高清AR-SR的画质改善机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。