作者丨李天一

學校丨北京航空航天大學博士生

研究方向丨視頻編碼與深度學習

本文概述的是作者近期在 IEEE TIP 期刊上發表的論文：A Deep Learning Approach for Multi-Frame In-Loop Filter of HEVC，主要思想是利用深度學習方法，發掘 HEVC 中連續多幀的圖像信息，將其用于環路濾波器的設計，以顯著提高濾波后的圖像質量，進而提高 HEVC 編碼效率。?

此論文是北京航空航天大學博士生李天一，在導師徐邁的指導下，完成的一項工作。

論文鏈接：

https://ieeexplore.ieee.org/document/8736997

數據庫和代碼鏈接：

https://github.com/tianyili2017/HIF-Database

對視頻編碼的一些理解

由本文主要涉及的是視頻編碼與深度學習。介紹本文之前，先在這里寫一下對視頻編碼的粗淺理解，已有了解的可以跳過這部分。

我們平時看到的視頻，原始數據量往往非常龐大，尤其對高清視頻而言，如果直接存儲和傳輸原始信息，需要占用大量的空間和帶寬（例如 1080p@30Hz&24-bit，數據量高達 11.2GB/min）。

為解決這個問題，學術界和工業界制定出了多代視頻編碼標準，用于將原始視頻數據壓縮成體積較小的比特流。壓縮，可以利用無損和有損的方式進行，但無損壓縮的壓縮比往往很有限，目前關注的絕大部分是有損壓縮方式。這種方式允許壓縮后恢復出的視頻存在失真，但只要沒有使視頻質量明顯降低，還能夠被人眼接受，那么這種有損壓縮就是合理的。

不同的有損壓縮方法（例如各種壓縮標準之間、同一標準中的不同配置）性能一般不同，而在作者看來，需要關注的性能，主要在于“多快好省”的后三個字：?

• “快”：編碼時間。與視頻播放時間無關，此指標是把原始視頻編碼成比特流所需的時間，即編碼器的運行時間。編碼時間越短，往往意味著消耗計算資源越少，說明這種編碼方法越有希望得到廣泛應用。?

• “好”：壓縮后的視頻質量。最常用的，可以用所有幀平均 PSNR 來表示。或者用其他客觀指標如 SSIM 等描述，也可用人的主觀打分來衡量。

• “省”：壓縮后的碼率。即比特流體積與視頻時間之比。

以上三項中，編碼時間描述的是過程，視頻質量和碼率描述的是結果，顯然，過程和結果都需要我們關注。其中，形容結果的兩項指標往往聯合使用，因為單純的高質量和單純的低碼率都很難說明編碼性能如何，一般公認的是固定單一變量來對比另一個變量，例如相同視頻質量下的碼率變化率（BD-BR）或相同碼率下的 PSNR 變化量（BD-PSNR）。這種“好”和“省”，更科學地說，稱為“率-失真性能”，即反映碼率和失真兩項指標的綜合性能。?

隨著編碼標準的發展，例如 H.264/AVC->H.265/HEVC->H.266/VVC，率失真性能在不斷地優化，但代價是時間復雜度成倍提高，這主要因為后續的編碼標準往往支持更靈活的分塊/預測/變換等策略，使得編碼器能在更廣大的策略空間中搜索最優解，用更多的搜索時間換取率-失真性能。對于一種編碼標準，研究者改進的目標也往往基于復雜度或率失真性能，因此，據本人有限了解，編碼領域至少有以下幾類研究：?

1. 保證率-失真性能前提下，節省編碼時間：可以理解為減小編碼時間的均值（一階性能）；

2. 在編碼時間可接受的前提下，優化率-失真性能：可以理解為優化BD-BR或BD-PSNR的均值（一階性能）；

3. 復雜度控制，減小編碼時間復雜度的波動：即減小編碼時間的方差（二階性能）；

4. 碼率控制，減小編碼過程中的碼率波動：即減小碼率的方差（二階性能）。

對于不斷發展的編碼標準，提案/論文/專利等可以說是浩如煙海，但往往可以歸結為對復雜度、碼率與視頻質量的追求，按照這個思路，就比較容易理解了。作者曾在 2018 年 TIP 中提出過基于深度學習的 HEVC 復雜度優化方法，屬于上表中比較基本的第 1 類研究；對本文而言，利用 HEVC 多幀信息進行環路濾波，則屬于第 2 類研究。當然，第 3、4 類或者其他類型的工作，在作者所屬的課題組，以及其他編碼相關的課題組，也都有涉及，就暫不詳細說明了。

研究背景

作為一種比較先進的視頻壓縮方法，HEVC 標準相比于上一代 AVC 標準，能夠在相同質量下降低約 50% 碼率，使編碼效率進一步提高。但也需要考慮到，AVC、HEVC 等基于塊的編碼方法通常用于有損壓縮而不是完全無損的，因此不可避免會帶來了多種失真（如塊失真、模糊和振鈴效應等），尤其在低碼率情況下，這些失真更為顯著。

為了減輕編碼過程中的失真，人們提出了多種濾波算法。盡管具體方法不同，這些濾波算法具有一個共同點：都對編碼后的每幀視頻進行質量增強，并且已經增強過的幀又作為參考幀，為后續幀的編碼過程提供幀間預測信息。可見，這類濾波算法既作用于當前幀的輸出，又作用于后續幀的輸入，邏輯上形成一個閉環，因此統稱為環路濾波。合理設計的環路濾波器，使得視頻編碼的效率可以進一步提高。?

首先，HEVC 標準的制定過程涉及到三種環路濾波器，包括去塊濾波器（Deblocking filter，DBF）、樣本自適應偏移（Sample adaptive offset，SAO）濾波器以及自適應環路濾波器（Adaptive loop filter，ALF）。其中，DBF 首先用于消減壓縮視頻中的塊效應；然后，SAO 濾波器通過對每個采樣點疊加自適應的偏移量，來減少壓縮失真；最后，ALF 則基于維納濾波算法，進一步降低失真程度。最終，DBF 和 SAO 被納入 HEVC 標準。?

除了 HEVC 標準環路濾波器，另有多種啟發式的和基于深度學習的環路濾波方法，也被陸續提出。

啟發式方法是根據一些先驗特征（如紋理復雜度和相似視頻塊個數等）對壓縮失真構建統計模型，再根據此模型設計濾波器，例如非局域均值（Non-local means，NLM）濾波器 [Matsumura, JCTVC-E206, 2011] 和基于圖像塊矩陣奇異值分解的濾波器 [Ma, MM 2016][Zhang, TCSVT 2017] 等。啟發式方法能在一定程度上提高編碼效率，但模型中的先驗特征需要手動提取，這高度依賴于研究者的經驗，并且難以利用多種特征進行準確建模，因此在一定程度上限制了濾波器的性能。

從 2016 年開始，基于深度學習的方法顯著提高了環路濾波性能。此類方法一般通過構建卷積神經網絡（convolutional neural network，CNN）來學習視頻幀中的空間相關性。例如，文獻 [Dai, MMM 2017] 設計了一種可變濾波器尺寸的殘差 CNN（Variable-filter-size residue-CNN，VRCNN），以替換幀內模式中的標準 DBF 和 SAO。文獻 [Zhang, TIP 2018] 則提出一種帶有捷徑的殘差CNN（Residual highway CNN，RHCNN），用于幀內或幀間模式的標準 SAO 過程之后。

上述基于深度學習的方法有效發掘了單幀內容的空間相關性，然而卻沒有發掘多幀內容中的時間相關性。實際上，壓縮視頻一般存在明顯的質量波動，而且其中的連續多幀往往包含相似的事物或場景。因此，低質量幀中的視頻內容可以由臨近的高質量幀推測得到，這即為本文的出發點：基于深度學習的 HEVC 多幀環路濾波。

數據分析

對于本文的環路濾波問題，首先構建一個大規模數據庫，以便在設計算法之前進行必要分析，并為本文或后續的相關工作提供數據支撐。本數據庫由182個無損視頻組成，分別來自 http://Xiph.org 網站、視頻質量專家組（Video quality experts group，VQEG）網站和作者所在的團隊之前建立的人臉視頻庫 [Xu, JSTSP 2014]，如下表所示：?

▲?表1 環路濾波數據庫構成

庫中的 182 個視頻包括訓練集（120 個視頻）、驗證集（40 個視頻）以及測試集（40 個視頻）三個不重疊的部分。此外，JCT-VC 標準推薦的所有 18 個視頻也參與測試，但因為版權不全開放，就沒有計入本文構建的數據庫中。所有 182 個開源視頻都利用 HM 16.5 在 4 個 QP 下進行編碼，并包含 LDP、LDB 和 RA 三種幀間配置。

在編碼過程中，提取出所有的未濾波重建幀（Unfiltered reconstructed frame，URF）和對應的無損幀，作為神經網絡的輸入和輸出信息。另外，考慮到 CTU 分割結構會顯著影響壓縮失真，所有幀的 CU 和 TU 分割情況也被提取出來，作為輔助信息。因此，數據庫中的每個幀級別樣本都包括四部分：一個 URF、對應的無損幀，以及表示 CU 和 TU 分割深度的兩個矩陣。

最終，根據 3 種不同配置和 4 種不同 QP 值，總共構建出 12 個子數據庫。完整的數據庫共包含了約 60 萬個幀級別樣本，每個幀級別樣本又可以拆分成多個塊級別樣本（取自視頻幀中的任意位置），能夠為數據分析和模型訓練提供充足的數據支撐。?

構建數據庫后，利用其中的訓練集和驗證集上的 160 個視頻，分析編碼過程中的視頻內容相似度和質量波動情況。首先，圖 2 反應了不同幀間距離下的 Y、U、V 三通道內容相似度，用每個通道兩幀矩陣之間的線性相關系數（CC）來衡量。

▲?圖1 幀間內容相似度

總體上，隨著幀間距離增大，以 CC 衡量的相似度逐漸減小。一般而言，距離 10 幀以內，每個通道的 CC 都大于 0.7，說明鄰近幀的內容相似性較大，這是本文多幀環路濾波方法的前提。

另外，對于壓縮視頻的質量波動，可以用 PSNR 的標準差來衡量。下圖以兩個視頻為例，表示出同一個視頻中幀間 PSNR 存在顯著變化，同樣，其他視頻中也存在相似的現象。

▲?圖2 HEVC編碼視頻質量波動示例

▲?表2 PSNR波動與標準濾波器的PSNR增量

為更全面地衡量 HEVC 中的視頻質量波動，表 2 進一步比較了所有視頻 PSNR 的波動情況，和標準環路濾波器 DBF 和 SAO 所帶來的 PSNR 增量。可見，在 LDP、LDB 和 RA 配置下，PSNR 的標準差平均為 0.891 dB、0.882 dB 和 0.929 dB，遠高于由標準濾波器帶來的提升（0.064 dB、0.048 dB和0.050 dB）。

這說明在 HEVC 的不同編碼配置下，視頻質量波動提供了設計多幀濾波器的潛力（用高質量幀補償鄰近的低質量幀），但標準環路濾波器沒有有效地利用這種潛力。這也不難理解，因為標準濾波器沒有直接利用多幀信息。本文則把握住這種潛力，設計出一個基于多幀信息的環路濾波器。

研究內容

方法框架?

本文中多幀環路濾波器（Multi-frame in-loop filter, MIF）的框架如下圖所示。

▲?圖3 方法框架

圖中上半部分是標準編碼步驟：每個原始視頻幀通過幀內或幀間預測、離散變換和量化等必要步驟進行編碼。預測得到的幀與殘差幀之和，構成一個未濾波的重建幀 URF。下半部分則是本文的貢獻：利用每個 URF 及其臨近幀的信息，增強 URF 的視覺質量。首先，由參考幀選擇器（Reference frame selector, RFS）選出一些高質量且內容相似的幀，作為當前 URF 的參考幀。之后，根據參考幀的數量，在以下兩種可能情況中選擇一種，對 URF 進行增強。

模式1：MIF-Net。設多幀增強方法需要 M 個參考幀。對于一個 URF，如果 RFS 選出了至少 M 個參考幀，當前 URF 將通過 MIF-Net 進行增強。在 MIF-Net 中，首先通過一個運動補償網絡，將每個參考幀的內容與 URF 對齊。之后，將 URF 和所有對齊后的參考幀通過一個質量增強網絡，輸出重建之后的幀。

模式2：IF-Net。對于一個 URF，如果 RFS 未能選出 M 個參考幀，將利用 IF-Net 對 URF 進行質量增強。與 MIF-Net 不同，IF-Net 的輸入只有 URF，無需考慮多幀信息。?

最終，編碼器比較 MIF-Net/IF-Net 與標準濾波器 DBF+SAO 的性能，并將 PSNR 最佳的方案作為實際的選擇，以保證整體性能。?

RFS的設計?

RFS 為每個 URF 選取參考幀的原理如圖。

▲?圖4 RFS原理

假設當前幀 URF 是第 n 幀，RFS 將之前編碼過最近的 N 幀做為參考幀池，即從第 (n-N) 幀到第 (n-1) 幀，都有可能作為第 n 幀的參考幀。對參考幀池中的每幀，計算出 6 個反映視頻質量和內容相似度的指標，包括：

• Y、U、V 三個通道上，參考幀相對于當前 URF 的 PSNR 增量；

• Y、U、V 三個通道上，參考幀和當前 URF 內容的相關系數 CC。?

對于某個參考幀，若至少在一個通道上，滿足 PSNR 增量大于 0 且 CC 大于一個閾值，則認為此參考幀可能有潛力提高 URF 的質量，即該參考幀有效。否則，認為此參考幀無效。若有效的參考幀超過 M 個，則進一步將每個參考幀的6個指標組成一個 6 維向量，輸入到一個兩層全連接網絡 RFS-Net 中，以求得一個輸出標量，表示此參考幀對提升 URF 質量的潛力。之后，從有效參考幀中選取潛力最大的 M 幀，即為 RFS 的輸出。

網絡結構與訓練過程?

RFS 的運行結果，為絕大多數的 URF 選出了具有足夠數量的參考幀；對于少數 URF，也存在參考幀不足的可能。本文核心內容在于，對以上兩種情況（尤其是參考幀足夠的情況），分別設計合適的深度神經網絡，以顯著增強 URF 的質量。首先會比較詳細地介紹 MIF-Net 的結構及其訓練方法，之后將指出 IF-Net 和 MIF-Net 的不同之處。

▲?圖5 MIF-Net或IF-Net結構，由箭頭型號區分代表兩種網絡

MIF-Net 的結構如上圖所示。其輸入包括一個 URF 和它的 M 個參考幀，輸出為增強后的幀。

首先，MIF-Net 的輸入端整合了來自 M 條平行支路的信息，其中每條支路處理其對應的一個參考幀中的信息。在支路中，首先將參考幀的內容與 URF 進行對齊，得到一個運動補償后的幀，即圖中的 compensated frame。然后，將 URF 和補償后的幀，共同輸入到由 CTU 分塊信息所引導塊適應卷積層（block-adaptive convolution）中，利用 CU 和 TU 分割情況，從不同來源的輸入信息中提取較低層特征。之后，考慮到 DenseNet 的高效性，將這些低層特征通過兩個連續的密集單元（dense units）進行處理，以提取更加復雜的特征。最后，來自 M 條支路的這些特征被連接到一起，再經過兩個連續的 dense units，以獲得一些高級特征，最終輸出一個單通道特征圖。

為訓練方便，除了局部的dense units外，MIF-Net 也加入了全局捷徑，將最終 dense unit 輸出的單通道特征圖視為一個殘差幀，即：所求的質量增強幀等于殘差幀與輸入的 URF 之和。接下來，將闡述 MIF-Net 各個部分的結構。

▲?圖6 運動補償網絡

運動補償網絡。MIF-Net 中的運動補償網絡，是基于文獻 [Caballero, CVPR 2017] 中的空間變換運動補償（Spatial transformer motion compensation，STMC）模型改進得到，以實現參考幀和 URF 的內容對齊，如圖 6 所示。

若直接利用此文獻的方法，則 STMC 的輸入為參考幀和 URF，輸出為一個運動補償后的幀（圖中的）。此文獻中的 STMC 包含 ×4 和 ×2 兩條降采樣支路，以預測不同精度的運動矢量（Motion vector，MV）圖。之后，將 ×2 降采樣支路生成的 MV 圖作用到參考幀上，即得到。這種 STMC 適合在不同空間尺度上進行運動估計，然而，其中的降采樣導致精度有限，而且 STMC 的結構還有一些可以改進之處。

對此，本文提出一種改進版運動補償網絡，與文獻 [Caballero, CVPR 2017] 中的 STMC 具有如下區別：?

• 在 ×4 和 ×2 降采樣支路的基礎上，增加一個原尺寸支路，以提升 MV 的估計精度；

• 受 ResNet 啟發，在已有的卷積層旁邊增加了 6 條捷徑（圖中 6 個加號附近），以提高網絡容量并使網絡更容易訓練；

• 將原先所有的 ReLU 激活層替換成 PReLU，使網絡可以學習激活函數負半軸的斜率。?

進行上述改進之后，根據新增的原尺寸支路得到兩個新的 MV 圖，尋找補償后的幀中每個像素在參考幀中的對應坐標，再根據雙線性插值法，計算出運動補償后的幀，即圖中的。?

塊適應卷積層。此層的輸入由三個特征圖相連得到，包括一個 URF、一個運動補償后的幀和兩者之差。CU 和 TU 分割信息用兩張特征圖表示（圖中的和），其中的每張特征圖都與 URF 的大小相同，各個像素的取值取決于 CTU 分割信息：CU 或 TU 邊緣的像素賦值為 1，其余像素賦值為 -1。

而后，塊適應卷積層的目標在于：給定 3 個輸入特征圖，在另外 2 個引導特征圖的作用下，生成一定數量的輸出特征圖。為解決這一問題，我們提出一種帶有引導信息的卷積運算，包括兩個主要步驟：生成中介圖，以及利用中介圖進行卷積。

• 首先，將引導特征圖通過普通卷積層進行處理，生成若干個中介特征圖。在此步驟的處理中，需要保持特征圖尺寸不變。

• 之后，在對輸入特征圖進行卷積的過程中，根據中介特征圖來生成輸出特征圖。

圖 7 給出一個例子，說明帶有引導信息的卷積計算過程。假設一種簡單情況，輸入、輸出特征圖的尺寸均為 3×2，卷積核大小為 3×3。與普通卷積的區別，在于新增的中介特征圖（圖中的intermediate feature map）。考慮引導信息，用原本的卷積核 3*3 權重，乘以中介特征圖里各個像素周圍 3*3 感受野中的數值，逐元素相乘，得到修改后的權重。此時，各個像素對應的 3*3 權重都可能不同，即卷積核權重可以受到中介特征圖控制。之后的運算則與普通卷積類似，由輸入特征圖每個像素周圍的 3*3 感受野，與對應的 3*3 權重做內積，得到輸出特征圖的對應像素值。?

比較而言，考慮每個輸入通道向每個輸出通道做卷積的過程，傳統卷積中的權重與位置無關，具有空間不變性；帶引導的卷積中，卷積核權重會受到中介特征圖控制，即帶有一定程度的空間相關性。盡管這里的卷積核權重與位置相關，但并不會像全連接層那樣完全隨機，這是因為中介特征圖也是通過卷積得到的，而不是雜亂無章。并且，只需增加少量的可訓練參數，即可實現帶引導信息的卷積，不會導致明顯的過擬合。這些特點使得帶有引導信息的卷積，可以利用更豐富的額外信息（如本文中的 CU 和 TU 分割情況），提高神經網絡的建模能力。

▲?圖7 帶有引導信息的卷積示例

用于質量增強的密集單元。作為普通 CNN 的改進版，文獻 [Huang, CVPR 2017] 提出的 DenseNet 包含了多種長度的層間連接，能有效緩解梯度消失問題，并促進網絡不同位置的參數共享。

考慮到這些優勢，MIF-Net 中引入了 (2M+2) 個密集單元（dense units），包括每條支路中的 2 個 dense units，以及網絡末端用來整合各路信息的 2 個 dense units。每個 dense unit 的結構如圖 8 所示，可見，4 層的 dense unit 即包含 10 處幀間連接，遠多于 4 層的普通 CNN 只包含 4 處幀間連接，這有利于發揮 dense unit 靈活拓補結構的優勢。

▲?圖8 dense unit 結構

MIF-Net 訓練過程。考慮到運動補償和質量增強兩大部分，MIF-Net 難以作為一個整體直接訓練。因此，本文采用了中間監督方法，在不同步驟引入各自的代價函數，進行訓練。首先，可以用 URF 和每個參考幀內容的差距來衡量運動補償網絡的性能，即基于 MSE loss 定義一個中間代價函數。

接下來，可以用增強后的幀和無損幀之間的差距來衡量 MIF-Net 的整體性能，同樣基于 MSE loss，定義全局代價函數。最終，訓練 MIF-Net 所采用的代價函數為：。其中，α 和 β 是可以調節的正值參數。考慮到質量增強網絡的需要訓練好的運動補償網絡作為支撐，訓練之初，設置 α >> β，以著重優化；待收斂后，設置 β?>>?α，以傾向于優化全局代價函數。

IF-Net和MIF-Net的區別?

兩個網絡的區別在于 MIF-Net 的輸入包含了 M 個參考幀，而 IF-Net 不包含。因此，在 IF-Net 中只存在質量增強部分的 1 條支路，而沒有運動補償部分，如圖 5 中的粉紅色箭頭所示。MIF-Net 中用于整合 M 條支路信息的連接操作，在 IF-Net 中也不存在。盡管 IF-Net 的結構比較簡單，但它仍然保留本文所提出的塊適應卷積操作和 4 個 dense units，能夠保證充足的網絡容量。在訓練方面，IF-Net 沒有中間代價函數，因此直接優化全局代價函數即可。

實驗結果

首先考慮環路濾波器的一種基本性能，即客觀率失真性能，一般用 BD-BR 和 BD-PSNR 來衡量。利用 JCT-VC 標準推薦的所有 18 個視頻來測試，包括 Class A~E，QP 設置為 22、27、32 和 37。在三種幀間模式中，以最接近實用的 RA 模式為例，下表給出了標準環路濾波器、兩種對比算法和本文算法的性能。

▲?表3 RA模式率失真性能比較

表格中，所有數據都是和去掉環路濾波器的 HM-16.5 編碼器相比的，例如，可以看出標準環路濾波器 DBF+SAO 帶來了 5.031% 的碼率節省，也代表相同碼率下 0.162dB 的質量提升。表中的 [10] 和 [20] 代表一種基于圖像塊矩陣 SVD 分解的啟發式算法 [Zhang, TCSVT 2017] 和一種基于高速殘差 CNN 的深度學習算法 [Zhang, TIP 2018]，與標準算法相比，性能都有所提高。表格右側的多幀環路濾波算法，從 BD-BR 和 BD-PSNR 兩項指標來看，都優于其他三種算法，證明了本文方法的客觀率失真性能。

▲?圖9 RA模式下主觀質量對比

在主觀質量方面，本文也進行了對比，例如圖 9 中，多幀環路濾波相比于其他濾波方法，能觀察到馬尾邊緣更清晰、行人和街道圖像上的塊效應更輕、人的手指更容易分辨，等等。這種質量提升，在一定程度上得益于高質量幀補償低質量幀的思想，尤其在內容運動明顯、質量波動劇烈的地方，優勢更明顯。限于篇幅，論文難以對比所有圖像局部的主觀質量，但本文方法在 18 個標準視頻上所有的編碼結果，已經上傳到數據庫網站 https://github.com/tianyili2017/HIF-Database，以便觀察完整的主觀質量。?

為了進一步驗證多幀環路濾波方法各個部分的作用，本文加入了溶解性實驗，如圖 10 所示。溶解性實驗從完整方法（考慮多幀信息、網絡中存在塊適應卷積和 dense units）開始，每次去掉一個主要部分，測量這種情況的 BD-BR 和 BD-PSNR。

圖 10 中，完整方法為配置 1，去掉多幀網絡 MIF-Net 后成為配置 2，再去掉塊適應卷積后成為配置 3，接著把 dense units 換成普通卷積層后成為配置 4（即深度學習方法的最簡情況）。最終，不帶深度學習的標準環路濾波器，為配置 5。可以看出，圖中每對相鄰的配置都只改變一個變量，構成一組對比實驗，并且存在著明顯的性能差別。這就驗證了本文方法的各個主要成分，都起到了一定的作用，同時也說明了，多幀思想的引入和網絡結構的改進，都有助于提升環路濾波器的性能。

▲?圖10 溶解性分析

除了率失真性能，算法的復雜度也是需要考慮的因素，尤其對于深度學習方法而言，時間復雜度影響著算法的實用性。在表 4 中，本文以 RA 模式為例，在 Intel(R) Core (TM) i7-7700K CPU @4.2 GHz，Ubuntu 16.04 平臺上，給出了標準編碼器 HM16.5 在純 CPU 模式下的每幀編碼時間，同時比較了每種濾波算法額外引入的時間，以比值的形式評估時間復雜度。

表中的 [20]，即 [Zhang, TIP 2018]，是一種有代表性的深度學習方法。本文方法與其對比，無論在純 CPU 情況或是 GPU 支持的情況，復雜度均比較低（例如，GPU 支持下，濾波器平均運行時間僅為標準編碼時間的 0.078 倍）。

可見，本方法為基于深度學習的環路濾波，提供了一種有效方案。當然，時間復雜度上也存在優化的空間，后續可以通過一些網絡剪裁算法，在保持濾波器性能的前提下，顯著縮短運行時間。

▲?表4 RA模式時間復雜度分析

小結

本文主要貢獻包括：?

• 構建一個大規模的環路濾波數據庫，為本方法提供足夠的數據支撐，也可用于對 HEVC 環路濾波的后續研究。?

• 根據視頻內容和質量波動情況的分析，提出一種參考幀選擇算法 RFS。?

• 提出一種多幀環路濾波網絡 MIF-Net，同時利用時間和空間信息，顯著提升視頻幀的質量。其中包含了本文新提出的塊適應卷積、改進版運動補償網絡，以及引入 DenseNet 先進結構設計出的質量增強網絡。?

在作者看來，未來還可以做些進一步工作。例如，在基于深度學習的環路濾波器中，引入更多樣的信息，如跳過模式（skip mode）、PU 分塊信息、編碼器估計出的運動矢量和殘差幀信息等。另外，可以利用一些網絡加速算法對深度神經網絡進行簡化，提高本方法或未來環路濾波方法的實用性，并促進硬件實現。

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的TIP 2019开源论文：基于深度学习的HEVC多帧环路滤波方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。