前言：ABME發表在ICCV2021，也是一篇基于光流做插幀的文章
論文地址：【here】
代碼：【here】

Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

引言

大多數插幀的方法都是基于光流
光流方法又可以分為前向流方法和后向流
前向流方便求得,但是容易造成空洞和重疊
后向流由于中間幀的缺失，大多方法采用近似的辦法，但是近似會造成誤差
這篇文章利用光流，提出了一個不對稱的光流算法，
首先, 用對稱流求得中間的錨定幀
其次，利用錨定幀求出兩邊的不對稱光流
最后，利用對稱的光流和不對稱的光流，得到最后的插幀圖像

網絡架構

從左至右分別是

• 對稱雙邊光流估計
• 錨定幀生成
• 不對稱的光流估計網絡ABMRnet
• 幀合成網絡

對稱雙邊光流估計

用BMBE的方法，求得對稱后向流

錨定幀生成

在原有的后向流合成公式中

加入帶有遮擋的mask

不對稱的光流估計網絡ABMRnet

網絡如下

修改自PWC，其中也加了Mask 和offsetmap來對遮擋進行處理

幀合成網絡

左右兩邊兩張圖和對應的對稱的不對稱的后向流輸入，并warp，兩邊的網絡共享權重
中間的網絡主要為兩部分 ，filternet和refinenet
這兩個的網絡結構都來自Gridnet，用于處理不同尺度的輸入的融合問題

其中 filternet采用動態局部卷積lareral block
refinenet用于生成殘差來優化結果

實驗結果

可見要比BMBC效果好，參數量也更小

總結：這篇文章里的第二章有很詳細的對前向warping和后向warping的總結歸納，在有的之前的文章這一塊是略過的，還是講的很清晰，但是還是覺得網絡設計得有些復雜了，設計和沿用了很多新的模塊

總結

以上是生活随笔為你收集整理的论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。