目錄

• 簡介
• 動機
• 貢獻
• 方法
• 實驗

簡介

北大電子工程與計算機科學學院、華科軟件工程學院、北航軟件學院合作的一篇文章，算是我看到的第二篇ALVC任務方面的論文，看這個版面和參考文獻格式，感覺是投了ICML。
下載鏈接

• task challenge：如何合理地利用視頻和文本中豐富、多樣的信息。

動機

作者先是分析了相關工作（實際上只有AAAI2019的那一篇，鏈接），指出該文章中沒有將視覺信息和文字信息整合在一起，可能導致信息多樣性有限。surrounding comments是基于video生成的，包含video中較為重要的信息。綜上，本文致力于從視頻和文本中收集多樣化的信息。

貢獻

• 提出Diversified CoAttention (DCA)模型，用于從視頻和文本中收集多樣化的信息。
• DCA模型中包括三個相互關聯的組件：多視角attention（MPA）、參數正交化方法（ parameter orthogonalization technique，簡稱Ortho）、門控attention模塊（GAM）。
• 取得了比以前方法（就一篇）和傳統的co-attention更好的結果。

方法

本文方法的整體框架如下圖所示，MPA通過多視角設置生成多樣化的相互依賴的表示，Ortho用于去除MPA結果中的冗余信息，GAM用于集成來自MPA的各種信息。

門控attention模塊的結構如下圖所示：

實驗

automatic evaluation（其中，帶下劃線的是Ma et al., 2019的實驗結果）：

human evaluation：

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的arXiv 2019 《DCA: Diversified Co-Attention towards Informative Live Video Commenting》论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。