作者丨文永亮

學校丨哈爾濱工業大學（深圳）碩士生

研究方向丨目標檢測、GAN

概要

上一次我們介紹了 CVPR 2019 的?BASNet，CVPR 2019 的那篇 BASNet 主要通過引入結構相似性損失使網絡更關注邊界。這次的 ICCV 2019 有一篇“撞車”論文，可選擇性與不變性之關注邊界的顯著性目標檢測（文中稱其網絡為 BANet），是北航、北大和深圳鵬城實驗室的文章。

其實比引入關注邊界的 loss 更加暴力，它的亮點就在于直接增加一條分支網絡提取預測邊界，后面結合顯著性目標的內部共同組成特征做監督訓練。在效果方面其實兩篇關注邊界的都相差不大，MAE 方面似乎 BANet 要比 BASNet 低一點，但是?Fβ?的評價下，BASNet 要比 BANet 要高一點。

兩個問題

▲?Fig 1. 不同區域的顯著性檢測需要不同的特征

SOD（Salient Object Detection）是關于人眼注意的顯著性物體的任務，存在著兩個問題：

• 一個大的顯著性物體內部存在很大的外觀變化導致很難當做一個完整的物體，如 Fig1 中的 (a) 和 (b)；

• 顯著性物體的邊界很混雜很難從周圍背景中分辨出來，如 Fig1 的 (c) 和 (d)。

其實這就關系到了一個?Selectivity-Invariance dilemma，就是可選擇性與不變性的困境，用傳統的分類任務來理解，就是同一只狗在不同背景下差別很大，而在相同背景下狗和狼的差異不大，想要把前一組圖片中的狗放在一個類別，就是?Selectivity-Invariance dilemma。

這時候的解決方法就是需要一組特征，能夠選擇性的響應圖片中的重要部分，而對圖片中的不重要部分的變化保持不變性。這對特征的劃分要求很高，如果想讓網絡完全學出來響應變化可能會導致網絡十分敏感，對不重要部分變化（如背景的改變）產生很大反應。

模型架構

▲?Fig 2. BANet 的網絡結構

這個網絡結構的特點：

• 前面是普通的特征提取器

• 后面分成三個分支：

  • 邊界定位分支

  • 轉變補償分支

  • 內部感知分支

本文前面的 backbone 特征提取器使用了 ResNet-50。

邊界定位分支使用了多層特征至記為，通過上采樣和拼接融合特征經過簡單的兩層卷積得到邊界預測，然后使用 Sigmoid 層生成可選擇性置信度圖（selectivity confidence map）。文中指出使用多層次特征和簡單的特征映射子網絡是為了使物體邊界具有強的可選擇性，其損失函數定義如下：

其中損失函數 E 只是簡單的交叉熵，為?Ground truth?真實標注邊界數據。

內部感知分支只使用了具有強語義的高層特征，強調的是較大顯著性物體的內部特征不變性，所以只使用了高層特征和較復雜的子網絡，也使用了 Sigmoid 層導出不變性置信圖（invariance confidence map），監督損失函數與相似，如下：

其中其網絡較為復雜，使用了?ISD（integrated successive dilation）模塊。這個模塊在后面介紹。

轉變補償分支是為了平衡內部和邊界之間的可轉換區域需要可選擇性和不變性。

如 Fig 2 所示，? 是 element-wise product，其實類似交集操作，首先是內部圖，是邊界圖，二值化的圖像意思是白色的像素值為 1，黑色的像素值為 0。

M 由三部分組成，加法的第一項，就是背景圖，是兩者都認為是邊界的地方。是非邊界的區域，加法第二項就是兩者都認為是內部的區域。加法第三項是表示兩者都認為是背景的區域。這樣的 M 就是綜合了三個分支的特征以及三個分支的置信圖的 map，最后只需要監督下面這個:

最后最小化三個 Loss 的和：

ISD模塊

▲?Fig 3. ISD的結構

ISD (Intergrated successive dilation)，即整合連續膨脹模塊，其目的是幫助內部感知分支和轉換補償分支提取嵌入在不同上下文區域中的不變性特征。ISD 可以在一系列尺度上有效聚合上下文信息，增強特征不變性。

橙色塊均為卷積層，1x1 的卷積目的是用作通道轉換的，第二層的卷積帶有?rate?部分是膨脹卷積（也稱空洞卷積），比例從左邊到右邊的，總共 N 個分支，Fig3?所示為?ISD-5。第一個分支的特征在經過膨脹卷積之后，與原特征橫向相加，然后也會送入第二分支繼續做連續的膨脹。這樣通過不同連續的膨脹卷積可以感知不同大小的局部上下文。

實驗結果

400x300 的圖片在 3.60GHz 的 CPU 和?GTX 1080ti GPU?下跑了效果為?13 fps。可能因為分支多，而且?ISD 模塊是連續疊加的所以比?BASNet?要慢一倍。

▲?Fig 4. BANet與目前16種state-of-arts的方法在6種數據集上的對比

▲?Fig 5. ?BANet的檢測質量與state-of-arts的算法比較

總結

轉變補償分支的 M 的公式是比較有技巧的一個地方，整個檢測分成了三個分支，如何綜合利用，在選擇性與不變性中權衡動態的地方，總體來說效果不錯，但是暴力地分離邊界必然導致計算的復雜，也是暴力美學的一種形式，因為文章標題與?BASNet?的相似，與其對比在所難免，是結構改變還是 loss 的計算改變更優雅更接近真理，其實很難斷定。

點擊以下標題查看更多往期內容：?

• Grid R-CNN Plus：基于網格的目標檢測演化

• 進擊的YOLOv3，目標檢測網絡的巔峰之作
  
• CVPR 2019 | 基于池化技術的顯著性目標檢測
  

• 天秤座R-CNN：全面平衡的目標檢測器

• 萬字綜述之生成對抗網絡（GAN）

• CVPR 2019 | BASNet：關注邊界的顯著性檢測

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

??來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

?

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 下載論文

總結

以上是生活随笔為你收集整理的ICCV 2019 | 可选择性与不变性：关注边界的显著性目标检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。