論文記錄-2019-Salient object detection: A survey

• 論文內(nèi)容
• • 摘要
  • 1 簡介
  • • （1）什么是顯著物體檢測？
    • （2）定位顯著物體檢測（與其他問題差異）
    • （3）顯著物體檢測的歷史
  • 2 SOTA方法綜述
  • • （1）經(jīng)典模型
    • （2）深度學(xué)習(xí)模型
  • 3 應(yīng)用
  • 4 數(shù)據(jù)集&評估
  • 5 討論與總結(jié)
  • • （1）設(shè)計選擇
    • （2）數(shù)據(jù)集偏差
    • （3）未來方向

---

論文內(nèi)容

Salient object detection: A survey¹
顯著物體檢測：綜述
以下僅為作者閱讀論文時的記錄，學(xué)識淺薄，如有錯誤，歡迎指正。

摘要

• Detecting and segmenting salient objects from natural scenes, often referred to as salient object
  detection, has attracted great interest in computer vision.
  從自然場景中檢測和分割顯著物體，通常被稱為顯著物體檢測，已經(jīng)引起了計算機視覺領(lǐng)域的極大興趣。

• While many models have been proposed and several applications have emerged, a deep understanding of achievements and issues remains lacking.
  雖然已經(jīng)提出了許多模型，并出現(xiàn)了一些應(yīng)用程序，但仍然缺乏對這種成就和問題的深刻理解。

• We aim to provide a comprehensive review of recent progress in salient object detection and situate this field among other closely related areas such as generic scene segmentation, object proposal generation, and saliency for fixation prediction.
  我們的目標(biāo)是針對顯著物體檢測的最新進展進行全方面的回顧，并將該領(lǐng)域與其他密切相關(guān)的領(lǐng)域進行比較，如通用場景分割、目標(biāo)建議生成和眼動點預(yù)測的顯著性。

• Covering 228 publications, we survey i) roots, key concepts, and tasks, ii) core techniques and main modeling trends, and iii) datasets and evaluation metrics for salient object detection.
  我們從228篇出版物總結(jié)出：
  1）起源、關(guān)鍵概念和任務(wù)，
  2）核心技術(shù)和主要建模趨勢
  3）用于顯著目標(biāo)檢測的數(shù)據(jù)集和評估指標(biāo)。

• We also discuss open problems such as evaluation metrics and dataset bias in model performance, and suggest future research directions.
  我們還對一些開放性問題進行了討論，如模型表現(xiàn)上的評價指標(biāo)和數(shù)據(jù)集偏差，并對未來的研究方向提出了建議。

1 簡介

• 人類能夠在預(yù)先注意的階段（ pre-attentive stage） 輕松而快速地檢測到視覺上獨特的，也就是“顯著的（salient）”，場景區(qū)域，這些區(qū)域會在注意階段（attentive stage） 提取更豐富的高級信息。

• 這種能力有助于找到代表場景的物體或區(qū)域，這是復(fù)雜視覺問題的關(guān)鍵步驟，例如場景理解等。

• 一些與視覺顯著性相關(guān)的主題包括：

  • 顯著物體檢測（salient object detection）
  • 眼動點預(yù)測（fixation prediction）
  • 物體重要性（object importance）
  • 記憶性（memorability）
  • 場景雜波（ scene clutter）
  • 視頻興趣（video interestingness）
  • ……

• 本文只關(guān)注顯著物體檢測，這是一個在過去20年里發(fā)展得極大的研究領(lǐng)域，特別是自2007年以來。

（1）什么是顯著物體檢測？

• 顯著物體檢測（Salient object detection） 或顯著物體分割（salient object segmentation） 通常包括兩個階段：

• 檢測最顯著的物體（detecting the most salient object）
• 分割該物體的精確區(qū)域（segmenting the accurate region of that object）

• 良好的顯著性檢測模型至少應(yīng)該滿足以下三個標(biāo)準(zhǔn)：

• 良好的檢測（good detection）：未檢測到的顯著區(qū)域和錯將背景標(biāo)記為顯著區(qū)域的概率應(yīng)該較低；
• 高分辨率（high resolution）：顯著映射圖應(yīng)該具有高分辨率或全分辨率，以準(zhǔn)確定位顯著目標(biāo)并保留原始圖像信息；
• 計算效率（computational efficiency）：作為其他復(fù)雜過程的前期工作，這些模型應(yīng)該快速檢測顯著區(qū)域。

（2）定位顯著物體檢測（與其他問題差異）

• 眼動點定位（fixation locations） 與顯著物體（ salient objects） 之間存在著很強的相關(guān)性。兩者的輸出都是一張連續(xù)值的映射圖（continuous-valued saliency map），像素值更高表示該點更可能被注視；

• 物體提議生成（Object proposal generation） 也與顯著物體檢測高度相關(guān)，但前者輸出一些候選對象的邊框或區(qū)域建議；

• 圖像分割（Image segmentation），也稱為語義場景標(biāo)記（semantic scene labeling） 或語義分割（ semantic segmentation），為每個像素標(biāo)記一個類別，例如天空、道路、建筑等，而顯著物體檢測的輸出是一個二元映射圖；

• 幾種問題的對比如下圖：
  （從左至右分別為：原圖像，顯著物體檢測，眼動點預(yù)測，圖像分割（不同大小），圖像分割（類似大小），物體提議）
  

（3）顯著物體檢測的歷史

• 第一波浪潮：Itti等人提出最早一批顯著模型，跨越了多個學(xué)科；
• 第二波浪潮：將顯著物體檢測視為二元分割問題（ binary segmentation problem）；
• 第三波浪潮：卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNNs）的興起。
  

2 SOTA方法綜述

（1）經(jīng)典模型

基于塊（Block-based） VS 基于區(qū)域（region-based）
前者主要用于早期方法，而后者隨著超像素算法的引入而變得流行。

內(nèi)部線索（Intrinsic cues） VS 外部線索（extrinsic cues）
前者來自輸入圖像內(nèi)部，而后者借助用戶標(biāo)注、深度圖等信息。

• 本文將模型分三類討論（上述方法的組合）：
  • 內(nèi)部線索+基于塊
  • 內(nèi)部線索+基于區(qū)域
  • 外部線索（基于塊+基于區(qū)域）

（2）深度學(xué)習(xí)模型

基于傳統(tǒng)卷積網(wǎng)絡(luò)（classic convolutional network，CCN）的模型

基于完全卷積網(wǎng)絡(luò)（fully convolutional networks ，FCNs）的模型

3 應(yīng)用

• 物體檢測與識別（object detection and recognition）
• 圖像與視頻壓縮（image and video compression）
• 視頻總結(jié)（video summarization）、
• 照片拼貼/媒體重定位/裁剪/縮略圖（photo collage/media retargeting/cropping/thumbnailing）
• 圖像質(zhì)量評估（image quality assessment）
• 圖像分割（image segmentation）
• 基于內(nèi)容的圖像檢索和圖像收集瀏覽（ content-based image retrieval and image collection browsing）
• 圖像編輯與操作（image editing and manipulation）
• 視覺跟蹤（visual tracking）
• 對象發(fā)現(xiàn)（object discovery）
• 人機交互（human-robot interaction）

4 數(shù)據(jù)集&評估

• 數(shù)據(jù)集總結(jié)如下圖：
  
• 評估指標(biāo)：
  • 查準(zhǔn)率和查全率（precision–recall ，PR)
  • F-度量（F-measure）
  • 觀測者操作特性曲線（Receiver operating characteristics ，ROC)
  • ROC曲線下的面積（Area under ROC curve，AUC)
  • 平均絕對誤差（Mean absolute error，MAE)

5 討論與總結(jié)

（1）設(shè)計選擇

• 啟發(fā)式（Heuristics ）VS 從數(shù)據(jù)中學(xué)習(xí) （learning from data）

• 手工特征（ Hand-crafted）VS CNN特征（ CNN-based features）

• 基于CNN的顯著性檢測的近期進展

（2）數(shù)據(jù)集偏差

• 選擇偏差（selection bias）

• 捕獲偏差（capture bias）

• 負(fù)集偏差（negative set bias）

（3）未來方向

• 超越單一圖像

• 實例級顯著物體檢測

• 多功能網(wǎng)絡(luò)結(jié)構(gòu)

---

Borji A, Cheng M M, Hou Q, et al. Salient object detection: A survey[J]. Computational visual media, 2019, 5(2): 117-150. ??

總結(jié)

以上是生活随笔為你收集整理的论文记录-2019-Salient object detection: A survey的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。