論文：《Focal Loss for Dense Object Detection》

論文地址：https://arxiv.org/abs/1708.02002

代碼地址：

• 官方 github：https://github.com/facebookresearch/detectron
• tensorflow：https://github.com/tensorflow/models
• https://github.com/fizyr/keras-retinanet
• https://github.com/yhenon/pytorch-retinanet

目前在目標檢測領域里二階段的方法精度是優于一階段的，盡管一階段的檢測器處理的是更密集的樣本，應該可以做到更快、更簡單，作者認為沒有實現這種期望的原因是在于正負樣本的極度不平衡（前景和背景），所以作者提出了一個新的 loss，稱為 Focal Loss，它通過修改標準的交叉熵函數，比如可以降低對識別很好的樣本的權重，這樣它會專注于訓練少量困難樣本，而不會被大量簡單的樣本所干擾。

另外，就是基于 FPN 提出了一個新的檢測框架，稱為 RetinaNet，實驗表明它在精度上優于當前最好的二階段檢測算法，速度上好過一階段的檢測算法。

聯系方式：

Github：https://github.com/ccc013/AI_algorithm_notes

知乎專欄：機器學習與計算機視覺，AI 論文筆記

微信公眾號：AI 算法筆記

1. Introduction

當前主流的目標檢測方法是分為兩階段 two-stage 和 一階段 one-stage：

• 兩階段的做法是先在第一個階段生成了稀疏的候選 bbox，然后第二階段對這些 bbox 進行分類，判斷是目標物體還是背景，兩階段檢測算法也是當前精度最高的目標檢測算法
• 一階段的檢測方法是直接處理大量的候選 bbox，檢測和分類同時完成，盡管速度很快，但是其精度相比于兩階段最好的算法還是有 10%-40%的差距；

作者認為一階段檢測算法的主要問題在于沒有很好處理類別不平衡的問題：

• 兩階段檢測算法在第一個階段同個如 RPN等方法生成候選 bbox 的時候，就會過濾掉大量的背景樣本，在第二階段進行分類的時候，采樣策略使用了如固定的前后景比例（1：3），或者在線困難樣本挖掘（ online hard example mining ，OHEM)都可以保持一個合理的類別比例；
• 一階段檢測算法雖然也采取了同樣的采樣策略，但是由于候選的 bbox 數量太多（超過 100k），這些策略會由于很多容易分類的背景樣本導致非常低效，當然這個也是目標檢測里的經典問題，也有一些解決辦法，比如 boostrapping，或者困難樣本挖掘；
• 類別不平衡問題在一階段和兩階段檢測算法中都存在，它會導致兩個問題：
  • 由于大量易分類的負樣本（背景）導致訓練是低效的，因為這些樣本不能提供有效的信息；
  • 易區分的負樣本也會破壞模型的訓練，導致模型的退化；

作者希望結合一階段和二階段的優點，即做到又快又精準，所以提出了一個新的 loss 函數，稱為 Focal Loss，其作用是動態調整交叉熵函數的大小，設置的縮放因子會隨著樣本是否容易區分而變化，如下圖所示：

直觀上來說，這個縮放因子會自動降低易區分樣本的權重，讓模型在訓練的時候專注于訓練少量的困難樣本。

為了驗證這個方法的有效性，作者使用 RPN 作為骨干網絡，提出了一個一階段檢測框架，并成為 RetinaNet，其實驗結果如下圖所示，結果表明 RetinaNet 可以做到速度和精度之間的平衡，速度比二階段檢測算法更快，精度比一階段檢測算法更好。

另外，作者強調了 RetinaNet 取得這樣的成果主要是依賴于 loss 的改進，在網絡結構方面并沒有創新。

2. Focal Loss

Focal Loss 是為了解決一階段檢測算法中極度類別不平衡的情況(比如正負樣本比 1:1000)所設計的 loss 函數，它是對標準的交叉熵函數的修改。

首先，標準的交叉熵函數公式如下：
$$CE(p,y)=CE(p_t)=?log(p_t)$$
其中 y 表示樣本的真實標簽，這里用二分類舉例，所以 y 的取值就是 1 或者 -1，而 p 是模型預測的概率，取值范圍是 [0,1]，然后 $p_t$ 是：

在第一節Introduction的 Figure1 里，最上邊的藍色曲線就是表示交叉熵損失函數面對不同樣本的 loss，可以看到即便是非常容易區分的樣本，即 $p_t$ 遠大于 0.5 的樣本，交叉熵計算得到的 loss 依然是非常的大，如果把大量的這種樣本的 loss 進行求和，會破壞少量的困難樣本提供的信息。

2.1 Balanced Cross Entropy

之前也有人提出了一個平衡的交叉熵函數，如下所示：

這里引入了一個權重因子 $\alpha$ ，它和類別數量成反比，也就是類別數量越少的類別，其 loss 權重會越大。這也是本文方法的 baseline。

不過這個 loss 函數的問題在于增加的權重因子只是區分了正負樣本，但是并不能區分容易分類和很難分類的樣本，因此本文是針對這點進行了改進，提出了 Focal Loss。

2.2 Focal Loss

Focal Loss 的計算公式如下：

這里增加了一個超參數 $\gamma$ ，作者稱為聚焦參數(focusing parameter)，在本文實驗中 $\gamma =2$ 的效果最好，而它為 0 的時候就是標準的交叉熵函數。

對于 Focal loss，有兩個特點：

當有樣本被誤分類，并且 $p_t$ 很小的時候，調節因子 $(1?p_t{)}^{\gamma }$ 是接近于 1，對于 loss 來說是影響不大，但隨著 $p_t$ 趨向于 1，這個因子會逐漸趨向于 0，則對于分類很好的樣本的 loss 也會變小從而達到降低權重的效果；

聚焦參數 $\gamma$ 會平滑的調節易分類樣本調低權值的比例；$\gamma$ 增大能增強調節因子的影響，實驗中表明了$\gamma =2$ 是效果最好，直觀上來說，調節因子減少了易分類樣本的損失貢獻，拓寬了樣本接收到低損失的范圍。

在實際應用中，會結合平衡交叉熵，得到的 focal loss 如下所示，這樣既可以調整正負樣本的權重，又可以控制難易分類樣本的權重：

實驗中表明這個 loss 可以比不加入 $\alpha$ 的 loss 提升一點精度。

2.3 Class Imbalance and Model Initialization

在二分類中，默認二分類的輸出概率都是相等的，但這種初始化會導致數量很多的類別的 loss 在整體 loss 中占據較大的比例，這會影響訓練初期的穩定性。

對于這個問題，作者在初期訓練中為少數類（即前景）的模型評估 $p$ 引入了一個 prior 的概念，并用 $\pi$ 表示它，然后將其設置為比較小的數值，實驗表明無論是使用交叉熵還是 focal loss，在面對嚴重的類別不平衡的問題時，這個做法都能提高訓練的穩定性。

2.4 Class Imbalance and Two-stage Detectors

兩階段的檢測算法一般都是使用標準的交叉熵函數，很少使用平衡的交叉熵或者 focal loss，它們處理類別不平衡問題主要是依靠兩個機制：

兩階段的串聯方式；

有選擇的 mini-batch 的采樣方式

在第一階段就會減少大量的候選 bbox，將數量降低到 1-2k，并且并非隨機刪除，而是可以刪除了大量的負樣本；在第二階段會采用有選擇的采樣方法來構建 mini-batch，比如采用正負樣本比是 1:3 的比例，這個比例的作用等同于平衡的交叉熵中加入的 $\alpha$ 參數。

---

3. RetinaNet Detector

RetinaNet 的整體結構如下圖所示：

RetinaNet 是一個一階段檢測框架，它包含了一個骨干網絡以及兩個特定任務的子網絡，骨干網絡是對輸入圖片計算其特征圖，然后兩個子網絡分別骨干網絡的輸出做分類和候選框回歸的工作。

Feature Pyramid Network 骨干網絡

RetinaNet 采用 FPN 作為骨干網絡，FPN 的結構如上圖的 a-b，這里是基于 ResNet 構建的 FPN，它是一個自頂向下，帶有側面連接的卷積神經網絡，在輸入是單種分辨率的情況下，它可以得到多種尺度的特征。

本文是構建了一個 P3 到 P7的金字塔，其中 l 表示金字塔的級別，$P_l$ 的分辨率是輸入的分辨率的 $1/2^l$ ，每個級別的金字塔的通道數量都是 C = 256.

Anchors

本文采用了 translation-invariant anchor boxes，每個 anchor 在金字塔的 P3 到 P7分別擁有 $32^2$ 到 $512^2$ 的區域，并且在每個金字塔級別設置的高寬比是 {1:2, 1:1, 2:1} ，對應的設置縮放比例是 {$2^0,2^{1/3},2^{2/3}$} ，最終在每個金字塔層上是產生了 A=9 個 anchors，并且能覆蓋對應網絡輸入圖片上 32~813 像素的區域。

每個 anchor 都是 K 個分類目標的 one-hot 向量（K 表示類別數量）和 4 個 box regression 的目標。作者設定 anchor 的方式是和真實標簽物體檢測框的 IoU（intersection-over-union）的閾值為 0.5，和背景的 IoU 是 [0, 0.4)，而如果是在 [0.4，0.5)，訓練的時候將被忽略；

回歸檢測框（Box regression）目標是計算每個 anchor 和其分配的物體框的偏移量，如果沒有設定則是忽略。

分類子網絡（Classification Subnet）

分類子網絡的作用是預測在每個空間位置上，A 個 anchor 和 K 個類別物體出現的概率。這個子網絡是一個小型的 FCN，并且和 FPN 每層都連接，然后子網絡的參數是在所有金字塔層中都共享的。

這個子網絡的設計比較簡單，給定某個金字塔層的通道數量是 C的輸入特征圖，然后會先通過 4 個卷積核為 $3\times 3$ ，數量是 C 的卷積層，并采用 ReLU 激活函數，接著是一個卷積核同樣是 $3\times 3$ ，但是數量是 $K\times A$ 的卷積層，然后用 sigmoid 激活函數并對每個空間位置輸出 KA 個二值預測，在本文實驗中，C=256，A=9.

這里對比 RPN 網絡，本文采用的分類子網絡是層數更多，并且僅采用 $3\times 3$ 的卷積核，同時并沒有和下面介紹的 box regression 子網絡共享參數，這是因為作者發現更高層的設計決定會比特定值的超參數更加重要。

回歸檢測框子網絡（Box Regression Subnet）

跟分類子網絡是并行的關系，作者同樣采用一個小型的 FCN 網絡，并且也是和FPN 每層相連接，目的是回歸每個 anchor box 對相鄰真實標簽物體的偏移量。

在網絡設計方面和分類子網絡是類似的，不相同的是輸出的是4A 個線性輸出。對于每個空間位置上的 A 個 anchor，這 4 個輸出預測的是 anchor 和真實標簽檢測框的偏移量，另外和現在大部分工作不同的是，作者采用了一個 class-agnostic bounding box regressor，即可以用更少的參數但更加高效。

分類子網絡和回歸檢測框子網絡是共享相同的網絡結構，但是分別采用不同的參數。

4. 實驗

實驗結果如下：

a）在標準交叉熵 loss 基礎上增加了參數 $\alpha$ 的結果，其中 $\alpha =0.5$ 就是傳統的交叉熵，表格中可以看出在 0.75 的時候效果最好，AP 提升了 0.9；

b）對比了不同 $\gamma$ 和 $\alpha$ 的實驗結果，隨著 $\gamma$ 的增加，AP提升比較明顯，另外當 $\gamma =2$ 的時候是效果最好的時候；

c）對比了 anchor 的大小 scale 和長寬比 aspect ratio 對于效果的影響，最好的結果是分別選擇 2 和 3 的時候；

d）和采用 OHEM 方法的對比，這里看到最好的 OHEM 效果是 AP=32.8，而 Focal Loss 是 AP=36，提升了 3.2，另外這里 OHEM1:3 表示通過 OHEM 得到的 minibatch 中正負樣本比是 1：3，但是這個做法并沒有提升 AP；

e）對比了在不同網絡模型深度和輸入圖像大小下的AP 和速度。

5. 結論

本文作者認為一階段檢測算法不能在性能上超過二階段檢測算法的根本原因是類別的極度不平衡問題，為了解決這個問題，提出了一個 focal loss，它對標準的交叉熵 loss 進行修改從而可以實現讓網絡模型更專注學習困難的負樣本。本文的方法是簡單但高效的，并且設計了一個全卷積的一階段檢測框架來驗證其高效性，實驗結果也表明了其可以達到 state-of-art 的精度和速度。

總結

以上是生活随笔為你收集整理的Focal Loss 论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。