?PaperWeekly ·?作者｜吳桐

學校｜香港中文大學博士生

我們的 Distribution-Balanced Loss for Multi-Label Classification in Long-Tailed Datasets 很榮幸被接收為 ECCV 2020 的 Spotlight Presentation。

本文關注的是長尾分布下的多標簽分類問題，并提出了一種分布平衡損失函數（Distribution-Balanced Loss），在 COCO-MLT 和 VOC-MLT 這兩個人工構造的多標簽長尾數據集上進行實驗驗證，取得了很好的效果。文章和代碼均已公開。

論文鏈接：https://arxiv.org/abs/2007.09654

代碼鏈接：https://github.com/wutong16/DistributionBalancedLoss

視頻鏈接：youtu.be/AoEJF-osMgM

背景

真實世界中的數據分布往往是不平衡的，少數幾個頭部類別（比如人、車等）擁有大量可訓練樣本，而大多數類別的樣本數量十分有限，在統計直方圖上形成長長的“尾巴”。

長尾分布問題近年來廣泛受到大家的關注，常用以驗證的有 ImageNet-LT, Place-LT, MS1M-LT [1]，iNaturalist, long-tailed CIFAR10/100 [2] 等單標簽數據集。MMLab 也是最早關注并正式定義長尾識別的實驗室之一 [1]?。

然而，采集自真實場景的圖片常常具有豐富的語義信息，多個物體共存是一種普遍情形。因此長尾分布下的多標簽分類任務是這篇文章主要關注的問題。

動機

從單標簽向多標簽的轉換，有幾個自然的思路：對前者有效的方法對后者來說是否仍適用？兩種設定在訓練時的主要區別有哪些，又有怎樣的影響呢？

采樣難解耦

對于第一個問題，我們注意到重采樣（re-sampling）是一個常見而有效的策略，在幾個最新工作 [1,2,3,4] 中都作為關鍵組件出現，其中 [3,4] 提出重采樣法對分類器學習有顯著促進作用。但這種方法并不能順滑地遷移到多標簽情景中，因為標簽的共存性（co-occurrence）將導致不同類別在采樣時無法解耦。

舉個栗子，如果數據集中有限的幾張牙刷圖片樣本都同時包含刷牙的人在其中，那么在對“牙刷”這一尾部類別進行重采樣時，對“人”這一頭部類別的采樣也會只多不少。同時，注意到“刷牙的人”此時就會比“單獨出現的人”具有顯著更高的采樣頻率，為頭部類別額外引入類內不均衡的問題。?

▲ 圖1 重采樣過程以及采樣前后分布直方圖對比

分類器出走

對于第二個問題，我們知道 Cross-Entropy Loss（CE Loss）是單標簽分類中常見的損失函數，其中 softmax 的計算強調分類器需要輸出唯一最大預測值，同時正負類別的預測值在損失函數中存在相互影響；而多標簽分類則多使用 Binary Cross-Entropy Loss（BCE Loss），將任務拆解為一系列相互獨立的二分類問題，并以 sigmoid 計算每一類別的輸出預測值。

現在我們來考慮分類器對一個負類輸出值的求導，兩種損失函數對應梯度的差別如上式所示。對于 CE Loss，當同一樣本中的正類輸出足夠高時，對負類輸出求導的梯度值也會隨之減小，而對 BCE Loss 來說，構造上的獨立性導致只有不斷降低負類輸出值本身才能夠降低自身梯度值，從而在訓練后期該輸出將穩定在一個相對更低的位置上。

這個過程的二者的可視化對比如下圖所示。（注意這里是損失函數的梯度函數，梯度值的大小影響優化速度）

▲ 圖2 CE 和 BCE 對負類輸出的梯度函數可視化

然而，對于一個特定類別（尤其是尾部），數據集中絕大多數都是它的負樣本，當分類器被海量負樣本包圍，且被要求對每一個負樣本都輸出一個足夠低的預測值時，分類器向量在訓練過程中將被迫遠遠偏離大量自然樣本的分布，而僅僅過擬合在它的個別正樣本上。

可以想像分類器預測值在特征向量（feature vector）空間中的分布具有一個尖銳的波峰，泛化性能很差。

方法

針對上述問題，我們分別提出了 Re-balanced weighting 和 Negative-tolerant regularization?兩個策略，并最終整合為一個損失函數的形式。

理想現實有差距，加權彌補

現在來對采樣過程做一個簡單的定量分析：假設我們希望所有類別都以相同的概率被采樣到，那么在不考慮標簽共存時，包含類別??的樣本??被采樣到的概率可記作??；但該樣本還可能含有其它正標簽，每一個正標簽都對它實際的采樣概率有所貢獻，后者可以計算出并記為??。

我們通過計算上述二者的比值??并以其作為加權系數加入訓練，來彌補期待與實際采樣概率之間的差距。特別的，我們還設計了一個平滑函數，將權重系數映射到一個合理范圍內。權重系數的計算過程如下所示。

過度懲罰不可取，點到為止

第二個問題我們在文中稱為負樣本的過度抑制（over-suppression of negative labels），一個簡單粗暴的解決思路便是，不要對負樣本持續施加過重的懲罰，而是點到為止。

我們只需要對分類器的負類輸出進行一個簡單的線性變換就能夠實現上述功能，不要忘記加上正則化系數約束梯度值的范圍。變換后函數請見后文的整體公式，它對負類輸出的梯度與 CE 和 BCE 一同對比如下圖所示。

▲ 圖3 三種損失函數對負類輸出的梯度函數對比

權值正則兩相宜，統一框架

最后，上面兩個方法可以自然地融合為一個損失函數，并進行端到端的訓練，下圖可視化了它的構造過程。

▲ 圖 4 分布平衡損失函數構造過程

我們來回顧一下整體計算框架：(1) 首先應用重采樣法促進尾部類別分類器的學習，同時也對頭部類別引入了一定的類內采樣不均衡性；(2) 接著，利用重加權的方法對無法解耦的采樣在權重上予以平衡；(3)最后，正則化方法緩解了對負類別輸出的過度抑制。

如下圖所示，特征向量（feature vector）空間各類別預測值的分布得到了遞進式的平衡，這也是分布平衡損失函數（Distribution-Balanced Loss）命名時的想法。

▲ 圖5 整體流程示意圖

實驗結果

我們基于 Pascal VOC 和 MS COCO 以抽取的方式人工構造了兩個長尾分布的多標簽數據集用以訓練，稱為 VOC-MLT 和 COCO-MLT，并以 mAP 為主要評價指標在原始測試集上進行驗證。

我們根據每個類別含有的訓練樣本數量 將其劃分為頭部（head, ?），中部（medium,??）和尾部（tail,??）三個子集，并在整體和各子集上都進行了結果對比，結果如下表所示。

特別的，我們還測試了遞進實施每一步驟后，每一類別的指標增量（mAP increment），來分析每個技術對長尾分布的不同位置處類別的影響，具體結果以及更多的 Ablation study 可以參考原文。

展望

這篇文章關注的是長尾分布下的多標簽分類問題，并從已經較為成熟的單標簽不平衡分類方法中得到啟發，從二者的差別入手，提出了一個簡單而有效的方法。深度學習發展到今天，學術界默認采用的單一域平衡數據集已無法反映 AI 算法的真正泛化能力。

我們邀請大家一起來攻關這個新興且更符合現實數據的領域，開放世界學習（Open World Learning），既包含類別分布上的復雜性 [1]，也包含數據域分布上的復雜性 [5]。

最后，歡迎大家關注我們的工作，提出寶貴的建議！

參考文獻

[1] Liu et al., Large-Scale Long-Tailed Recognition in an Open World, in CVPR 2019 (Oral),?liuziwei7.github.io/pro?
[2] Cui et al., Class-Balanced Loss Based on Effective Number of Samples, in CVPR 2019?
[3] Kang et al., Decoupling Representation and Classifier for Long-Tailed Recognition, in ICLR 2020?
[4] Zhou et al., BBN: Bilateral-Branch Network with Cumulative Learning for Long-Tailed Visual Recognition, in CVPR 2020 (Oral)
[5] Liu et al., Open Compound Domain Adaptation, in CVPR 2020 (Oral),?liuziwei7.github.io/pro

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結

以上是生活随笔為你收集整理的ECCV 2020 Spotlight | 多标签长尾识别前沿进展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。