文章目錄

• • 一、視覺任務(wù)數(shù)據(jù)的特征
  • 二、現(xiàn)有文獻(xiàn)是怎么解決這類問題的
  • 二、本文做法
  • 三、方法
  • 四、實(shí)驗(yàn)結(jié)果

論文路徑： http://www.weixiushen.com/publication/cvpr20_BBN.pdf
代碼路徑： https://github.com/Megvii-Nanjing/BBN

一、視覺任務(wù)數(shù)據(jù)的特征

機(jī)器視覺的代表數(shù)據(jù)集有很多，如 ImageNet ILSVRC 2012, MS COCO, Places Database等。這些數(shù)據(jù)集中的數(shù)據(jù)量是大致均勻分布的，但實(shí)際中，存在大量的長尾分布數(shù)據(jù)，也就是少數(shù)類別有大部分?jǐn)?shù)據(jù)，而多數(shù)類別只有小部分?jǐn)?shù)據(jù)，如圖1所示。

這樣的數(shù)據(jù)分布會(huì)使得網(wǎng)絡(luò)嫩姨獲得良好的識(shí)別效果，原因有兩個(gè)：

• 其一是 data-hungry limitation of models
• 其二是長尾分布數(shù)據(jù)的極端不平衡問題。
  

二、現(xiàn)有文獻(xiàn)是怎么解決這類問題的

現(xiàn)有的文獻(xiàn)中，常用的解決這種極度不平衡的方法是：

• class re-balancing 策略，比如 re-weighting 或 re-sampling。

正面作用： 能夠調(diào)整網(wǎng)絡(luò)的訓(xùn)練，通過在小批量內(nèi)對(duì)樣本重新取樣或?qū)颖緭p失重新加權(quán)，期望更接近于測(cè)試的分布，因此，類別的 re-balancing 可以直接影響深層網(wǎng)絡(luò)分類器權(quán)重的更新，從而促進(jìn)分類器的學(xué)習(xí)。

負(fù)面作用：

• re-balancing 有很好的效果，但能夠一定程度的損壞網(wǎng)絡(luò)所學(xué)習(xí)的深層特征的能力，也就是當(dāng)數(shù)據(jù)極度不平衡時(shí)，re-sampling 有對(duì)尾部數(shù)據(jù)過擬合的風(fēng)險(xiǎn)（通過過采樣）也有對(duì)全部數(shù)據(jù)欠擬合的風(fēng)險(xiǎn)（通過欠采樣）。
• re-weighting，直接改變或翻轉(zhuǎn)數(shù)據(jù)出現(xiàn)的頻率，會(huì)使原數(shù)據(jù)失真。

這些常用方法的特點(diǎn)：

• 能夠顯著的促進(jìn)網(wǎng)絡(luò)的分類器學(xué)習(xí)能力
• 在一定程度上損害所學(xué)習(xí)深層特征的表達(dá)能力

二、本文做法

基于此，該文章提出了一個(gè)統(tǒng)一的雙邊分支網(wǎng)絡(luò) Bilateral-Branch Network（BBN），來同時(shí)處理表達(dá)學(xué)習(xí)和分類學(xué)習(xí)。

模型組成：

• conventional learning branch(對(duì)原始數(shù)據(jù)均勻采樣，學(xué)習(xí)識(shí)別任務(wù)的通用模式）
• re-balancing branch（reversed sampler 來對(duì)長尾數(shù)據(jù)建模）

預(yù)測(cè)輸出：通過自適應(yīng)權(quán)重參數(shù) $\alpha$ 將這些雙邊分支的預(yù)測(cè)輸出聚合到累積學(xué)習(xí)的部分。

$\alpha$： 根據(jù)訓(xùn)練epoch來自適應(yīng)的調(diào)整大小。可以調(diào)整整個(gè)BBN模型，首先從原始分布中學(xué)習(xí)通用特征，然后逐步關(guān)注尾部數(shù)據(jù)。

作用：進(jìn)一步控制每個(gè)分支的參數(shù)更新，例如在訓(xùn)練后期注重尾部數(shù)據(jù)時(shí)，避免損壞已學(xué)習(xí)的通用特征。

貢獻(xiàn)點(diǎn)：

• 探索了針對(duì)長尾問題的顯著的類別 re-balancing，進(jìn)一步發(fā)現(xiàn)，這些方法可以極大促進(jìn)類別學(xué)習(xí)，但同時(shí)會(huì)影響原始數(shù)據(jù)分布的表示學(xué)習(xí)。
• 提出了一個(gè)統(tǒng)一的雙邊分支網(wǎng)絡(luò)（BBN），來兼顧表示學(xué)習(xí)和分類器學(xué)習(xí)。同時(shí)，結(jié)合BBN模型的訓(xùn)練，提出了一種新的累積學(xué)習(xí)策略來調(diào)整雙邊學(xué)習(xí)。
• 在四個(gè)benchmark 長尾數(shù)據(jù)集上測(cè)試，取得了較好的成績。

三、方法

兩個(gè)分支，一個(gè)分支學(xué)習(xí)原始的數(shù)據(jù)分布，另一方分支學(xué)習(xí)尾部數(shù)據(jù)

$\alpha ：$ 隨著 epoch 的增加，re-balancing 分支的權(quán)重變大，也就是 $\alpha$ 慢慢減小，模型向 re-balancing 分支傾斜。

這類似于一種注意力機(jī)制，通過動(dòng)態(tài)調(diào)節(jié)$\alpha$，來控制不同階段模型需要關(guān)注的地方。
雖然圖像特征學(xué)習(xí)和分類器學(xué)習(xí)應(yīng)該有著同等地位，但是BBN在學(xué)習(xí)過程中從關(guān)注圖像特征學(xué)習(xí)逐漸到分類器學(xué)習(xí)，這樣可以保證在訓(xùn)練過程中，不同目標(biāo)的兩個(gè)分支都能在整個(gè)訓(xùn)練過程中不斷更新，這樣可以避免兩個(gè)過程中的相互影響。
$\alpha ：$

$T_{max}$ 是最大的 epoch，隨著 $T$ 的增加，$\alpha$ 越來越小。

四、實(shí)驗(yàn)結(jié)果

總結(jié)

以上是生活随笔為你收集整理的【目标分类_长尾分布问题】BBN:Bilateral-Branch Network _ CVPR2020的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。