在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。

在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。

點擊本文底部的「閱讀原文」即刻加入社區，查看更多最新論文推薦。

這是 PaperDaily 的第?34?篇文章

本期推薦的論文筆記來自 PaperWeekly 社區用戶 @chenhong。本文提出了一種高效數據增強方式 SamplePairing，沒有任何公式，沒有任何框架，任何 CPU 都能處理。

如果你對本文工作感興趣，點擊底部的閱讀原文即可查看原論文。

關于作者：陳泰紅，小米高級算法工程師，研究方向為人臉檢測識別，手勢識別與跟蹤。

■?論文 | Data Augmentation by Pairing Samples for Images Classification

■ 鏈接 | https://www.paperweekly.site/papers/1523

■ 作者 | chenhong

論文動機

這是 IBM 在 arXiv，2018 年 1 月 9 日新掛的一篇論文，主要研究數據增強。核心思想很簡單，小學生都會，求平均值。這是我見到 CNN 領域最簡單的一篇論文。?

數據增強是機器學習任務中廣泛使用的技術，如圖像處理領域，人工標注數據成本昂貴，而 CNN 的訓練有需要大量標注數據避免過擬合。圖像處理領域常用的數據增強技術有旋轉、扭曲、添加少量噪音、從原圖像裁剪等。

本文提出了一種高效數據增強方式 SamplePairing：從訓練集隨機抽取的兩幅圖像疊加合成一個新的樣本（像素取平均值），可以使訓練集規模從 N 擴增到 N*N。沒有任何公式，沒有任何框架，簡單易懂簡潔明了，任何 CPU 都能處理。

論文在使用 GoogLeNet，在 ILSVRC 2012 數據集從 top-1 錯誤率從 33.5% 降低到 29%，在 CIFAR-10 數據集 top-1 錯誤率從 8.22％ 降低到 6.93％。這對訓練集有限的任務而言，提高了模型的準確性。

模型介紹

論文的模型結構 SamplePairing 如上圖所示。模型雖然很簡單，但是還得消化一下為什么簡單有效。?

先說一下實現過程。訓練圖像 A 是隨機的，從訓練集隨機抓取圖像 B，（A 和 B 都是 ILSVRC2012 的圖像，分辨率 256x256）兩者都經過基本的數據增強（隨機翻轉，萃取），分辨率變為 224x224，對兩幅圖像求平均值，但是 label采用的是 A，之后送入 GoogLeNet 模型。因此，SamplePairing 隨機從圖像集中創建新的圖像，而且 label B 未使用。?

圖像 A 和 B 在模型中的權重是一致的，即使使用大型網絡，訓練誤差也不能變成 0，訓練精度平均不能超過 50%。對于 N 分類器，最大訓練精度是 0.5+1/(Nx2)。

盡管 SamplePairing 的訓練精度不會很高，當停止 SamplePairing 作為最終微調時的訓練，訓練精度和驗證精度很快改善。

經過微調模型，使用 SamplePairing 訓練的網絡比未使用 SamplePairing 訓練的模型都高很多。論文認為使用 SamplePairing 是一種正則化。?

在 mix 之前有其他數據增強方式，在 CPU 執行，而反向傳播的訓練過程在 GPU 執行，這樣 CPU 和 GPU 并行計算，沒有限制增加總的訓練時間。?

論文的訓練過程如下：?

1. 先不使用 SamplePairing 數據增強訓練，而是先使用傳統的數據增強訓練網絡。

2. 完成一個 epoch（ILSVRC）或者 100 個 epoch（其他數據集），加入 SamplePairing 數據增強。

3. 間歇性禁止 SamplePairing。對于 ILSVRC 數據集，為 300,000 個圖像啟用 SamplePairing，然后為下一個 100,000 個圖像禁用它。對于其他數據集，啟用 8 個 epoch，在接下來的 2 個 epoch 禁止 SamplePairing。?

4. 在訓練損失函數和精度穩定后，禁止 SamplePairing 作為微調。

實驗

論文的模型在多個數據集進行驗證：ILSVRC 2012，CIFAR-10，CIFAR-100，以及 Street View House Numbers (SVHN) datasets。

以 CIFAR-10 為例，validation 誤差一致在波浪形震蕩，800epoch 之后才趨于穩定，此時誤差才小于不使用 SamplePairing 的模型。?

論文表 1 所示 training error 會增加，而 validation error 會減小，說明正則化效果明顯。在 CIFAR 訓練集減少樣本個數，訓練和驗證誤差相差不大。

文章評價

目前作者論文僅僅在 ILSVRC 2012 驗證分類的錯誤率，其他數據集比如目標檢測，語義分割是否有效？有研究能力的同志們趕緊往前沖，這又是一個坑。?

論文給出一種數據增強方式，也用實驗驗證確實有效，但是為什么有效？

個人認為相當于隨機引入噪聲，在訓練樣本中人為引入誤導性的訓練樣本。 如果不是 IBM 的論文，我估計也不會認真研究一番的。在論文滿天飛的年代，名企名校名人還是占優勢的。

本文由 AI 學術社區 PaperWeekly 精選推薦，社區目前已覆蓋自然語言處理、計算機視覺、人工智能、機器學習、數據挖掘和信息檢索等研究方向，點擊「閱讀原文」即刻加入社區！

△ 戳我領取新年禮物

投票參與 & 讀者福利

?參與方式??

1. 長按識別下方二維碼參與投票

2. 文末留言你喜歡某篇論文的原因

3. 分享本文到朋友圈并截圖發至后臺

?截止時間??

2018年1月24日0點0分

?福利清單??

PaperWeekly定制手機殼 x 3份

PaperWeekly定制筆記本 x 5份

PaperWeekly定制行李牌 x 10份

△ 我們長這樣哦~

長按掃描二維碼，參與投票！

▼

#?高 能 提 醒?#

1. 為了方便大家在投票過程中查看論文詳情，請勿使用微信內置瀏覽器。點擊頁面右上角的“…”按鈕，在手機瀏覽器中打開表單。

2. 本次評選包含自然語言處理和計算機視覺兩大方向，請在你所選擇的參與方向下勾選3-10篇論文。

3. 獲獎名單將于1月25日公布，其中5位由小編根據文末留言選取，其他13位采用隨機抽取，禮物隨機發放。

長按掃描二維碼，馬上投票！

▼

? ? ? ? ???

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看原論文

總結

以上是生活随笔為你收集整理的SamplePairing：针对图像处理领域的高效数据增强方式 | PaperDaily #34的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。