NeurIPS 2021 | 港中文周博磊组：基于实例判别的数据高效生成模型
?作者 | 楊孟平
學校 | 華東理工大學
研究方向 | 深度生成模型、小樣本學習
本文介紹一篇利用實例判別實現數據高效（Data Efficienct）圖像生成的論文，發表在 NeurIPS 2021，是香港中文大學周博磊老師課題組的一篇文章。
論文標題：
Data-Efficient Instance Generation from Instance Discrimination
論文鏈接：
https://arxiv.org/abs/2106.04566
代碼鏈接：
https://github.com/genforce/insgen
Motivation & Observation
當數據量不夠時，訓練生成對抗網絡通常會導致判別器過擬合，判別器容易簡單的記住整個訓練樣本集。從而使得判別器給生成器提供的反饋信號不足，降低生成器的生成質量。
近期很多研究采用各類數據增強的方式來減緩數據有限場景下的過擬合問題，但是有一點不會改變的是，判別器的學習目標還是區分給定圖片是真實的還是生成的，而這一任務就必然會在有限數據下發生性能指數級（Substantial）的下降。
本文認為，僅僅讓判別器學習如何區分真實圖片和生成圖片可能過于簡單了，因此本文提出，判別器不僅需要區分 real/fake images，還需要將每一章圖片歸類至特定的類別。這樣的話，判別器就必須得提高提取判別特征的能力。同時，不僅要為真實圖片歸類，也同樣需要對生成數據進行歸類。
這里對生成數據的分類很有意思，因為理論上生成數據的數量可以是無限的，那其實理論上可以利用無限的數據來訓練判別器，讓判別器有足夠強的特征表示能力。這樣相比于一般模型的判別器，這里的判別模型就需要同時對真實圖片和生成圖片進行實例判別，進一步提高判別模型提取 discriminative representation 的能力。
當時看到這里的時候，我其實很想不明白，實例判別，我們的數據都沒有標簽，怎樣對其給定一個固定的類別呢？
Related Work
相關工作分為兩部分介紹：1）介紹 GANs 中的數據增強，尤其是針對樣本量有限場景下的一眾方法，包括 ADA、DAG、DiffAug、CR、ICR 以及 ContraD；2）介紹 GANs 中的自監督學習，看到自監督可能就恍然大悟了，原來作者其實是利用了對比學習的方式來構建實例關系來完成實例判別的，此處介紹的方法也比較常見，Self-supervised 相關的 GAN 應用。
本文不同點：給判別器增加一個額外的任務，讓判別器實現實力判別，希望對每一個圖片實例，不管其是真實的還是生成的，都能夠較好的完成識別。幫助提升判別器的鑒別能力，從而提升模型生成性能。
方法細節
方法核心的部分一共分為四點：
1. Distinguishing Real Images，即讓判別器能夠更好的提取圖像特征，這樣能夠反過來（In turn）更好的指導生成器，這里也說到了選擇判別器的原因在于判別器才能夠又看到生成數據，又看到真實數據，而生成器是看不到真實數據的。那如何實現對真實數據進行鑒別呢，答案就是利用對比學習，對給定的一張圖片 ，通過不同的數據增廣方式得到成對數據 ，二者作為正類，其余所有不同于該圖片的圖片作為負類，最大化以下式子：
的實現方式參考 InfoNCE loss：
其中 為正樣本對，其余為負樣本對。
如此一來，就需要讓判別器學習正樣本對盡可能靠近，負樣本對盡可能遠離，以自監督的方式提升了判別器提取特征的表示能力，也就提升了 discriminative ability。
2. Distingguishing Fake Images，即對生成圖像也同樣的進行實例級的判別，并且由于生成過程中理論上可以產生無數的生成數據，這樣就實現了利用生成器生成很多的數據進行判別器判別能力（提取特征能力）的訓練和提升。
3. Noise Perturbation，為了進一步提升判別器的判別能力，文章還希望判別器對生成數據的輕微不同保持不變，下面公式中的?是從方差遠小于隱向量 z 的先驗分布中采樣得到的，對隱向量加以這樣輕微的干擾，理論上只會讓生成圖片發生輕微語義及的改變，加以下面表示的約束，讓判別器對這樣的干擾保持不變，其實就是進一步提高了實例判別的難度，讓判別網絡進一步提升判別能力。
其中：
4. Toward Diverse Generation，為了增加生成器的多樣性，這里使用了類似于Mode Seeking的一個正則，但是是使用對比損失實現的，就是希望，生成的每一張圖片，對于判別器來訓練得到后的結果，都是不同的，從而提升的生成過程的多樣性。
最終損失：
Experiment
1. 不同數據規模的 FFHQ 性能比較
2. 數據有限場景的 AFHQ 數據集性能比較
3. 消融實驗：這里比較每部分模塊的有效性，其實感覺可以像表 2 一樣給出提升的數值，更有效的看出各模塊對模型性能的貢獻。
4. 盡可能多的利用無限多的生成數據：這里的實驗結果很有意思，就是說既然文章構造了正負樣本對，并且給判別器添加了額外的實例判別任務，那么我們怎么確認需要判別的數量呢？
實驗的做法是 follow 對比學習原論文中的 5% 設置。但是這里發現，其實越多的樣本用作實例判別，就可以越多的提升模型性能，這也是我想了很久的點，就是既然給定的訓練數據有限，那么我們應該如何利用無限多的生成數據提升模型性能？這里也給出了一種解法，其他的方法也值得探討和思考。
5. 判別器的鑒別能力提升了嗎？從 loss 曲線可以看出，在使用了實例判別后，D 給生成數據更低且真實數據更高的分數，相較于 ADA，的確在鑒別能力上做到了更自信，也展示了更好的判別能力。
總結
其實這篇文章的思路挺簡單的，要引入額外的實例判別任務來增強判別器的鑒別能力，通過自監督的方式，一方面構造了正負樣本對，另一方面通過構造的約束來提升 D 提取特征的表示能力，進一步的將實例判別拓展到生成數據，并討論到生成數據是無限的，并在分析實驗中給出如何利用無限生成數據的結論。
此外還添加了 Noise Perturbation 和 Diverse Generation，都通過對比學習的方式來實現。帶來的啟發一方面是判別器的表示能力通過自監督、無限的生成數據提升是可行的，另一方面是判別器的判別能力與生成性能存在著一定的正相關關系。
特別鳴謝
感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。
更多閱讀
#投 稿?通 道#
?讓你的文字被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝?稿件基本要求：
? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題
? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬?投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
·
總結
以上是生活随笔為你收集整理的NeurIPS 2021 | 港中文周博磊组：基于实例判别的数据高效生成模型的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 八年大回沙酒和十二年大回沙酒有什么特色
- 下一篇： 东莞阿尔法罗密欧Giulia订车要多久？