生成对抗网络（GAN）的统计推断
?PaperWeekly 原創(chuàng) · 作者 |?尹娟
學校 |?北京理工大學博士生
研究方向?|?隨機過程、復雜網(wǎng)絡單位
引言
該論文從統(tǒng)計學的角度去研究生成性對抗網(wǎng)絡。GAN 在當前是一種非常流行的深度學習模型，它分別由一個生成器和一個判別器組成，目標是去解決一個特定的極小極大值問題。這個極小極大問題通常有許多解，該論文的重點是去分析 GAN 的優(yōu)化解在統(tǒng)計學上的性質(zhì)。
作者主要解決了生成器和判別器網(wǎng)絡參數(shù)的兩個關鍵性問題：一致性估計和置信集。對 GAN 理論感興趣的可以找出該論文的講解研讀一番。
論文標題：
Statistical inference for generative adversarial networks
論文鏈接：
https://arxiv.org/abs/2104.10601
GAN形式
為了對 GAN 相關性質(zhì)進行嚴格的理論分析，需要對其相關的數(shù)學符號給予定義。考慮一個樣本數(shù)據(jù)向量 ，其中 是歐式空間中的一個子集 且分布未知。噪聲向量 服從一個給定的分布（通常是多維均勻分布或者是多維高斯分布）。生成器 將噪聲向量 合稱為樣本數(shù)據(jù) 。判別器 的作用是對樣本數(shù)據(jù)的真?zhèn)芜M行判斷。作者從技術角度總結(jié)了以下的假設。
假設1：GAN
(a) 假設樣本數(shù)據(jù)向量 和噪聲向量 是分別服從 和 且獨立同分布；
(b) 參數(shù)集 是一個非空緊集；
(c) 生成器函數(shù) ，判別器函數(shù) ，對抗損失函數(shù) 可以被定義為：
其中 對所有的參數(shù) 都是可測量和連續(xù)的。
這一假設包含了對原始 GAN 框架的一些最低要求，假設 (a) 中的獨立同分布是 GAN 設置中的標準。假設 (b) 中允許參數(shù)空間是緊湊的。假設 (c) 是最小連續(xù)性假設，需要注意的是 將具有與 X 相同的分布。
假設2：Smooth GAN
如果 GAN 的假設成立， 在參數(shù) 上對所有的 是連續(xù)可微的，參數(shù)的平方可積導數(shù)有限：
則有：
作者重新整理了關于 GAN 的極小極大值問題的數(shù)學公式：
其中 對所有固定的 是凸函數(shù)， 對所有固定的 是凹函數(shù)。經(jīng)典的馮·諾依曼極大極小定理意味著：
與此相反 通常是非凸和非凹的。在 GAN 應用中，感興趣的對象不是問題的最優(yōu)值而是最優(yōu)的解決方案：
生成器中的參數(shù) 可以將隨機噪聲合成樣本數(shù)據(jù)。令 為 GAN 極小極大化的最優(yōu)解的集合，則有最大函數(shù)：
當點 是 GAN 的最優(yōu)解時則滿足：
因此 GAN 最優(yōu)解 的集合可以被表示為：
等效的， 當且僅當：
這啟發(fā)了作者重新定義 GAN 的損失函數(shù)：
已知函數(shù) 對所有的 是非負的，并且 當且僅當 。所以，GAN 最優(yōu)解的集合可以被重新寫成為：
樣本 GAN 的問題的公式寫成如下形式：
類似的有如下形式的定義：
則樣本 GAN 的最優(yōu)解的集合為：
要知道找到 的集合是一件非常有挑戰(zhàn)的事情，現(xiàn)有的一些算法只是搜索近似解而不是求解 GAN 的精確解，給定一個任意小的非負常數(shù) ，樣本 GAN 的近似解 滿足：
點 近似地解決了內(nèi)部最大化問題和外部最小化問題， 是這個最大化和最小化問題的松弛度。進行更一般的推廣，令 為一系列的任意小的非負隨機變量，并且有 （ 表示的是依概率收斂）。
以上的不等式可以表示為：
根據(jù)之前樣本 GAN 標準函數(shù)的定義則有：
當 時，可以得到一個精確解集的一個特例 。
一致性估計
在 GAN 中距離的度量是非常有必要的。常用到的距離是歐幾里得距離的一個常用推廣豪斯多夫距離，對于某些歐氏空間的任意兩個非空有界子集 和 ， 和 的豪斯多夫距離表示為：
其中 表示的是點 到集合 的最短距離。豪斯多夫距離是從一個集合中的任意點到另一個集合中最近的相鄰點的最大距離。豪斯多夫距離 是一種非空緊集族的度量，并且對于集合 當且僅當 。
在該論文中作者要證明的一致性結(jié)果本質(zhì)上是豪斯多夫一致性即 。該證明需要證明以下兩個條件成立：
前一個條件保證 和 相差不大，后一個條件保證 可以覆蓋 。
假設3：豪斯多夫距離依概率收斂
(a) 其中 關于 連續(xù)；
(b) 當 時，則 成立。
假設4：收斂速度
(a) 是一系列的非負隨機變量并有 ；
(b) 是一系列的正隨機變量并有 ，。
定理1：一致性條件
(a) 如果假設3 (a) 和假設4 (a) ?成立，則有：
(b) 如果假設3 (b) 和假設4 (b) 成立，則有：
定理1的 (a) 部分給出了單側(cè)豪斯多夫一致性條件；在 (b) 部分的更強條件下，給出了期望的豪斯多夫一致性結(jié)果。在不知道多個解的情況下，定理 1 告訴我們 GAN 設置的結(jié)果是一個一致性結(jié)果，單側(cè)一致性結(jié)果可以覆蓋精確解，而雙側(cè)的情況下則需要選擇更嚴格的松弛序列 。
置信集
的置信集是以預定概率覆蓋整個 的隨機集。設 表示期望的覆蓋概率，其中。作者的目標是構(gòu)造置信集 ：
其中這里 指的是固定的 的概率測度。在傳統(tǒng)的點識別設置中， 由單個點 組成，形成置信集的傳統(tǒng)途徑是考慮 附近的某個函數(shù)的泰勒近似；作者考慮的置信集基于標準函數(shù) 的適當?shù)南螺喞Ｈ绻阎? 分布的 分位數(shù) ，可以形成滿足：
置信集。在適當?shù)臈l件下，可以證明當 時， 對于 保持隨機有界，對于 發(fā)散到無窮遠。
GAN 問題有多個解，置信集 中子采樣大小 使得當 時， 和 。那么置信集 滿足：
定理 2 表明， 在 處連續(xù)時，置信集 的漸近覆蓋概率至少為 。一般來說，極限分布 相當復雜，驗證 的連續(xù)性需要一些更具體的假設。
更多閱讀
#投 稿?通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發(fā)出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經(jīng)驗講解等。我們的目的只有一個，讓知識真正流動起來。
?????稿件基本要求：
? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標注?
? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權問題
? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算
?????投稿通道：
? 投稿郵箱：hr@paperweekly.site?
? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者
? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿
△長按添加PaperWeekly小編
????
現(xiàn)在，在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
總結(jié)
以上是生活随笔為你收集整理的生成对抗网络（GAN）的统计推断的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 斯坦福助理教授马腾宇：ML非凸优化很难，
- 下一篇： 郑州到潜江大巴车多少钱？