題目：AttnGAN：具有注意的生成對抗網絡的細粒度文本到圖像生成
時間：2018
作者：Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe Gan, Xiaolei Huang, Xiaodong He
CVPR

Abstract

在本文中，我們提出了一種注意力生成對抗網絡（AttnGAN），它允許對細粒度文本到圖像的生成進行注意力驅動和多階段細化。通過一種新的注意生成網絡，AttnGAN可以通過關注自然語言描述中的相關單詞，在圖像的不同子區域合成細粒度細節。
此外，本文還提出了一個深度注意多模態相似性模型來計算細粒度圖像到文本的匹配損失，以訓練生成器。提出的AttnGAN顯著優于之前的最新水平，在CUB數據集和更具挑戰性的COCO數據集上，最佳報告的初始得分分別提高了14.14%和170.25%。通過可視化AttnGAN的注意層，也可以進行詳細的分析。這是第一次表明分層注意GAN能夠自動選擇單詞級別的條件來生成圖像的不同部分。

1.Introduction

文本生成圖像的現狀：根據自然語言描述自動生成圖像是許多應用中的一個基本問題，例如藝術生成和計算機輔助設計。它還推動了視覺和語言推斷和多模態學習的研究進展，這是近年來最活躍的研究領域之一 。

之前工作的局限性：最新提出的文本到圖像的合成方法基于生成性對抗網絡（GAN）。一種常用的方法是將整個文本描述編碼為全局句子向量，作為基于GAN的圖像生成的條件。雖然已經給出了令人印象深刻的結果，條件GAN只有全局句子向量缺乏單詞級的重要細粒度信息，并阻止高質量圖像的生成。當生成復雜場景（如COCO數據集中的場景）時，這個問題變得更加嚴重。

本文的解決方案：為解決這個問題，我們提出了一種注意力生成對抗網絡（AttnGAN），它允許注意力驅動、多階段細化的細粒度文本到圖像的生成。AttnGAN的總體架構如圖2所示。

AttnGAN由兩個新組件組成：
（1）第一個組成部分是注意力生成網絡，其中為生成器開發了一種注意機制，讓生成器通過關注與所繪制的子區域最相關的單詞來繪制圖像的不同子區域（見圖1）。更具體地說，除了將自然語言描述編碼為一個全局句子向量外，句子中的每個單詞也被編碼為一個單詞向量。生成網絡在第一階段利用全局句子向量生成低分辨率圖像。在接下來的步驟中，它使用每個子區域中的圖像向量，通過使用一個注意層來形成單詞上下文向量來查詢單詞向量。然后，該模型將區域圖像向量和相應的單詞上下文向量結合起來，形成多模態上下文向量，并在此基礎上在周圍的子區域生成新的圖像特征。這有效地產生了更高分辨率的圖片，每個階段都有更多細節。

（2）AttnGAN的另一個組成部分是深度注意多模態相似模型（DAMSM）。通過注意機制，DAMSM能夠利用全局句子級信息和細粒度單詞級信息計算生成的圖像和句子之間的相似性。因此，DAMSM為訓練生成器提供了額外的細粒度圖像到文本的匹配損失。

本文的貢獻：
（1）提出了一種注意生成對抗網絡，用于從文本描述中合成圖像。具體來說，AttnGAN提出了兩個新的組成部分，包括注意生成網絡和DAMSM。
（2）進行廣泛的研究，經驗性評估提出的AttnGAN。實驗結果表明，AttnGAN的性能明顯優于以前最先進的GAN模型。
（3）通過可視化AttnGAN的注意層進行詳細分析。首次證明了分層條件GAN能夠自動關注相關單詞，形成圖像生成的條件。

代碼：AttnGAN代碼

2.Related Work

從文本描述中生成高分辨率圖像雖然非常具有挑戰性，但對于藝術生成和計算機輔助設計等許多實際應用來說非常重要。最近，隨著深層生成模型的出現，這方面取得了巨大進展。Mansimov等人建立了alignDRAW模型，擴展了深度反復注意力書寫器（DRAW），在關注字幕中的相關單詞的同時，反復繪制圖像補丁。Nguyen等人提出了一種近似的Langevin方法來從字幕生成圖像。Reed等人使用條件PixelCNN從具有多尺度模型結構的文本中合成圖像。與其他深度生成模型相比，生成性對抗網絡在生成更尖銳的樣本方面表現出了出色的性能。Reed等人首先表明，條件GAN能夠從文本描述中合成看似合理的圖像。他們的后續工作還表明，GAN能夠通過加入附加條件（例如，對象位置）生成更好的樣本。Zhang等人將多個GAN堆疊起來進行文本到圖像合成，并使用不同的GAN生成不同大小的圖像。然而，他們所有的GAN都以全局句子向量為條件，缺少用于圖像生成的細粒度單詞級信息。

注意機制最近已成為序列轉換模型的一個必要組成部分。它已成功地用于建模圖像字幕、圖像問答和機器翻譯中的多級依賴關系。Vaswani等人還證明，機器翻譯模型可以通過單獨使用注意模型來實現最先進的結果。盡管取得了這些進展，但在GAN中，文本到圖像合成的注意機制尚未被探索。值得一提的是，alignDRAW還使用LAP-GAN將圖像縮放到更高的分辨率。然而，在他們的框架中，GAN只被用作后處理步驟，沒有注意。據我們所知，提出的AttnGAN首次開發了一種注意力機制，使GAN能夠通過多層（例如，單詞級和句子級）條件作用生成細粒度的高質量圖像。

3.Attentional Generative Adversarial Network

如圖2所示，提出的注意生成對抗網絡（AttnGAN）有兩個新的組成部分：注意生成網絡和深度注意多模態相似模型。我們將在本節的其余部分詳細介紹其中的每一項。

3.1Attentional Generative Network

當前基于GAN的文本到圖像生成模型通常將整個句子文本描述編碼為單個向量，作為圖像生成的條件，但缺乏細粒度的單詞級信息。在本節中，我們提出了一種新的注意模型，該模型使生成網絡能夠根據與這些子區域最相關的單詞繪制圖像的不同子區域。
如圖2所示，提出的注意生成網絡有m個生成器（G0，G1，…，Gm?1） ，它取隱藏狀態（h0，h1，…，hm?1） 作為輸入并生成從小到大比例的圖像（?x0，?x1，…，?xm-1）。具體來說，





為了生成具有多個條件層次（即句子層次和單詞層次）的真實圖像，注意生成網絡的最終目標函數被定義為 ：

這里，λ是一個超參數，用于平衡等式(3)的兩項。第一項是GAN損失，它聯合近似于條件和無條件分布。在AttnGAN的第i級，生成器G_i具有相應的鑒別器D_i。G_i的對抗性損失定義為：

其中，無條件損失決定圖像是真是假，而條件損失決定圖像和句子是否匹配。
與G_i的訓練交替地，每個鑒別器D_i都被訓練通過最小化定義的交叉熵損失，將輸入分類為真或假


等式(3)的第二項L_DAMSM是由DAMSM計算的單詞級細粒度圖像到文本的匹配損失，將在第3.2小節中詳細說明。

3.2Deep Attentional Multimodal Similarity Model

DAMSM學習兩個神經網絡，將圖像的子區域和句子的單詞映射到一個公共語義空間，從而在單詞級別測量圖像-文本相似度，以計算圖像生成的細粒度損失。




注意驅動的圖像-文本匹配分數是根據圖像和文本之間的注意模型來衡量圖像-句子對的匹配程度。
我們首先計算句子中所有可能的詞對和圖像中的子區域的相似度矩陣：












"w"代表的是單詞。
對稱地，我們也最小化：

句子D_i與其對應的圖像Q_i匹配的后驗概率為：



基于在一個持久的驗證集上的實驗，我們將本節中的超參數設置為：γ1=5、γ2=5、γ3=10和M=50。DAMSM被預訓練通過使用真實圖像-文本對最小化L_DAMSM。由于預訓練DAMSM的圖像大小不受可生成圖像大小的限制，因此使用大小為299×299的真實圖像。此外，DAMSM中的預訓練文本編碼器為注意力生成網絡提供了從圖像-文本對數據中學習的視覺鑒別詞向量。相比之下，在純文本數據上預訓練的傳統詞向量通常在視覺上沒有區分性，例如，不同顏色的詞向量，例如紅色、藍色、黃色等，由于缺乏與實際視覺信號的聯系，通常在向量空間中聚集在一起。
總之，我們提出了兩種新的注意模型，注意生成網絡和DAMSM，它們在AttnGAN中扮演著不同的角色。（1）生成網絡中的注意機制（見等式2）使AttnGAN能夠自動選擇單詞級條件來生成圖像的不同子區域。（2）通過注意機制（見等式9），DAMSM能夠計算細粒度文本到圖像的匹配損失L_DAMSM。值得一提的是，L_DAMSM僅適用于最后一個生成器G_(m-1)的輸出，因為AttnGAN的最終目標是通過最后一個生成器生成大圖像。我們嘗試在（G_0，G_1，…，G_(m-1)）生成的所有分辨率的圖像上應用L_DAMSM. 然而，性能沒有得到改善，但計算成本增加。

4.Experiments

進行了大量實驗來評估提出的AttnGAN。我們首先研究AttnGAN的重要組成部分，包括注意生成網絡和DAMSM。然后，我們將AttnGAN與之前用于文本到圖像合成的最先進的GAN模型進行比較。
數據集。與之前的文本到圖像方法相同，我們的方法是在CUB和COCO數據集上評估的。我們按照[36]中的方法對CUB數據集進行預處理。表1列出了數據集的統計數據。

評價我們使用初始分數作為定量評估指標。由于初始分數不能反映生成的圖像是否良好地依賴于給定的文本描述，因此我們建議使用R-精度作為文本到圖像合成任務的補充評估指標，R-精度是一種對檢索結果進行排名的常用評估指標。如果一個查詢有R個相關文檔，我們檢查一個系統中排名前R的檢索結果，發現r個是相關的，然后根據定義，R-精度是r/R。更具體地說，我們進行檢索實驗，即使用生成的圖像來查詢它們對應的文本描述。首先，利用預訓練DAMSM中學習的圖像和文本編碼器提取生成圖像和給定文本描述的全局特征向量。然后，我們計算全局圖像向量和全局文本向量之間的余弦相似性。最后，我們對每幅圖像的候選文本描述按相似性遞減進行排序，并找到計算R-精度的前r個相關描述。為了計算初始分數和R精度，每個模型從隨機選擇的看不見的文本描述中生成30000個圖像。每個查詢圖像的候選文本描述由一個基本事實（即R=1）和99個隨機選擇的不匹配描述組成。


我們通過以下方式抑制和圖像子區域不太相關的單詞：

4.1 Component analysis

在本節中，我們首先定量評估AttnGAN及其變體。結果如表2，圖3所示 。我們的“AttnGAN1”架構有一個注意力模型和兩個生成器，而“AttnGAN2”架構有兩個注意力模型和三個生成器（見圖2）。此外，如圖4、圖5、圖6和圖7所示，我們定性地檢查了AttnGAN生成的圖像。


2.DAMSM損失。為了測試提出的L_DAMSM，我們調整λ的值（見等式(3)）。如圖3所示，在CUB和COCO數據集上，較大的λ會導致更高的R精度率。在CUB數據集上，當λ的值從0.1增加到5時，AttnGAN1的初始分數從4.19提高到4.35，相應的R精度率從16.55%提高到58.65%（見表2）。在COCO數據集上，通過將λ的值從0.1增加到50，AttnGAN1實現了較高的初始分數和R精度率（見圖3）。這種比較表明，**適當增加L_DAMSM的權重有助于生成更高質量的圖像，更好地適應給定的文本描述。原因是，提出的細粒度圖像到文本的匹配損失L_DAMSM為生成器的訓練提供了額外的監督（即單詞級匹配信息）。**此外，在我們的實驗中，我們沒有觀察到在AttnGAN生成的圖像的可視化中有任何崩潰的無意義模式。這表明，在額外的監督下，細粒度圖像到文本的匹配損失也有助于穩定AttnGAN的訓練過程。此外，在CUB數據集上訓練了一個基線模型，帶有文本編碼器“AttnGAN1，沒有注意機制”。在不使用注意的情況下，其初始得分和R精度分別下降到3.98%和10.37%，這進一步證明了所提出的L_DAMSM的有效性。

注意生成網絡。如表2和圖3所示，在生成網絡中疊加兩個注意力模型不僅可以生成更高分辨率（從128×128到256×256分辨率）的圖像，還可以在CUB和COCO數據集上獲得更高的初始分數。為了保證圖像質量，我們通過增加λ的值來找到每個數據集的λ的最佳值，直到在一個保持的驗證集上的總體初始分數開始下降。建立“AttnGAN1”模型用于找到最佳λ，在此基礎上建立“AttnGAN2”模型以生成更高分辨率的圖像。由于GPU內存限制，我們沒有嘗試使用三個注意力模型的AttnGAN。因此，CUB和COCO數據集上的最終模型分別為“AttnGAN2，λ=5”和“AttnGAN2，λ=50”。COCO數據集的最終λ遠大于CUB數據集的λ，這表明提出的L_DAMSM對于生成像COCO數據集中的復雜場景尤其重要。

為了更好地理解AttnGAN所學到的東西，我們將注意力集中在可視化它的中間結果上。如圖4所示，AttnGAN（G0）的第一階段僅繪制對象的基本形狀和顏色，并生成低分辨率圖像。由于這一階段只使用全局句子向量，因此生成的圖像缺乏精確單詞描述的細節，例如鳥的喙和眼睛。基于單詞向量，下面的階段（G1和G2）學習糾正前一階段結果中的缺陷，并添加更多細節以生成更高分辨率的圖像。G1或G2圖像的一些子區域/像素可以直接從前一階段生成的圖像中推斷出來。對于這些子區域，注意力平均分配給所有單詞，并在注意力圖中顯示為黑色（見圖4）。對于其他子區域，它們通常在文本描述中表達語義，例如對象的屬性，注意力被分配到和它們最相關的單詞上（圖4中的亮區）。因此，這些區域是從這些區域的單詞上下文特征和之前的圖像特征中推斷出來的。如圖4所示，在CUB數據集上，單詞the，this，bird通常被F attn模型注意，用于定位對象。描述對象屬性的單詞，如顏色和鳥的部分，也用于糾正缺陷和繪制細節。在COCO數據集上，我們有類似的觀察結果。由于每個COCO圖像中通常有多個對象，因此更明顯的是，描述不同對象的單詞由圖像的不同子區域表示，例如圖4右下角的香蕉、獼猴桃。這些觀察結果表明，AttnGAN學會了理解圖像的文本描述中表達的詳細語義。另一個觀察結果是，我們的第二個注意模型F attn2能夠注意到一些被第一個注意模型F attn1省略的新詞（見圖4）。它表明，為了提供更豐富的信息，以便在AttnGAN后期生成更高分辨率的圖像，相應的注意模型學習恢復在前一階段忽略的對象和屬性。

泛化能力。我們上面的實驗結果通過從看不見的文本描述生成圖像，定量和定性地顯示了AttnGAN的泛化能力。在這里，我們通過改變文本描述中一些最受關注的單詞，進一步測試輸出對輸入句子變化的敏感性。圖5顯示了一些示例。該模型根據輸入句子的變化對生成的圖像進行修改，表明該模型能夠捕捉文本描述中的細微語義差異。此外，如圖6所示，我們的AttnGAN可以生成圖像，以反映真實世界中不太可能發生的新場景描述的語義，例如，湖面上漂浮著一個停車標志。另一方面，我們也觀察到，AttnGAN有時會生成清晰而詳細的圖像，但不太可能是真實的。如圖7所示，AttnGAN創造了多個頭、眼睛或尾巴的鳥，這只存在于童話中。這表明我們目前的方法在捕獲全局連貫結構方面還不夠完美，還有待改進。綜上所述，圖5、圖6和圖7所示的觀察結果進一步證明了AttnGAN的泛化能力。

4.2Comparison with previous methods

我們將AttnGAN和之前在CUB和COCO測試集上進行文本到圖像生成的最先進的GAN模型進行了比較。如表3所示，在CUB上，AttnGAN獲得了4.36的初始分數，這顯著優于之前的最佳初始分數3.82。更令人印象深刻的是，AttnGAN將COCO的最佳初始分數從9.58提高到了25.89，相對提高了170.25%。眾所周知，COCO數據集比CUB數據集更具挑戰性，因為它由場景更復雜的圖像組成。現有方法難以在該數據集上生成逼真的高分辨率圖像。圖4和圖6中的示例說明，AttnGAN成功地為COCO數據集上的各種場景生成了256×256的圖像，盡管COCO數據集生成的圖像不如CUB數據集生成的圖像逼真。實驗結果表明，與以前的最先進的方法相比，AttnGAN在生成復雜場景方面更有效，因為它具有新穎的注意機制，能夠在文本到圖像生成中捕獲細粒度的單詞級和子區域級信息。

除了StackGAN-v2，提出的注意機制也可以應用于廣泛使用的DCGAN框架。在CUB數據集上，我們構建了一個ATTNDCGAN和一個vanilla DCGAN。雖然僅以句子向量為條件的vanilla DCGAN（沒有提出的注意機制）無法生成合理的256×256圖像，但我們的AttnDCGAN能夠生成逼真的圖像。ATTNDCGAN的初始得分為4.12±0.05，R精度為38.45±4.26%。由于嚴重的模式崩潰，vanilla DCGAN僅達到2.47±0.01初始分數和3.69±1.82%的R精度。比較結果進一步證明了所提出的注意機制的有效性。

5.Conclusions

本文提出了一種用于細粒度文本到圖像合成的注意力生成對抗網絡AttnGAN。我們構建了一個新的注意力生成網絡，讓AttnGAN通過多階段過程生成高質量的圖像。我們提出了一個深度注意多模態相似模型來計算細粒度圖像-文本的匹配損失，以訓練AttnGAN的生成器。我們的AttnGAN顯著優于最先進的GAN模型，在CUB數據集和更具挑戰性的COCO數據集上，分別將最佳初始分數提高了14.14%和170.25%。大量的實驗結果證明了AttnGAN中提出的注意機制的有效性，這對于復雜場景中的文本到圖像生成尤其關鍵。

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks论文解读的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。