背景：AAAI 2018 將于2月2日至 7日在美國新奧爾良舉行，在本屆大會上，騰訊 AI Lab 有 11 篇論文被錄用，涉及圖像描述、更低計算成本的預(yù)測表現(xiàn)、NMT 模型中的特定翻譯問題、自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)、DNN面對對抗樣本的優(yōu)化問題等，本文精選了11篇論文的精彩內(nèi)容。（本文轉(zhuǎn)自公眾號新智元）

1. 學(xué)習(xí)用于圖像描述的引導(dǎo)解碼（Learning to Guide Decoding for Image Captioning）

圖像描述領(lǐng)域近來取得了很多進(jìn)展，而且已經(jīng)有一種編碼器-解碼器框架在這一任務(wù)上得到了出色的表現(xiàn)。在本論文中，我們提出了一種編碼器-解碼器框架的擴展——增加了一個名叫引導(dǎo)網(wǎng)絡(luò)（guiding network）的組件。這種引導(dǎo)網(wǎng)絡(luò)會建模輸入圖像的屬性特性，其輸出會被用于組成解碼器在每個時間步驟的輸入。這種引導(dǎo)網(wǎng)絡(luò)可以插入到當(dāng)前的編碼器-解碼器框架中，并且可以以一種端到端的方式訓(xùn)練。因此，該引導(dǎo)向量可以根據(jù)來自解碼器的信號而自適應(yīng)地學(xué)習(xí)得到，使其自身中嵌入來自圖像和語言兩方面的信息。此外，還能使用判別式監(jiān)督來進(jìn)一步提升引導(dǎo)的質(zhì)量。我們通過在 MS COCO 數(shù)據(jù)集上的實驗驗證了我們提出的方法的優(yōu)勢。

2. 發(fā)現(xiàn)和區(qū)分多義詞的多個視覺含義（Discovering and Distinguishing Multiple Visual Senses for Polysemous Words）

為了減少對有標(biāo)簽數(shù)據(jù)的依賴，利用網(wǎng)絡(luò)圖像學(xué)習(xí)視覺分類器的研究工作一直在不斷增多。限制他們的表現(xiàn)的一個問題是多義詞問題。為了解決這個問題，我們在本論文中提出了一種全新的框架——該框架可通過允許搜索結(jié)果中特定于含義的多樣性來解決該問題。具體而言，我們先發(fā)現(xiàn)一個用于檢索特定于含義的圖像的可能語義含義列表。然后，我們使用檢索到的圖像來合并視覺上相似的含義并剪枝掉噪聲。最后，我們?yōu)槊總€被選中的語義含義訓(xùn)練一個視覺分類器并使用學(xué)習(xí)到的特定于含義的分類器來區(qū)分多個視覺含義。我們在按含義給圖像分類和重新排序搜索結(jié)果上進(jìn)行了大量實驗，結(jié)果表明了我們提出的方法的優(yōu)越性。點此查看論文原文

3. 使用穩(wěn)定化Barzilai-Borwein 步長的隨機非凸序數(shù)嵌入（Stochastic Non-convex Ordinal Embedding with Stabilized Barzilai-Borwein Step Size）

根據(jù)相對相似度比較來學(xué)習(xí)表征的方法通常被稱為序數(shù)嵌入（ordinal embedding），該方法在近些年得到了越來越多的關(guān)注。大多數(shù)已有的方法都是主要基于凸優(yōu)化而設(shè)計的批處理方法，比如投影梯度下降法（projected gradient descent method）。但是，由于更新過程中通常采用了奇異值分解（SVD），所以這些方法往往非常耗時，尤其是當(dāng)數(shù)據(jù)量非常大時。

為了克服這一難題，我們提出了一種名叫?SVRG-SBB?的隨機算法，該算法有以下特性：（a）通過丟棄凸性而不再需要 SVD，而且通過使用隨機算法（即方差縮減隨機梯度算法（SVRG））而實現(xiàn)了優(yōu)良的擴展性能；（b）引入一種新的具有自適應(yīng)的步長選擇的穩(wěn)定化 Barzilai-Borwein（SBB）方法，由于凸問題的原始版本可能無法用于所考慮的隨機非凸優(yōu)化問題。此外，研究表明我們提出的算法能在我們的設(shè)置中以的速度收斂到一個穩(wěn)定解，其中 T是總迭代次數(shù)。我們還進(jìn)行了許多模擬和真實數(shù)據(jù)實驗，并通過與當(dāng)前最佳方法的比較而證明了我們提出的算法的有效性；尤其值得一提的是我們的算法使用遠(yuǎn)遠(yuǎn)更低的計算成本也能實現(xiàn)優(yōu)良的預(yù)測表現(xiàn)。點此查看論文原文

4. 降秩線性動態(tài)系統(tǒng)（Reduced-Rank Linear Dynamical Systems）

線性動態(tài)系統(tǒng)（LDS）在研究多變量時間序列的基本模式方面有廣泛的應(yīng)用。這些模型的一個基本假設(shè)是高維時間序列可以使用一些基本的、低維的和隨時間變化的隱含狀態(tài)來表征。但是，已有的 LDS 建模方法基本上是學(xué)習(xí)一個規(guī)定了維數(shù)的隱含空間。當(dāng)處理長度較短的高維時間序列數(shù)據(jù)時，這樣的模型會很容易過擬合。我們提出了降秩線性動態(tài)系統(tǒng)（RRLDS），可以在模型學(xué)習(xí)過程中自動檢索隱含空間的固有維數(shù)。

我們觀察到的關(guān)鍵是 LDS 的動態(tài)矩陣的秩中包含了固有的維數(shù)信息，而使用降秩正則化的變分推理最終會得到一個簡明的、結(jié)構(gòu)化的且可解釋的隱含空間。為了讓我們的方法能處理有計數(shù)值的數(shù)據(jù)，我們引入了離散性自適應(yīng)分布（dispersion-adaptive distribution）來適應(yīng)這些數(shù)據(jù)本身具備的過離散性/等離散性/欠離散性。在模擬數(shù)據(jù)和實驗數(shù)據(jù)上的結(jié)果表明我們的模型可以穩(wěn)健地從長度較短的、有噪聲的、有計數(shù)值的數(shù)據(jù)中學(xué)習(xí)隱含空間，并且還顯著超越了當(dāng)前最佳的方法的預(yù)測表現(xiàn)。

5. 使用重構(gòu)模型翻譯代詞脫落語言（Translating Pro-Drop Languages with Reconstruction Models）

在漢語等代詞脫落語言（pro-drop language）中，代詞常會被省略，這通常對翻譯結(jié)果的完整性造成極大的不良影響。到目前為止，很少有研究關(guān)注神經(jīng)網(wǎng)絡(luò)機器翻譯（NMT）中的代詞脫落（DP）問題*。在這項研究中，我們提出了一種全新的基于重構(gòu)的方法，用于緩解NMT 模型中代詞脫落所引起的翻譯問題。首先，利用雙語語料庫中提取的對齊信息，將所有源句子中脫落的代詞進(jìn)行自動標(biāo)注。然后，再使NMT模型中的隱藏層的表示重構(gòu)回被標(biāo)注的源句子。使用重構(gòu)分?jǐn)?shù)來輔助訓(xùn)練目標(biāo)，用于鼓勵隱藏層表征盡可能地嵌入標(biāo)注的DP信息，從而引導(dǎo)與該NMT模型相關(guān)的參數(shù)來產(chǎn)生增強的隱藏層表征。我們在漢語-英語和日語-英語對話翻譯任務(wù)上進(jìn)行實驗，結(jié)果表明本方法顯著地、持續(xù)地超過了強大的NMT基準(zhǔn)系統(tǒng)，該基準(zhǔn)系統(tǒng)直接建立在標(biāo)注了DP的訓(xùn)練數(shù)據(jù)上。

注：論文第一作者王龍躍（查看微博）將 dropped pronoun (DP) problem 稱為代詞缺失問題。但中文語言學(xué)的文獻(xiàn)將其稱為代詞脫落問題，詳細(xì)例子見此。為了與Pro-Drop Language術(shù)語統(tǒng)一，這里使用后者。

6. 改進(jìn)序列到序列的成分句法分析（Improving Sequence-to-Sequence Constituency Parsing）

序列到序列的成分句法分析，通過自上而下的樹線性化（tree linearization），將結(jié)構(gòu)預(yù)測轉(zhuǎn)化成一般的序列到序列的問題來處理，因此它可以很容易地利用分布式設(shè)備進(jìn)行并行訓(xùn)練。這種模型依賴于一種概率注意機制，盡管這種機制在一般的序列到序列問題取得了成功，但在句法分析特定場景中它無法保證選擇充分的上下文信息。之前的研究工作引入了一種確定性注意（deterministic attention）機制來為序列到序列的句法分析選擇有信息量的上下文，但這種方法只能適用于自下而上的線性化，而且研究者也已經(jīng)觀察到：對標(biāo)準(zhǔn)的序列到序列的成分句法分析而言，自上而下的線性化優(yōu)于自下而上的線性化。在這篇論文中，我們對該確定性注意力機制進(jìn)行了拓展，使其可以適用于自上而下的樹線性化。我們進(jìn)行了大量實驗，結(jié)果表明我們的句法分析器相比于自下而上的線性化取得了顯著的準(zhǔn)確度提升；在不使用重排序（reranking）或半監(jiān)督訓(xùn)練的情況下，我們的方法在標(biāo)準(zhǔn)的英文PTB 和 中文CTB數(shù)據(jù)集上分別達(dá)到了92.3 和 85.4 Fscore。

7. 用于眾包配對排名聚合的使用信息最大化的 HodgeRank（HodgeRank with Information Maximization for Crowdsourced Pairwise Ranking Aggregation）

眾包近來已經(jīng)成為了許多領(lǐng)域解決需要人力的大規(guī)模問題的有效范式。但是，任務(wù)發(fā)布者通常預(yù)算有限，因此有必要使用一種明智的預(yù)算分配策略以獲得更好的質(zhì)量。在這篇論文中，我們在 HodgeRank 框架中研究了用于主動采樣策略的信息最大化原理；其中 HodgeRank 這種方法基于多個眾包工人（worker）的配對排名數(shù)據(jù)的霍奇分解（Hodge Decomposition）。該原理給出了兩種主動采樣情況：費希爾信息最大化（Fisher information maximization）和貝葉斯信息最大化（Bayesian information maximization）。其中費希爾信息最大化可以在無需考慮標(biāo)簽的情況下基于圖的代數(shù)連接性（graph algebraic connectivity）的序列最大化而實現(xiàn)無監(jiān)督式采樣；貝葉斯信息最大化則可以選擇從先驗到后驗的過程有最大信息增益的樣本，這能實現(xiàn)利用所收集標(biāo)簽的監(jiān)督式采樣。實驗表明，相比于傳統(tǒng)的采樣方案，我們提出的方法能提高采樣效率，因此對實際的眾包實驗而言是有價值的。點此查看論文原文

8. 自適應(yīng)圖卷積神經(jīng)網(wǎng)絡(luò)（Adaptive Graph Convolutional Neural Networks）

圖卷積神經(jīng)網(wǎng)絡(luò)（Graph CNN）是經(jīng)典 CNN 的方法，可用于處理分子數(shù)據(jù)、點云和社交網(wǎng)絡(luò)等圖數(shù)據(jù)。Graph CNN 領(lǐng)域當(dāng)前的過濾器是為固定的和共享的圖結(jié)構(gòu)構(gòu)建的。但是，對于大多數(shù)真實數(shù)據(jù)而言，圖結(jié)構(gòu)的規(guī)模和連接性都會改變。本論文提出了一種有泛化能力的且靈活的Graph CNN，其可以使用任意圖結(jié)構(gòu)的數(shù)據(jù)作為輸入。通過這種方式，可以在訓(xùn)練時為每個圖數(shù)據(jù)都學(xué)習(xí)到一個任務(wù)驅(qū)動的自適應(yīng)圖。為了有效地學(xué)習(xí)這種圖，我們提出了一種距離度量學(xué)習(xí)。我們在九個圖結(jié)構(gòu)數(shù)據(jù)集上進(jìn)行了大量實驗，結(jié)果表明我們的方法在收斂速度和預(yù)測準(zhǔn)確度方面都有更優(yōu)的表現(xiàn)。

9. 多維長時數(shù)據(jù)的隱含稀疏模型（Latent Sparse Modeling of Longitudinal Multi-dimensional Data）

我們提出了一種基于張量的模型，可用于對由多樣本描述單個對象的多維數(shù)據(jù)進(jìn)行分析。該模型能同時發(fā)現(xiàn)特征中的模式以及揭示會影響到當(dāng)前結(jié)果的過去時間點上的數(shù)據(jù)。其模型系數(shù)，一個 k-模的張量，可分解為 k 個維數(shù)相同的張量的總和。為了完成特征選擇，我們引入了張量的“隱含F(xiàn)-1模”作為我們的公式中的分組懲罰項。此外，通過開發(fā)一個基于張量的二次推斷函數(shù)（quadratic inference function, QIF），我們提出的模型還能考慮到每個對象的所有相關(guān)樣本的內(nèi)部關(guān)聯(lián)性。我們提供了當(dāng)樣本量趨近于無窮大時對模型的漸進(jìn)分析（asymptotic analysis）。為了解決對應(yīng)的優(yōu)化問題，我們開發(fā)了一種線性化的塊坐標(biāo)下降算法（linearized block coordinate descent algorithm），并證明了其在樣本量固定時的收斂性。在合成數(shù)據(jù)集以及真實數(shù)據(jù)集：功能性磁共振成像（ fMRI） 和 腦電圖（EEG） 上的計算結(jié)果表明我們提出的方法比已有的技術(shù)有更優(yōu)的表現(xiàn)。點擊查看論文原文

10. 使用用戶-物品聯(lián)合自回歸模型的協(xié)同過濾（Collaborative Filtering with User-Item Co-Autoregressive Models）

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)表現(xiàn)出了在協(xié)同過濾（CF）方面的潛力。但是，已有的神經(jīng)方法要么是基于用戶的，要么就是基于項目的，這不能明確地利用所有的隱含信息。我們提出了 CF-UIcA，這是一種用于 CF 任務(wù)的神經(jīng)聯(lián)合自回歸模型，其利用了用戶和物品兩個域中的結(jié)構(gòu)相關(guān)性。這種聯(lián)合自回歸允許為不同的任務(wù)集成其它額外的所需特征。此外，我們還開發(fā)了一個有效的隨機學(xué)習(xí)算法來處理大規(guī)模數(shù)據(jù)集。我們在 MovieLens 1M 和 Netflix 這兩個流行的基準(zhǔn)上對 CF-UIcA 進(jìn)行了評估，并且在評級預(yù)測和推薦最佳 N 項的任務(wù)上都實現(xiàn)了當(dāng)前最佳的表現(xiàn)，這證明了 CF-UIcA 的有效性。點擊查看論文原文

11. EAD：通過對抗樣本實現(xiàn)對深度神經(jīng)網(wǎng)絡(luò)的彈性網(wǎng)絡(luò)攻擊（EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples）

近來的一些研究已經(jīng)突出說明了深度神經(jīng)網(wǎng)絡(luò)（DNN）面對對抗樣本時的脆弱性——我們可以輕松創(chuàng)造出在視覺上難以區(qū)分，卻能讓經(jīng)過良好訓(xùn)練的模型分類錯誤的對抗圖像。已有的對抗樣本創(chuàng)造方法是基于 L2 和 L∞ 失真度量的。但是，盡管事實上 L1 失真就能說明整體的變化情況且鼓勵稀疏的擾動，但在創(chuàng)造基于 L1 的對抗樣本上的發(fā)展則很少。

在本論文中，我們將使用對抗樣本攻擊 DNN 的過程形式化為了使用彈性網(wǎng)絡(luò)正則化的優(yōu)化問題。我們對 DNN 的彈性網(wǎng)絡(luò)攻擊（EAD）使用了面向 L1 的對抗樣本，并且還包含了當(dāng)前最佳的 L2 攻擊作為特例。在 MNIST、CIFAR10 和 ImageNet 上的實驗結(jié)果表明 EAD 可以得到一組明確的具有很小 L1 失真的對抗樣本，并且能在不同攻擊場景中實現(xiàn)與當(dāng)前最佳方法近似的攻擊表現(xiàn)。更重要的是，EAD 能改善攻擊可遷移性以及幫補 DNN 的對抗訓(xùn)練，這為在對抗機器學(xué)習(xí)中利用 L1 失真以及 DNN 的安全意義提供了全新的見解。點擊查看論文原文

總結(jié)

以上是生活随笔為你收集整理的【AAAI 2018】腾讯 AI Lab 11篇论文精选：图像描述、NMT 模型、图卷积神经网络、DNN优化等的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。