在碎片化閱讀充斥眼球的時(shí)代，越來越少的人會去關(guān)注每篇論文背后的探索和思考。

在這個(gè)欄目里，你會快速 get 每篇精選論文的亮點(diǎn)和痛點(diǎn)，時(shí)刻緊跟 AI 前沿成果。

點(diǎn)擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。

這是 PaperDaily 的第 75?篇文章

Adaptive Scaling for Sparse Detection in Information Extraction

@roger 推薦

#Information Extraction

本文是中科院軟件所發(fā)表于 ACL 2018 的工作，論文主要研究信息抽取中檢測任務(wù)的類別不平等問題。該問題具體體現(xiàn)在：1. 訓(xùn)練樣本類別不均衡；2. 神經(jīng)網(wǎng)絡(luò)常用的交叉熵目標(biāo)函數(shù)與評價(jià)指標(biāo)（F-score）不平等。?

為解決這一問題，本文提出了一種基于邊際效用的動(dòng)態(tài)調(diào)整訓(xùn)練實(shí)例權(quán)重的解決方案，在 Batch-wise 的訓(xùn)練過程中直接針對 F-score 進(jìn)行優(yōu)化，同時(shí)不需要引入超參數(shù)。?

本文分別在 KBP2017 的中英文事件檢測任務(wù)進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果證明了 AS 方法的有效性和穩(wěn)定性。類別不平等問題在自然語言處理領(lǐng)域中廣泛存在，AS 方法可以被應(yīng)用在更多的自然語言處理任務(wù)中。

論文鏈接

https://www.paperweekly.site/papers/1963

代碼鏈接

https://github.com/sanmusunrise/AdaScaling

Self-Attention Generative Adversarial Networks

@xwzhong 推薦

#Generative Adversarial Networks

本文來自谷歌大腦 Ian Goodfellow 組，論文提出了一個(gè)基于注意力機(jī)制的對抗網(wǎng)絡(luò)（SAGAN），將自注意力機(jī)制引入到卷積 GAN 中作為卷積的補(bǔ)充，在 ImageNet 多類別圖像合成任務(wù)中取得了最優(yōu)結(jié)果。

論文鏈接

https://www.paperweekly.site/papers/1967

A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss

@llamazing 推薦

#Text Summarization

本文是國立清華大學(xué)發(fā)表于 ACL 2018 的工作，論文主要貢獻(xiàn)如下：

1.?作者提出一個(gè)抽取式和提取式融合的模型來做 summarization，利用抽取式模型獲得 sentence-level 的 attention 進(jìn)而影響 word-level 的 attention；提出 inconsistency loss；

2.?CNN/Daily Mail 數(shù)據(jù)集 ROUGE 分?jǐn)?shù)超過抽取式模型 lead-3，本文的模型可看作是 pointer-generator 和抽取式模型的融合；

3. 用Hierarchical 的結(jié)構(gòu)（word-level encoding 和 sentence-level encoding），分別對 sentence 和word 做 attention；sentence 的 attention 權(quán)重使用 sigmoid；word 的 attention 權(quán)重計(jì)算時(shí)用 sentence-level 的 attention 權(quán)重進(jìn)行 scale；

4.?Inconsistency Loss 對 decode 每個(gè) step 的 topK attention word 的 word-level 和 sentence-level 的 attention 乘積做 negative log；鼓勵(lì) word-level attention sharp，sentence-level 的 attention high。

論文鏈接

https://www.paperweekly.site/papers/1953

DLBI: Deep learning guided Bayesian inference for structure reconstruction of super-resolution fluorescence microscopy

@lykaust15 推薦

#Image Reconstruction

本文是基于 GAN 和貝葉斯方法的熒光顯微超分辨研究。熒光顯微超分辨是光學(xué)成像的突破性研究，獲得 2014 年諾貝爾化學(xué)獎(jiǎng)。它將光學(xué)顯微鏡的成像極限分辨率從 300nm 提高到了 40nm。

這個(gè)方向一個(gè)重要的計(jì)算問題是從一串時(shí)間序列的高噪聲低分辨率的圖像重構(gòu)出一張高分辨低噪聲的超分辨率圖像。之前的方法是基于貝葉斯和 FHMM 模型建模重構(gòu)，時(shí)間復(fù)雜度非常高，重構(gòu)出一張 480*480 的圖像需要 75 個(gè)小時(shí)。?

在這個(gè)領(lǐng)域使用深度學(xué)習(xí)非常有希望繼續(xù)提高極限分辨率以及提高重構(gòu)速度。但是有 4 個(gè)問題需要解決：1. 標(biāo)準(zhǔn)的圖像超分辨是沒有噪聲的，但是這里的圖片噪聲非常大。2. 沒有足夠大的訓(xùn)練數(shù)據(jù)集。 3. 已有的訓(xùn)練數(shù)據(jù)集并沒有 ground truth。4. 單純使用深度學(xué)習(xí)，非常有可能在最終結(jié)果中引入實(shí)際不存在的細(xì)節(jié)，對于光學(xué)成像，即使看不清，也不希望看到錯(cuò)誤的細(xì)節(jié)。?

這篇文章使用了以下方法解決了上述問題：

1. 基于熒光顯微成像的物理學(xué)原理，構(gòu)建了一個(gè)可以根據(jù)給定的高分辨圖像產(chǎn)生低分辨高噪聲圖像的模擬器用于產(chǎn)生源源不斷的數(shù)據(jù)；

?2. 在 GAN 的生成網(wǎng)絡(luò)中加入了MC dropout，denoise shortcut 以及使用 multiscale training 的方式來抑制噪聲和實(shí)際不存在的細(xì)節(jié)；?

3. 將深度學(xué)習(xí)的結(jié)果作為貝葉斯方法的先驗(yàn)，進(jìn)一步重構(gòu)同時(shí)抑制噪聲。這一步雖然是使用了之前的方法，但因?yàn)樯疃葘W(xué)習(xí)的結(jié)果已經(jīng)非常好，所以貝葉斯方法的收斂速度也比之前顯著提高。?

文章通過大量的實(shí)驗(yàn)（包括模擬數(shù)據(jù)和真實(shí)數(shù)據(jù)）證明該文章提出的方法可以重構(gòu)出比之前的方法（3B，2012， Nature Methods）細(xì)節(jié)更加豐富的超分辨圖像，同時(shí)，速度有了及其顯著的提高：如果直接使用深度學(xué)習(xí)的方法作為輸出（重構(gòu)一張 480*480 圖片只需要 3 分鐘），比 3B 方法快 1500 倍，如果進(jìn)一步使用貝葉斯方法改善結(jié)果，也還是要比 3B 方法快 150 倍。這種顯著的速度提升使實(shí)時(shí)重構(gòu)和大范圍重構(gòu)成為可能。?

文章提出的訓(xùn)練方法和解決噪聲的方法同樣適用于其他類似問題和領(lǐng)域，比如醫(yī)學(xué)圖像（CT，fMRI）超分辨。

論文鏈接

https://www.paperweekly.site/papers/1964

代碼鏈接

https://github.com/lykaust15/DLBI

Sparsely Grouped Multi-task Generative Adversarial Networks for Facial Attribute Manipulation

@zhangjichao 推薦

#Image-to-Image Translation

本文認(rèn)為先前的基于 unpaired 數(shù)據(jù)的方法，比如 StarGAN 和 CycleGAN，仍然需要分類標(biāo)簽并且消耗一定的人力。因此文章提出了一種 sparsely grouped 形式的數(shù)據(jù)形式，并且提出一種在此數(shù)據(jù)集上可以訓(xùn)練的類似半監(jiān)督對抗網(wǎng)絡(luò)的學(xué)習(xí)框架和目標(biāo)函數(shù)。

實(shí)驗(yàn)通過在 celebA 數(shù)據(jù)集上做面部參數(shù)的調(diào)整應(yīng)用驗(yàn)證了方法的有效性。論文還通過定量定性的評估說明方法的優(yōu)越性。最后，論文還給出了圖像翻譯在數(shù)據(jù)不平衡下遇到的問題，并且說明了本文提出的方法可以緩解這種問題。

論文鏈接

https://www.paperweekly.site/papers/1965

Nugget Proposal Networks for Chinese Event Detection

@roger 推薦

#Chinese Event Detection

本文是中科院軟件所發(fā)表于 ACL 2018 的工作。論文主要針對事件檢測，尤其是中文事件檢測任務(wù)當(dāng)中的觸發(fā)詞塊與詞的不匹配問題，提出了一種名為 Nugget Proposal Networks (NPNs) 的字級別標(biāo)注模型。

不同于傳統(tǒng)的字級別和詞級別模型，該模型在每個(gè)字符上要求模型能夠預(yù)測出整個(gè)完整的觸發(fā)詞塊，從而使得預(yù)測結(jié)果有了更高的容錯(cuò)率。同時(shí)，文章在進(jìn)行預(yù)測的時(shí)候，同時(shí)利用了字符級別和詞級別的語義信息，使得預(yù)測結(jié)果更加準(zhǔn)確。

本文分別在 KBP2017 和 ACE2005 的中文事件檢測數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)驗(yàn)證，與傳統(tǒng)的基于字符級別 BIO 標(biāo)簽、基于詞級別的方法相比，NPNs 取得了顯著的提升。

詞與待檢測塊之間的不匹配問題在自然語言處理領(lǐng)域中廣泛存在，尤其在中文這樣沒有自然詞匯邊界的語言中更為明顯，NPNs 模型可以被應(yīng)用到更多相關(guān)的自然語言處理任務(wù)中，例如命名實(shí)體識別。

論文鏈接

https://www.paperweekly.site/papers/1962

代碼鏈接

https://github.com/sanmusunrise/NPNs

An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling

@Ttssxuan 推薦

#Sequence Modeling

在面對序列數(shù)據(jù)時(shí)，一般立即想到的是使用 RNN 網(wǎng)絡(luò)，但經(jīng)過本文以及相關(guān)文章的研究表明，面對序列數(shù)據(jù)時(shí)，卷積網(wǎng)絡(luò)更應(yīng)該納入考慮范圍。?

本文針對卷積網(wǎng)絡(luò)在序列上的應(yīng)用提出 Temporal Convolutional Networks (TCN)。網(wǎng)絡(luò)使用 1 維卷積處理序列問題，使用因果卷積（Causal Convolutions）處理序列中的順序關(guān)系、使用擴(kuò)展卷積（Dilated Convolutions）實(shí)現(xiàn)對歷史信息的接收范圍指數(shù)級擴(kuò)張、使用 Residual Connections（實(shí)現(xiàn)時(shí)使用 1X1 卷積）處理深度網(wǎng)絡(luò)信息傳遞問題。?

TCN的主要優(yōu)點(diǎn)有：并行、靈活的接收域、穩(wěn)定的梯度、訓(xùn)練占用內(nèi)存少、可變長輸入。?

本文在 The adding problem、Sequential MNIST and P-MNIST、Copy memory、JSB Chorales and Nottingham、PennTreebank、Wikitext-103、LAMBADA、text8 等多個(gè)數(shù)據(jù)集上進(jìn)行試驗(yàn)，與 LSTM、GRU 等網(wǎng)絡(luò)進(jìn)行對比，在結(jié)果和性能上 TCN 都取得了相當(dāng)不錯(cuò)的優(yōu)勢。

論文鏈接

https://www.paperweekly.site/papers/1940

代碼鏈接

https://github.com/locuslab/TCN

MobileFaceNets: Efficient CNNs for Accurate Real-time Face Verification on Mobile Devices

@halfmoontzh 推薦

#Face Recognition

本文提出了一個(gè)工業(yè)級精度和速度的輕量級人臉識別網(wǎng)絡(luò)，模型大小只有 4MB，速度超過了 MobileNetV2 和 ShuffleNet，專為人臉識別任務(wù)設(shè)計(jì)，精度比肩大模型。

論文鏈接

https://www.paperweekly.site/papers/1952

代碼鏈接

https://github.com/moli232777144/mobilefacenet-mxnet

Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba

@stevechoris 推薦

#Recommender System

本文是阿里巴巴和香港科技大學(xué)發(fā)表于 SIGKDD 2018 的工作，論文結(jié)合節(jié)點(diǎn) side information，解決了圖表示學(xué)習(xí)中稀疏性和冷啟動(dòng)問題，在電商 i2i 推薦上取得很好的效果。

論文鏈接

https://www.paperweekly.site/papers/1939

Paper Abstract Writing through Editing Mechanism

@llamazing 推薦

#Text Generation

本文是倫斯勒理工學(xué)院和南加州大學(xué)發(fā)表于 ACL 2018 的工作，論文研究的問題是給定 title 生成摘要，一個(gè) writing 網(wǎng)絡(luò)一個(gè) editing 網(wǎng)絡(luò)，跟 deliberation network 有點(diǎn)類似，對 decoder 出的文本進(jìn)行 refine。

論文鏈接

https://www.paperweekly.site/papers/1943

代碼鏈接

https://github.com/EagleW/Writing-editing-Network

Show, Tell and Discriminate: Image Captioning by Self-retrieval with Partially Labeled Data

@qliu 推薦

#Image Captioning

作者主要想解決的問題是生成的 caption 缺少多樣性的問題，即多幅相似的圖片可能會生成幾乎一樣的 caption。

作者認(rèn)為，如果 caption 足夠具有多樣性的話，那么這幅圖生成的描述應(yīng)當(dāng)與本幅圖最相似，與其他圖像沒那么相似。相反，如果兩幅圖生成的描述相同，那么這個(gè)描述與兩幅圖的相似性即是一樣的或者是難以區(qū)分的。當(dāng) I1 生成的 C1 時(shí)，C1 與 I1 相似性應(yīng)當(dāng)高于 C1 與 In(n≠1)。?

這篇文章的新穎之處有兩點(diǎn)：

1. 使用了 unlabeled images（不含有 ground truth 的圖像）進(jìn)行訓(xùn)練，之前的大部分 image caption 的工作都是基于各個(gè)圖像數(shù)據(jù)庫進(jìn)行訓(xùn)練，如果能夠使用無人工標(biāo)注的圖像進(jìn)行訓(xùn)練，訓(xùn)練集將會大大增加。?

為什么能夠用到 unlabeled images 呢？作者發(fā)掘出了 unlabeled images 里天然存在的“l(fā)abel”—即 In 與 Cn 的一一對應(yīng)關(guān)系。即一幅圖通過生成網(wǎng)絡(luò)生成的描述肯定是與這幅圖對應(yīng)的，那么這個(gè)描述的標(biāo)簽就是這幅圖。

2. 使用了 self-retrieval 網(wǎng)絡(luò)。這篇文章的模型主要分為兩個(gè)版塊，第一個(gè)版塊是 caption module，第二個(gè)版塊是 self-retrieval module。

其中 self-retrieval module 通過計(jì)算由 caption module 生成的 ci 與 {I1,I2,I3……，In} 之間的相似性，來計(jì)算 self-retrievel module 對 caption module 的 reward。最后用強(qiáng)化學(xué)習(xí)的方法把 reward 反饋給 caption module。?

3. 運(yùn)用強(qiáng)化學(xué)習(xí)將 CIDer 指標(biāo)作為 reward。這個(gè)已經(jīng)不算很新穎了，在 Self-critical Sequence Training for Image Captioning 這篇文章中已經(jīng)運(yùn)用強(qiáng)化學(xué)習(xí)將 CIDer 指標(biāo)結(jié)果作為 reward 反饋給 caption module。

這里由于增加了一個(gè) self-retrieval module，因此多了一個(gè) reward—Rret。所以 labeled images 的 reward 會分為兩部分 Rcider 和 Rret。由于 unlabeled images 沒有 Rcider，因此 reward 只有 Rret。

論文鏈接

https://www.paperweekly.site/papers/1948

Learning to See in the Dark

@paperweekly 推薦

#Few-shot Learning

本文是 UIUC 和英特爾發(fā)表于 CVPR 2018 的工作。極低照明度下，傳統(tǒng)增加亮度的方法會放大噪點(diǎn)和色彩失真。本文通過全卷積網(wǎng)絡(luò)處理這一類黑黑的照明度圖像，并在抑噪和保真的條件下將它們恢復(fù)到正常亮度。這種端到端的方法將為機(jī)器賦予強(qiáng)大的夜視能力，且還不需要額外的硬件。

論文鏈接

https://www.paperweekly.site/papers/1946

代碼鏈接

https://github.com/cchen156/Learning-to-See-in-the-Dark

#推 薦 有 禮#

本期所有入選論文的推薦人

均將獲得PaperWeekly紀(jì)念周邊一份

▲?機(jī)器學(xué)習(xí)主題行李牌/卡套

▲?深度學(xué)習(xí)主題防水貼紙

想要贏取以上周邊好禮？

點(diǎn)擊閱讀原文即刻加入社區(qū)吧！

點(diǎn)擊以下標(biāo)題查看往期推薦：?

• ??來不及想標(biāo)題了，我要去打包收藏了

• ??快醒醒，一大波最新 AI 論文加開源代碼來襲！
  

• ??15 篇最新 AI 論文來襲！NLP、CV...人人有份

• 選對論文，效率提升50% | 本周值得讀

• 入坑AI卻不知道該讀什么？這15篇最新論文給你答案
  

▲?戳我查看招募詳情

#作 者 招 募#

讓你的文字被很多很多人看到，喜歡我們不如加入我們

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 加入社區(qū)刷論文

總結(jié)

以上是生活随笔為你收集整理的本周 AI 论文良心推荐，你想 pick 谁？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。