顶会论文轮番炸场，本周哪些论文最值得读？
在碎片化閱讀充斥眼球的時代，越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里，你會快速 get 每篇精選論文的亮點和痛點，時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區(qū)，查看更多最新論文推薦。
這是 PaperDaily 的第 83?篇文章@lizhongyang2011 推薦
#Script Event Prediction
本文是哈工大發(fā)表于 IJCAI 2018 的工作，論文提出通過構建敘事事理圖譜來更好地利用事件之間的稠密連接信息，以幫助腳本事件預測任務。為了解決大規(guī)模事理圖譜圖結構上的推斷問題，本文提出了一個可擴展的圖神經(jīng)網(wǎng)絡模型，來學習事件之間的交互作用并學習到更好的事件表示。在腳本事件預測任務上，本文的方法取得了 SOTA 的結果。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2026
源碼鏈接
https://github.com/eecrazy/ConstructingNEEG_IJCAI_2018
@paperweekly 推薦
#Sentiment Classification
本文是 Tencent AI Lab 與香港中文大學聯(lián)合發(fā)表于 ACL 2018的工作。該文嘗試了一種新思路來解決面向評論目標（opinion target）的情感分類任務：用卷積神經(jīng)網(wǎng)絡（CNN）替代基于注意力機制的 RNN 去提取最重要的分類特征。
由于 CNN 很難利用目標實體信息，該文設計了一個特征變換組件來將實體信息引入到單詞的語義表示當中。這個特征變換過程可能會使上下文信息丟失，所以文中提出了兩種“上下文保留”機制，將上下文信息和變換之后的特征結合起來。該框架在三個標準數(shù)據(jù)集上，取得了全面優(yōu)于已有方法的準確率和 F1 值。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2029
源碼鏈接
https://github.com/lixin4ever/TNet
Gaussian Mixture Latent Vector Grammars
@lalalalal 推薦
#Grammar Learning
本文是上海科技大學發(fā)表于?ACL 2018 的工作，論文收到 6/5/5 的評分（滿分 6 分）。論文提出了 Latent Vector Grammars (LVeGs)，證明 Latent Variable Grammars 和 Compositional Vector Grammars 皆為 LVeGs 的特例。此外，論文還提出 LVeGs 的一種特例：Gaussian Mixture LVeGs，能夠進行有效的推理和學習。在 Constituency Parsing 和 Part-of-Speech Tagging 兩個任務上皆取得不錯的效果。
問題價值：語法樹可以表示語言的生成過程，編碼語言中潛藏的結構信息，有助于語言理解和生成任務；之前的研究顯示細化句法類別，如將每個句法類別切分為有限個子類別，能夠提高語法分析的精度；本文更進一步，提出使用連續(xù)向量空間表示句法子類別空間，因此能夠建模無窮多個句法子類別。?
問題難度：如何表示句法子類別的連續(xù)空間；如何在句法子類別高緯連續(xù)表示的設定下進行有效的學習和推理。?
解決思路：本文將文法規(guī)則的權重函數(shù)定義為混合高斯分布；對于文法規(guī)則 A->B，其權重函數(shù)的變量為向量 a（句法類別 A 的子類型向量空間）和 b（句法類別 B 的子類型向量空間）的串聯(lián)；在上述設定下，能夠應用梯度下降的優(yōu)化方法進行有效的學習，同時能夠應用動態(tài)規(guī)劃算法進行有效推理。?
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2033
源碼鏈接
https://github.com/zhaoyanpeng/lveg
@paperweekly 推薦
#Hierarchical Attention Networks
本文是 Tencent AI Lab 與香港中文大學聯(lián)合發(fā)表于 IJCAI 2018 的工作。該文提出的 aspect 抽取框架利用了兩個有用的線索：opinion summary 和 aspect 檢測歷史。
opinion summary 是基于 aspect 預測的每個當前 token 從整個輸入句子提煉出來的，因此這個量身定做的 summary 有助于當前 token 是否為 aspect 的預測。另一個線索是從之前 token 的 aspect 預測提取出來的預測歷史，此線索利用了同位詞關系和 BIO tagging 的約束來提高預測效果。該模型在四個基準數(shù)據(jù)集上進行了實驗，均取得了最佳結果。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2030
源碼鏈接
https://github.com/lixin4ever/HAST
@paperweekly 推薦
#Dialog Generation
本文是 CMU 發(fā)表于 ACL 2018 的工作，論文從生成式對話模型的可解釋表示學習出發(fā)，作者提出了兩種無監(jiān)督的 VAE 模型：DI-VAE 和 DI-VST，可以和現(xiàn)有的 encoder-decoder 框架結合，去做可解釋的對話生成。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2019
源碼鏈接
https://github.com/snakeztc/NeuralDialog-LAED
@DeepTrial 推薦
#Attention Mechanism
作者實現(xiàn)了 Attention 機制與 U-Net 網(wǎng)絡的融合。以往在計算機視覺領域中所使用的 Attention 機制，需要使用增強學習等方法來調整參數(shù)，使得網(wǎng)絡效率低下。作者這里使用 U-Net 模型下采樣階段提取出的特征作為門控信息，生成 Attention 的權值，而整個模型的參數(shù)調整都遵循梯度下降的原則，無需引入其他方法，極大簡化了網(wǎng)絡結構。
另一方面 Attention 機制可以幫助 U-Net 模型抑制和分割目標無關區(qū)域的響應，幫助加快收斂速度，提高模型精度。文中，作者給出了 Attention U-Net 在肺部 CT 圖像，視網(wǎng)膜眼底圖像上應用的結構，證明其在圖像語義分割上的優(yōu)異性能。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2038
源碼鏈接
https://github.com/ozan-oktay/Attention-Gated-Networks
@TwistedW 推薦
#Generative Adversarial Networks
文章提出了 Graphical GAN 將貝葉斯網(wǎng)絡應用于 GAN 中，達到了緊湊表示隨機變量之間的依賴關系結構，以及生成對抗網(wǎng)絡對學習表達依賴函數(shù)的依賴關系結構。文章的數(shù)學和理論高度較高，實驗上不僅僅可以生成靜態(tài)的圖像還可以生成帶有時序信息的數(shù)據(jù)。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2052
源碼鏈接
https://github.com/zhenxuan00/graphical-gan
@paperweekly 推薦
#Image Compression
本文是圖鴨科技圖片壓縮團隊于 CVPR 2018 圖像壓縮別挑戰(zhàn)賽（CLIC）參賽論文。該文提出了一種在深度學習領域的圖像壓縮算法，在保證圖像質量的同時，盡可能的降低圖片大小。
論文主要有以下幾個方面：優(yōu)化的網(wǎng)絡結構、高效的量化方法、量化與碼字估計聯(lián)合優(yōu)化、優(yōu)化的熵編碼技術，并與網(wǎng)絡結構融合，實現(xiàn)端到端的優(yōu)化。大賽結果表明，該方法沒有辜負我們的期望，Tucodec TNGcnn4p 在 CLIC 上斬獲全部兩項主觀測評指標 MOS 與 MS-SSIM 的第一名。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2053
@fashipiaoliu 推薦
#Semantic Segmentation
本文來自北京理工大學和 Face++，論文提出了特征金字塔注意力模塊可在 FCN 基礎像素預測模型嵌入不同尺度的上下文特征。開發(fā)了一個高效解碼模塊 GAU 以幫助語義分割。結合特征金字塔注意力和全局注意力上采樣，該金字塔注意力網(wǎng)絡架構可在 VOC 2012 和 cityscapes 基準上達到當前最優(yōu)水平。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2034
@DeepTrial 推薦
#Medical Image Analysis
當使用深度學習處理醫(yī)學圖像問題時，往往會因為深度學習的不可解釋性阻礙醫(yī)生或大眾信任計算機給出的判斷。在糖尿病視網(wǎng)膜癥評級問題上也是如此。現(xiàn)有的 CNN 模型在這個問題的數(shù)據(jù)集上已有很高的準確率，但模型本身是不可解釋的。
本文作者提出了一種解釋卷積神經(jīng)網(wǎng)絡的方法，使得模型給出的分類結論更有說服性。本文重點圍繞卷積神經(jīng)網(wǎng)絡的數(shù)學解釋方法而展開。對于關注神經(jīng)網(wǎng)絡可解釋性的研究者而言值得一看。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2039
@daven88 推薦
#Recommender Systems
目前主流的基于深度學習的推薦系統(tǒng)大多都在研究如何模擬用戶和商品之間的非線性的關系。 但是目前使用到的深度學習框架都是淺層的 （比如 3 到 4 層）。 如何訓練更深的模型還不是很清楚。?
本文提出了一種新型的深度學習模型 SA-NCF，這個模型可以讓層數(shù)達到 20 甚至更深的層數(shù)。這個模型利用層級的自注意力模型來學習 MLP 中各個隱含層之間的深層次的關系和相似度。SA-NCF是一個全連接的自匹配模型。?
我們在 6 個大規(guī)模的真實的數(shù)據(jù)集上面做了測試，發(fā)現(xiàn)我們的模型能起到 23%-58% 的提升（基于最新的深度學習的推薦模型， 例如 NeuMF，MLP，CML），在有些數(shù)據(jù)集上 HR@10 甚至可以達到 100%。是一個非常有應用前景的模型。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2047
@lykaust15 推薦
#Deep Learning
本文提出了一個非常簡單實用有效的方法，將深度學習和 SVM 結合解決了使用深度學習進行 class incremental learning 時會遇到的 catastrophic forgetting 的問題。?
在使用深度學習時，我們經(jīng)常遇到這樣一個場景（尤其是長時間，大數(shù)據(jù)量的 project）：在使用已有的數(shù)據(jù)訓練好一個深度學習模型之后，又來了一批新的數(shù)據(jù)，而這批新數(shù)據(jù)的 class 是原有數(shù)據(jù)沒有的 class，我們需要使模型變得也有能力去預測新的 class，這就是 class incremental learning。
使用所有的數(shù)據(jù)從頭訓練一個全新的模型太過費時費力。但如果只用新數(shù)據(jù)去 fine-tune 以前的模型就會出現(xiàn)這個模型把所有的 test 數(shù)據(jù)（甚至包括以前的訓練數(shù)據(jù)）都預測成新 class 的情況，就好像這個模型忘記了我們曾經(jīng)使用過老數(shù)據(jù)對它進行訓練一樣，這個現(xiàn)象被形象地稱為 catastrophic forgetting。這個問題非常有意思，除了和人工智能有關，它還有一些腦神經(jīng)科學以及認知心理學的背景，詳細介紹請參見原文。?
這兩年有很多關于這個方向的研究。其中最有名的是 EWC 和 iCaRL。雖然 EWC 在 sequential tasks 上 performance 很好，但是在 class incremental learning 上的 performance 有時甚至比 random guess 還要差。iCaRL 雖然有著 state-of-the-art 的 performance，但是比最優(yōu) performance（從頭訓練一個全新的 model 的 performance），有時能差 30 到 40 個百分點。?
本文的方法將深度學習和 SVM 結合起來，取了兩種算法的長處。在訓練完一個深度學習 model 之后，SupportNet 會使用 SVM 去 approximate 深度學習模型的最后一層。根據(jù) SVM 模型的 support vector 信息，SupportNet 能夠得到所要保留的 support data。在新數(shù)據(jù)來的時候，這些 support data 以及新數(shù)據(jù)會被用來 fine-tune 之前的模型。
除了使用了這個方法，SupportNet 還使用了兩個非常有效的 regularizer，EWC regularizer 和 feature regularizer，來穩(wěn)定深度學習模型。文章用大量的實驗證明了該方法的 performance。
值得注意的是，SupportNet 不僅比 iCaRL 的 performance 要好很多，它在一個數(shù)據(jù)集上的 performance 甚至接近最優(yōu) performance。文章還對各個參數(shù)以及方法為什么會 work 進行了詳細分析。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2027
源碼鏈接
https://github.com/lykaust15/SupportNet
@zuri 推薦
#Rule Embedding
本文基于先驗知識與深度學習結合的思想提出了規(guī)則嵌入式神經(jīng)網(wǎng)絡，將專家知識以規(guī)則的形式嵌入到 ANN 中，借鑒“知識+經(jīng)驗”的人類智能的處理方式。知識的引入提高了 ANN 的性能，降低了 model 的復雜度，即使小樣本數(shù)據(jù)量也能訓練出很好的模型，可能也是深度學習走向 StrongAI 的關鍵。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2021
@Rcypw 推薦
#Network Representation Learning
本文是一篇網(wǎng)絡表示學習綜述文章，論文總結了今年關于 NRL/GRL 的相關工作，研究充分，總結、歸納很詳細，對 NRL/GRL 研究具有指導意義。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2025
@loyalfei 推薦
#Zero-Shot Learning
本文是倫敦大學瑪麗皇后學院發(fā)表于 CVPR 2017 的工作，論文引入語義信息，提出一種新的語義自編碼器結構，實現(xiàn) zero-shot learning 的工作，解決了訓練集和測試集的領域漂移（domain shift）問題。算法的自編碼器在進行編碼和解碼時，使用了原始數(shù)據(jù)作為約束，即編碼后的數(shù)據(jù)能夠盡可能恢復為原來的數(shù)據(jù)。
▲?論文模型：點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2048
源碼鏈接
https://github.com/Elyorcv/SAE
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀念周邊一份
▲?深度學習主題行李牌/卡套 + 防水貼紙
?禮物領取方式?
推薦人請根據(jù)論文詳情頁底部留言
添加小助手領取禮物
想要贏取以上周邊好禮？
點擊閱讀原文即刻加入社區(qū)吧！
點擊以下標題查看往期推薦：?
??來還在為周會發(fā)愁？你需要這13篇最新論文
??快醒醒，一大波最新 AI 論文加開源代碼來襲！
??15 篇最新 AI 論文來襲！NLP、CV...人人有份
還在熬夜憋思路？這12篇最新論文打包送給你
本周 AI 論文良心推薦，你想 pick 誰？
? ? ? ? ??
AI活動推薦
?
中國人工智能大會 CCAI 2018
AI領域規(guī)格最高、規(guī)模最大
影響力最強的專業(yè)會議之一
熱點話題√核心技術√科學問題√
?
?活動時間?
2018年7月28日-29日?
中國·深圳
長按識別二維碼，查看大會簡介
▼
? ? ? ? ??
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 加入社區(qū)刷論文
總結
以上是生活随笔為你收集整理的顶会论文轮番炸场，本周哪些论文最值得读？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： PaddleFluid和TensorFl
- 下一篇： 招聘 | 南京柯基数据招聘自然语言处理工