NLP、CV、ML全覆盖,这份私藏论文清单你一定要看看
在碎片化閱讀充斥眼球的時代,越來越少的人會去關注每篇論文背后的探索和思考。
在這個欄目里,你會快速 get 每篇精選論文的亮點和痛點,時刻緊跟 AI 前沿成果。
點擊本文底部的「閱讀原文」即刻加入社區,查看更多最新論文推薦。
這是 PaperDaily 的第 128?篇文章@xwzhong 推薦
#Sequence Modeling
本文來自斯坦福大學和 Google Brain,論文主要的想法是深化句子層面的語義表征,跟近期的 BERT 有相通之處,但使用的數據量相對于 BERT 少很多。針對有監督任務中數據量少的情況,作者提出使用半監督的方式強化句子層面的表示。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2749
源碼鏈接
https://github.com/tensorflow/models/tree/master/research/cvt_text
@paperweekly 推薦
#Sentiment Classification
本文是香港中文大學、阿里巴巴和騰訊發表于 AAAI 2019 的工作。傳統的基于評論目標的情感分析(Target/Aspect-Based Sentiment Analysis, TBSA)通常涉及到評論目標抽取和目標情感分類兩個子問題,它們作為獨立的任務在近幾年受到了研究者的廣泛關注。然而,孤立地研究這兩個子任務與完整的基于評論目標的情感分析任務是有一定沖突的(例如:目標情感分類任務假設評論目標是給定的但是在 TBSA 任務中評論目標是未知的)。?
因此,本文提出了一種端到端的方案同時解決評論目標抽取和目標情感預測問題。作者將完整的 TBSA 問題定義為一個信息抽取的任務并仔細設計了標簽集合,使得評論目標信息和情感信息能夠包含在一個標簽序列中。
除此之外,作者還提出了一個新的堆疊式 RNN 來解決 TBSA 問題。這個模型包含了兩層堆疊的 RNN,上層的 RNN 用于解決完整的 TBSA 問題(預測 TBSA 的標簽序列),下層的 RNN 負責檢測評論目標的邊界。
為了充分利用評論目標的邊界信息,本文提出了一個組件顯式地把下層 RNN 提取的邊界信息加入到 TBSA 的序列決策中。在序列預測過程中,作者也嘗試加強當前詞和過去一個時刻的詞的關系,來緩解同一個評論目標短語內情感標簽不一致的問題。
作者在 3 個標準數據集上進行了實驗,結果表明本文模型一致優于基準模型和現有的序列標注模型。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2718
源碼鏈接
https://github.com/lixin4ever/E2E-TBSA
@jingyihiter 推薦
#Language Model Pretraining
本文是來自 Facebook AI Research 的最新工作,論文針對的是跨語言的語言模型預訓練任務。本文方法在無監督機器翻譯任務上提升 9 個 BLEU 值,在有監督機器翻譯上也得到超過 4 個 BLEU 值的提升。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2790
@aforever 推薦
#Word Embeddings
本文是華盛頓大學和 FAIR 合作的論文,通過最大化詞對與其上下文的點間互信息(pointwise mutual information)來預訓練詞對表示(word pair representations)。這鼓勵模型學習更有意義的詞對表示,而不是使用語言建模等更通用的目標。在 SQuAD 和 MultiNLI 等要求跨句推理的任務中,預訓練表示是有效的。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2745
@paperweekly 推薦
#Text Summarization
本文是北京大學、騰訊、京東和阿里巴巴發表于 AAAI 2019 的工作。在基于神經網絡的生成式文本摘要研究領域中,傳統的基于序列到序列的模型對文檔主題的建模經常出錯。為了解決這個問題,本文提出了讀者感知的摘要生成任務,它利用讀者的評論來幫助生成符合文檔主題的更好的摘要。
與傳統的生成式摘要任務不同,讀者感知型摘要面臨兩個主要挑戰:1)評論是非正式的、有噪音的;2)聯合建模新聞文檔和讀者評論具有一定挑戰性。
為了解決上述挑戰,作者設計了一個基于對抗學習的讀者感知型摘要生成模型(RASG),它由四個部分組成:1)基于序列到序列的摘要生成模塊;2)讀者注意力建模模塊來捕捉讀者關注的主題;3)督導建模模塊來描述生成的摘要和讀者關注主題之間的語義差距;4)目標跟蹤模塊來產生每個生成步驟的目標。
督導和目標定位模塊以對抗學習的方式來指導框架的訓練。作者在自己的文摘數據集進行了大量實驗,結果表明 RASG 在自動評測和人工評測方面都取得了最好的效果。實驗結果還證明了本文框架中每個模塊的有效性。此外,作者還發布了一個大規模數據集供進一步研究。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2716
數據集鏈接
http://t.cn/EAH5JxS
@priver 推薦
#Named Entity Recognition
本文是蘇州大學發表于 COLING 2018 的工作,作者嘗試解決了遠程監督存在的兩類問題:1)錯標;2)漏標。對于錯標的情況,作者使用了強化學習的機制實現了一個 instance selector。對于漏標的情況,作者考慮了所有可能的 label 序列,再對他們進行打分,從而給出最有可能的序列結果,而不是武斷地就標記為 O。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2769
源碼鏈接
https://github.com/rainarch/DSNER
@figo 推薦
#Super-Resolution
本文出自小米原班人馬(上一篇是 MoreMNAS:https://www.paperweekly.site/papers/2740),屬于目前很火的 AutoML Neural Architecture Search。
論文基于彈性搜索(宏觀+微觀)在超分辨率問題上取得了令人震驚的結果。在相當的 FLOPS 下生成了多個模型,結果完勝 ECCV 2018 明星模型 CARNM(乘加數參數數量少,PNSR/SSIM 指標高,文中稱 dominate),這應該是截止至 2018 年可比 FLOPS 約束下的 SOTA(涵蓋 ICCV 2017 和 CVPR 2018)。而達到這樣的效果,論文基于一臺 V100 用了不到 3 天時間。
此外,論文還給出了幾個前向模型。要知道上一篇論文中他們初步結果是擊敗 CVPR 2016,才半個月時間就提升這么大,這也進一步驗證了 AutoML NAS 技術的強大和可怕。需要指出的是,該項技術具有一定的普適性,理論上可以應用于任何監督學習,值得關注和學習。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2786
源碼鏈接
https://github.com/falsr/FALSR
@paperweekly 推薦
#Person Re-identification
本文來自中科院自動化所和地平線,論文驗證了部件對齊在跨域重識別中起著重要的作用。通過強化模型的對齊,作者通過提高模型的泛化性能來提升模型直接跨庫測試的性能;另一方面,本文提出的部件對齊模型可以很自然地利用目標域無標簽數據實現領域自適應,使得模型可以適配目標域。
作者在 Market1501、CUHK03、DukeMTMC-reID 和 MSMT17 四個目前最大的行人重識別數據庫上證明了本文方法的有效性,并且取得了 SOTA 結果。同時,出于完整性,論文還通過實驗證明了和現有跨域方法的互補性。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2736
源碼鏈接
https://github.com/huanghoujing/EANet
@paperweekly 推薦
#Object Detection
本文是密歇根大學發表于 ECCV 2018 的工作。當前的目標檢測算法大多基于 Anchor,引入 Anchor 容易導致正負樣本不均衡和引入更多超參數。本文在不采用 Anchor 的前提下取得了不錯效果,是一篇非常有意思的探索工作。
具體來說,論文借鑒了人體關鍵點檢測的思路來做目標檢測,通過檢測目標框的左上角和右下角兩個關鍵點就能得到預測框。其次,整個檢測網絡訓練是從頭開始的,且不基于預訓練的分類模型,這使得用戶能夠自由設計特征提取網絡,不用受預訓練模型的限制。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2771
源碼鏈接
https://github.com/princeton-vl/CornerNet
@WHUSteven 推薦
#3D Reconstruction
本文是普林斯頓、Google 和 MIT 發表于 CVPR 2018 的工作,論文使用無監督訓練的方法基于 3DMM 進行人臉三維重建。作者主要使用了基于編碼器和解碼器模型,創新性地將人臉識別網絡引入訓練的損失函數,使得生成的 3D 人臉能很好地保留了輸入圖片的人臉個體特征。
該模型旨在擬合形狀和紋理,并沒有學習姿態表情和光照。算法的編碼器接受圖像作為輸入,輸出用于 3DMM 模型的參數。解碼器接受參數后合成 3D 人臉。
為了使網絡不僅能保持個體信息,還能生成自然真實的人臉,作者提出了 3 個新的損失函數,即批分布損失(batch distribution loss)、回環損失(loopback loss)和多視角身份損失(multi-view identity loss)。 批分布損失可使每個批的統計量與 3DMM 的統計量一致。回環損失可保證生成的 3D 人臉模型的 2D 成像圖片重新進入編碼器得到的參數和原圖的參數盡量一致。多視角身份損失能使得模型學習到獨立于觀察角度的個體特征。?
實驗結果說明,模型不僅僅可以生成與輸入圖像高度相似的 3D 人臉,而且生成的人臉獨立于輸入的表情和姿態,甚至被遮擋的人臉也可以達到不錯的生成效果。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2747
源碼鏈接
https://github.com/google/tf_mesh_renderer
@whyguu 推薦
#Active Learning
本文提出了兩種訓練數據集抽取子集的方法 Facility-Location & Disparity-Min。通過抽取的子集來初步表示整個樣本集可以加速網絡超參數的優化時間。通過從大量無標簽樣本中抽取數據減少標注成本。此外,文章還提供了一種貪婪搜索算法來減少搜索的時間。做視頻或超大樣本學習的同學可以關注一波,看是否有用。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2742
@zhangjun 推薦
#Bayesian Deep Learning
本文的亮點在于用 Bayes By Backprop 算法對 bayesian CNN 的每個參數分布進行了學習,不同于 Gal 15 年提出的 MC Dropout 的方法,是一種基于貝葉斯后驗推斷的方法。
在此之前,Bayesian MLP 和 RNN 都已有了相應的變分近似求解方法,本文針對 CNN 的卷積層進行了相應的改進,取得了不錯的效果。相比于 Gal 的 MC Dropout 優勢不明顯,而 MC Dropout 的計算效率則快非常多。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2731
源碼鏈接
https://github.com/felix-laumann/Bayesian_CNN
@QAQ 推薦
#Neural Networks
本文是 Uber AI Labs 發表于 ICLR 2019 的工作,論文提出了一種受生物學啟發的訓練網絡自我修改權重的方法,并且提出了一種可靠的可塑性框架,該框架已經在各種監督學習和強化學習任務上提高了性能,可通過梯度下降進行訓練,為大規模自優化神經網絡開辟了新的研究方向。實現了學習如何學習(Learning to learn)的網絡的基礎。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2774
@paperweekly 推薦
#Recommender Systems
本文來自 CMU。針對協同過濾中的冷啟動問題,作者提出了一種基于 DQN 的問卷調查法來學習如何在電影推薦系統中處理用戶冷啟動。DQN 生成問卷問題,由冷啟動用戶來回答。根據用戶對前一個問題的響應,DQN 將動態生成后續問題。一旦問卷調查完成,問答信息將被傳遞到多層感知器中(MLP),并生成一個預測的 user embedding。一旦有了 user embedding 和電影 embedding,系統就可以對電影評級進行建模。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2691
@wwwangzhch 推薦
#Memory Networks
本文是北京大學、IBM 與佐治亞理工發表在 AAAI 2019 上的論文,作者將電子病歷數據(Electronic Health Records, EHR)與藥物相互反應數據(Drug-Drug Interaction, DDI)通過圖卷積網絡轉換成 Memory Bank,并結合病人的歷史病歷記錄生成 Dynamic Memory,動態調整損失函數以使得系統在較高精確度與較低 DDI rate 之間權衡,在 MIMIC-III 數據集上使用雅卡爾相似系數、Average Precision、Average Recall 等多種評價指標均取得了最高的推薦準確率與極低的 DDI rate(僅次于邏輯回歸)。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2651
源碼鏈接
https://github.com/sjy1203/GAMENet
@zkt18?推薦
#Neural Networks
本文是 UIUC、Snap 和字節跳動發表于 ICLR 2019 的工作,論文提出了一個可瘦身的神經網絡,針對不同硬件和運行環境,可以快速提供與之相適應的 CNN 模型來完成任務,支持在移動設備上進行訓練。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2689
源碼鏈接
https://github.com/JiahuiYu/slimmable_networks
@ZSCDumin?推薦
#Group Recommendation
本文是湖南大學和新加坡國立大學發表于 SIGIR 2018 的工作,論文應用神經協同網絡和注意力機制為群組用戶進行 Top-N 商品推薦,主要解決了群組用戶興趣的動態組合、群組與個人用戶的協同商品推薦,以及新用戶的冷啟動問題。
▲?論文模型:點擊查看大圖
論文鏈接
https://www.paperweekly.site/papers/2732
源碼鏈接
https://github.com/LianHaiMiao/Attentive-Group-Recommendation
#推 薦 有 禮#
本期所有入選論文的推薦人
均將獲得PaperWeekly紀念周邊一份
▲?深度學習主題行李牌/卡套 + 防水貼紙
?禮物領取方式?
推薦人請根據論文詳情頁底部留言
添加小助手領取禮物
*每位用戶僅限領取一次
想要贏取以上周邊好禮?
點擊閱讀原文即刻推薦論文吧!
點擊以下標題查看往期推薦:?
??又為寫作思路熬到禿頭?16篇最新論文打包送你
??收下這 16 篇最新論文,周會基本不用愁
??這 16 篇最新論文,幫你輕松積攢知識點
??本周NLP、CV、機器學習論文精選推薦
??本周有哪些值得讀的AI論文?進來給你答案
論文多到讀不完?不如看看我們為你精選的這15篇
#投 稿 通 道#
?讓你的論文被更多人看到?
如何才能讓更多的優質內容以更短路徑到達讀者群體,縮短讀者尋找優質內容的成本呢??答案就是:你不認識的人。
總有一些你不認識的人,知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁,促使不同背景、不同方向的學者和學術靈感相互碰撞,迸發出更多的可能性。?
PaperWeekly 鼓勵高校實驗室或個人,在我們的平臺上分享各類優質內容,可以是最新論文解讀,也可以是學習心得或技術干貨。我們的目的只有一個,讓知識真正流動起來。
??來稿標準:
? 稿件確系個人原創作品,來稿需注明作者個人信息(姓名+學校/工作單位+學歷/職位+研究方向)?
? 如果文章并非首發,請在投稿時提醒并附上所有已發布鏈接?
? PaperWeekly 默認每篇文章都是首發,均會添加“原創”標志
? 投稿郵箱:
? 投稿郵箱:hr@paperweekly.site?
? 所有文章配圖,請單獨在附件中發送?
? 請留下即時聯系方式(微信或手機),以便我們在編輯發布時和作者溝通
?
現在,在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 獲取更多論文推薦
總結
以上是生活随笔為你收集整理的NLP、CV、ML全覆盖,这份私藏论文清单你一定要看看的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Google BERT应用之《红楼梦》对
- 下一篇: AAAI 2019 Oral | 让TA