【论文汇总】2020上半年阿里、腾讯、百度入选AI顶会论文（附地址）
（給機(jī)器學(xué)習(xí)算法與Python學(xué)習(xí)加星標(biāo)，提升AI技能）
本文由數(shù)據(jù)派整理
2020年已過近半，人工智能學(xué)術(shù)界的頂級(jí)會(huì)議也舉行了不少。在今年已經(jīng)舉行的頂會(huì)中，騰訊、百度、阿里等國內(nèi)科技巨頭被收錄論文在數(shù)量和質(zhì)量上均有所突破，涉及機(jī)器學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺等多個(gè)領(lǐng)域。下面，本文整理出這些科技公司在今年頂會(huì)中被錄入的部分已分享的論文以饗讀者，歡迎大家收藏。
?
AAAI 2020
?
騰訊
?
在2020年的AAAI上，騰訊優(yōu)圖實(shí)驗(yàn)室共有10篇論文入選，以下是已分享的部分論文：
?
1、Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect（Oral）
推薦：本文提出了一種新的通用時(shí)間融合框架，在語義和時(shí)間兩個(gè)方面對(duì)幀特征進(jìn)行融合。在語義方面，探索了多階段融合網(wǎng)絡(luò)，在多個(gè)語義層次上融合更豐富的幀特征，有效地減少了傳統(tǒng)單階段融合帶來的信息損失。同時(shí)，針對(duì)時(shí)間軸，對(duì)現(xiàn)有的幀內(nèi)注意方法進(jìn)行了改進(jìn)，增加了一個(gè)新的幀間注意模塊，通過考慮幀間關(guān)系，有效地減少了時(shí)間融合中的信息冗余。
論文地址：https://arxiv.org/abs/1911.12512
?
2、Fast Learning of Temporal Action Proposal via Dense Boundary Generator
推薦：本文提出了提出一種快速的、端到端的稠密邊界動(dòng)作生成器(Dense Boundary Generator，DBG)。該生成器能夠?qū)λ械膭?dòng)作提名（proposal）估計(jì)出稠密的邊界置信度圖。并引入額外的時(shí)序上的動(dòng)作分類損失函數(shù)來監(jiān)督動(dòng)作概率特征(action score feature，asf)，該特征能夠促進(jìn)動(dòng)作完整度回歸(Action-aware Completeness Regression，ACR)。此外，還設(shè)計(jì)一種高效的動(dòng)作提名特征生成層(Proposal Feature Generation Layer，PFG)，該Layer能夠有效捕獲動(dòng)作的全局特征，方便實(shí)施后面的分類和回歸模塊。
論文地址：https://arxiv.org/abs/1911.04127
?
3、TEINet: Towards an Efficient Architecture for Video Recognition
推薦：本文提出了一個(gè)有效的時(shí)間模塊，稱為時(shí)間增強(qiáng)和交互（TEI模塊），它可以插入到現(xiàn)有的2dcnn中（用TEINet表示）。TEI模塊通過分離信道相關(guān)和時(shí)間交互的建模，提出了一種不同的學(xué)習(xí)時(shí)間特征的范式。首先，它包含一個(gè)運(yùn)動(dòng)增強(qiáng)模塊（MEM），該模塊在抑制無關(guān)信息（例如背景）的同時(shí)增強(qiáng)與運(yùn)動(dòng)相關(guān)的特征。然后，介紹了一個(gè)時(shí)態(tài)交互模塊（TIM），它以信道方式補(bǔ)充時(shí)態(tài)上下文信息。該兩階段建模方案不僅能夠靈活有效地捕捉時(shí)間結(jié)構(gòu)，而且能夠有效地進(jìn)行模型推理。
論文地址：https://arxiv.org/abs/1911.09435v1
?
4、Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning
推薦：本文從自監(jiān)督特征學(xué)習(xí)的角度對(duì)圖像審美評(píng)價(jià)問題進(jìn)行了研究。作者設(shè)計(jì)了兩個(gè)新的接口任務(wù)來識(shí)別應(yīng)用于合成實(shí)例的編輯操作的類型和參數(shù)。然后，將我們的前托詞任務(wù)中的特征應(yīng)用于一層線性分類器，以二元審美分類的方式評(píng)估其性能。我們?cè)谌齻€(gè)基準(zhǔn)數(shù)據(jù)集上進(jìn)行了大量的定量實(shí)驗(yàn)，證明我們的方法能夠忠實(shí)地提取美學(xué)感知特征，并優(yōu)于其他的接口方案。此外，我們還獲得了與使用ImageNet 1000萬個(gè)標(biāo)簽的最新監(jiān)督方法相當(dāng)?shù)慕Y(jié)果。
論文地址：https://arxiv.org/abs/1911.11419v1
?
5、Asymmetric Co-Teaching for Unsupervised Cross-Domain Person Re-Identification
推薦：人的再識(shí)別（re-ID）是一項(xiàng)具有挑戰(zhàn)性的工作，因?yàn)樯矸輼颖竞统上駰l件的高度差異。盡管近年來在深層學(xué)習(xí)領(lǐng)域的研究取得了顯著的成果，但很少有研究能夠很好地推廣到不可見的目標(biāo)領(lǐng)域。一種流行的解決方案是通過聚類給未標(biāo)記的目標(biāo)圖像分配偽標(biāo)記，然后再對(duì)模型進(jìn)行再訓(xùn)練。然而，聚類方法往往會(huì)引入噪聲標(biāo)簽，并將低置信度樣本作為離群點(diǎn)丟棄，這可能會(huì)阻礙再訓(xùn)練過程，從而限制泛化能力。在這項(xiàng)研究中，我們認(rèn)為，通過在聚類之后顯式地添加一個(gè)樣本過濾過程，挖掘出的樣本可以更有效地使用。為此，我們?cè)O(shè)計(jì)了一個(gè)非對(duì)稱的協(xié)同教學(xué)框架，該框架通過協(xié)同兩個(gè)模型選擇彼此可能有干凈標(biāo)簽的數(shù)據(jù)來抵抗噪聲標(biāo)簽。同時(shí)，其中一個(gè)模型接收盡可能純凈的樣本，而另一個(gè)模型接收盡可能多樣的樣本。此過程鼓勵(lì)所選訓(xùn)練樣本既干凈又雜，并且這兩個(gè)模型可以迭代地相互促進(jìn)。大量的實(shí)驗(yàn)表明，該框架能夠始終如一地提高大多數(shù)基于聚類的方法的適應(yīng)精度。
地址：https://arxiv.org/abs/1912.01349
?
6、Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification
推薦：近年來有監(jiān)督的行人重識(shí)別（ReID）取得了重大進(jìn)展，但是行人圖像間巨大朝向差異，使得這一問題仍然充滿挑戰(zhàn)。大多數(shù)現(xiàn)有的基于朝向的特征學(xué)習(xí)方法，將來自不同朝向的圖像映射到分離和獨(dú)立的子特征空間當(dāng)中。這種方法只建模了一個(gè)朝向下人體圖像的身份級(jí)別的特征分布，卻忽略了朝向間潛在的關(guān)聯(lián)關(guān)系。為解決這一問題，本文提出了一種新的方法，叫帶角度正則的朝向敏感損失（VA-ReID）。相比每一個(gè)朝向?qū)W習(xí)一個(gè)子空間，該方法能夠?qū)碜圆煌虻奶卣饔成涞酵粋€(gè)超球面上，這樣就能同時(shí)建模身份級(jí)別和朝向級(jí)別的特征分布。在此基礎(chǔ)上，相比傳統(tǒng)分類方法將不同的朝向建模成硬標(biāo)簽，本文提出了朝向敏感的自適應(yīng)標(biāo)簽平滑正則方法（VALSR）。這一方法能夠給予特征表示自適應(yīng)的軟朝向標(biāo)簽，從而解決了部分朝向無法明確標(biāo)注的問題。大量在Market1501和DukeMTMC數(shù)據(jù)集上的實(shí)驗(yàn)證明了本文的方法有效性，其性能顯著超越已有的最好有監(jiān)督ReID方法。
論文地址：https://arxiv.org/abs/1912.01300
?
7、Robust Conditional GAN from Uncertainty-Aware Pairwise Comparisons
推薦：CGAN往往需要大量標(biāo)注。為了解決這個(gè)問題，現(xiàn)有方法大多基于無監(jiān)督聚類，比如先用無監(jiān)督學(xué)習(xí)方法得到偽標(biāo)注，再用偽標(biāo)注當(dāng)作真標(biāo)注訓(xùn)練CGAN。然而，當(dāng)目標(biāo)屬性是連續(xù)值而非離散值時(shí)，或者目標(biāo)屬性不能表征數(shù)據(jù)間的主要差異，那么這種基于無監(jiān)督聚類的方法就難以取得理想效果。本文進(jìn)而考慮用弱監(jiān)督信息去訓(xùn)練CGAN，在文中我們考慮成對(duì)比較這種弱監(jiān)督。成對(duì)比較相較于絕對(duì)標(biāo)注具有以下優(yōu)點(diǎn)：1.更容易標(biāo)注；2.更準(zhǔn)確；3.不易受主觀影響。
論文地址：https://arxiv.org/abs/1911.09298
?
8、An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation
推薦：如今神經(jīng)網(wǎng)絡(luò)借助大量標(biāo)注數(shù)據(jù)已經(jīng)能夠達(dá)到很好的效果，但是往往不能很好的泛化到一個(gè)新的環(huán)境中，而且大量數(shù)據(jù)標(biāo)注是十分昂貴的。因此，無監(jiān)督領(lǐng)域自適應(yīng)就嘗試借助已有的有標(biāo)注數(shù)據(jù)訓(xùn)練出模型，并遷移到無標(biāo)注數(shù)據(jù)上。對(duì)抗對(duì)齊(adversarial alignment)方法被廣泛應(yīng)用在無監(jiān)督領(lǐng)域自適應(yīng)問題上，全局地匹配兩個(gè)領(lǐng)域間特征表達(dá)的邊緣分布。但是，由于語義分割任務(wù)上數(shù)據(jù)的長尾分布(long-tail)嚴(yán)重且缺乏類別上的領(lǐng)域適配監(jiān)督，領(lǐng)域間匹配的過程最終會(huì)被大物體類別（如：公路、建筑）主導(dǎo)，從而導(dǎo)致這種策略容易忽略尾部類別或小物體（如：紅綠燈、自行車）的特征表達(dá)。本文提出了一種生成對(duì)抗擾動(dòng)并防御的框架。首先該框架設(shè)計(jì)了幾個(gè)對(duì)抗目標(biāo)（分類器和鑒別器），并通過對(duì)抗目標(biāo)在兩個(gè)領(lǐng)域的特征空間分別逐點(diǎn)生成對(duì)抗樣本。這些對(duì)抗樣本連接了兩個(gè)領(lǐng)域的特征表達(dá)空間，并蘊(yùn)含網(wǎng)絡(luò)脆弱的信息。然后該框架強(qiáng)制模型防御對(duì)抗樣本，從而得到一個(gè)對(duì)于領(lǐng)域變化和物體尺寸、類別長尾分布都更魯棒的模型。
論文地址：https://arxiv.org/pdf/1912.08954.pdf
?
百度
?
本屆AAAI大會(huì)，百度共有28篇論文被收錄，較去年的15篇入選成績提升近一倍，入選論文涉及機(jī)器學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺等多個(gè)領(lǐng)域，以下是已分享的部分論文：
?
1、Distributed Primal-Dual Optimization for Online Multi-task Learning
推薦：傳統(tǒng)的在線多任務(wù)學(xué)習(xí)算法有兩個(gè)重要的局限性：1.由于向中央機(jī)器傳送高速度的順序數(shù)據(jù)而導(dǎo)致通信量大；2.建立任務(wù)關(guān)聯(lián)性的運(yùn)行時(shí)復(fù)雜度昂貴。為了解決這些問題，在本文中，我們考慮一個(gè)設(shè)置，其中多個(gè)任務(wù)位于不同的地理位置，其中一個(gè)任務(wù)可以與其他任務(wù)同步數(shù)據(jù)，以利用相關(guān)任務(wù)的知識(shí)。具體地說，我們提出了一種自適應(yīng)的原始-對(duì)偶算法，該算法不僅能捕獲對(duì)抗學(xué)習(xí)中的任務(wù)特定噪聲，而且能以運(yùn)行時(shí)效率執(zhí)行無投影更新。此外，由于該模型允許能量不足或帶寬受限的任務(wù)延遲更新，因此非常適合于分散的周期連接任務(wù)。理論結(jié)果證明了我們的分布式算法的收斂性保證，并且有一個(gè)最優(yōu)的遺憾。實(shí)證結(jié)果表明，該模型對(duì)各種真實(shí)數(shù)據(jù)集都是有效的。
論文地址：https://arxiv.org/abs/2004.01305
?
2、Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation
推薦：本文提出了一種新的方法，旨在通過有效地減緩對(duì)抗訓(xùn)練的模式崩潰來提高對(duì)抗文本生成的性能。為此，我們引入了一種協(xié)同訓(xùn)練范式，即語言模型與生成器協(xié)同訓(xùn)練，并利用該語言模型有效地塑造生成器的數(shù)據(jù)分布以防模式崩潰。此外，我們沒有原則性地參與生成器的協(xié)同更新，而是建立了一個(gè)元學(xué)習(xí)機(jī)制，將生成器的協(xié)同更新作為一個(gè)高層次的元任務(wù)，直覺地確保在對(duì)抗性更新之后生成器的參數(shù)能夠抵抗模式崩潰。在實(shí)驗(yàn)中，我們證明我們提出的方法可以有效地減緩對(duì)抗性文本生成器的模式崩潰速度。總的來說，我們提出的方法無論是在生成質(zhì)量還是在驗(yàn)證域的多樣性方面，都能優(yōu)于具有顯著裕度的基線方法。
論文地址：https://arxiv.org/abs/2003.11530v1
?
3、IVFS: Simple and Efficient Feature Selection for High Dimensional Topology Preservation
推薦：特征選擇是處理高維數(shù)據(jù)的重要工具。在無監(jiān)督的情況下，許多流行的算法都是為了保持原始數(shù)據(jù)的結(jié)構(gòu)。本文提出了一種簡單有效的特征選擇算法，從計(jì)算拓?fù)渖舷挛牡某志脠D表示的拓?fù)浔３值慕嵌葋碓鰪?qiáng)樣本的相似度保持。該方法是在一個(gè)統(tǒng)一的特征選擇框架IVFS的基礎(chǔ)上設(shè)計(jì)的，該框架受到隨機(jī)子集方法的啟發(fā)。該算法能夠很好地保持完整數(shù)據(jù)的成對(duì)距離和拓?fù)淠Ｊ健＝Y(jié)果表明，該算法在亞采樣率較低的情況下，能夠提供令人滿意的性能，從而支持了該方法在大規(guī)模數(shù)據(jù)集上的有效實(shí)現(xiàn)。大量實(shí)驗(yàn)驗(yàn)證了所提出的特征選擇方案的有效性。
論文地址：https://arxiv.org/abs/2004.01299
?
4、ERNIE 2.0: A Continual Pre-training Framework for Language Understanding
推薦：近年來，預(yù)訓(xùn)練模型在各種語言理解任務(wù)中取得了最新的成果，這表明大規(guī)模語料庫的預(yù)訓(xùn)練在自然語言處理中可能起著至關(guān)重要的作用。目前的預(yù)訓(xùn)練程序通常集中在幾個(gè)簡單任務(wù)的模式訓(xùn)練上，以掌握單詞或句子的共現(xiàn)。然而，除了共現(xiàn)外，在訓(xùn)練語料庫中還存在其他有價(jià)值的詞匯、句法和語義信息，如命名實(shí)體、語義貼近度和話語關(guān)系。為了從訓(xùn)練語料庫中最大限度地提取詞匯、句法和語義信息，我們提出了一個(gè)名為ERNIE 2.0的連續(xù)預(yù)訓(xùn)練框架，該框架通過不斷的多任務(wù)學(xué)習(xí)，逐步構(gòu)建和學(xué)習(xí)預(yù)訓(xùn)練任務(wù)。實(shí)驗(yàn)結(jié)果表明，ERNIE 2.0在16個(gè)任務(wù)上均優(yōu)于BERT和XLNet，其中包括基于GLUE基準(zhǔn)的英語任務(wù)和幾種常見的漢語任務(wù)。
論文地址：https://arxiv.org/abs/1907.12412?context=cs.CL
?
5、Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding
推薦：近年來，將源語翻譯成目的語的語篇轉(zhuǎn)換（ST）受到了廣泛的關(guān)注。與傳統(tǒng)的流水線系統(tǒng)相比，端到端ST模型具有低延遲、較小模型尺寸和較少錯(cuò)誤傳播的潛在優(yōu)點(diǎn)。然而，眾所周知，如果沒有作為中間產(chǎn)物的轉(zhuǎn)錄，很難實(shí)現(xiàn)這樣一個(gè)模型。現(xiàn)有的研究一般采用多任務(wù)學(xué)習(xí)的方法，結(jié)合自動(dòng)語音識(shí)別（ASR）技術(shù)對(duì)端到端ST進(jìn)行聯(lián)合訓(xùn)練，以提高翻譯質(zhì)量。然而，該方法中不同的任務(wù)不能充分利用彼此的信息，限制了改進(jìn)。另一些工作提出了一個(gè)兩階段模型，其中第二個(gè)模型可以使用第一個(gè)模型的隱藏狀態(tài)，但是它的級(jí)聯(lián)方式極大地影響了訓(xùn)練和推理過程的效率。本文提出了一種新的交互注意機(jī)制，使ASR和ST能夠在單一模型中同步、交互地進(jìn)行。具體來說，轉(zhuǎn)錄和翻譯的生成不僅依賴于它以前的輸出，而且還依賴于在其他任務(wù)中預(yù)測的輸出。在TED語音翻譯語料庫上的實(shí)驗(yàn)表明，該模型在語音翻譯質(zhì)量上優(yōu)于強(qiáng)基線，并取得了較好的語音識(shí)別性能。
論文地址：https://arxiv.org/abs/1912.07240
?
6、Multi-Label Classification with Label Graph Superimposing
推薦：近年來，圖卷積網(wǎng)絡(luò)（GCN）被用來提高多標(biāo)簽識(shí)別的性能。然而，什么是標(biāo)簽相關(guān)建模的最佳方法，以及如何通過標(biāo)簽系統(tǒng)感知來改進(jìn)特征學(xué)習(xí)，目前還不清楚。本文從以下兩個(gè)方面對(duì)傳統(tǒng)的GCN+CNN多標(biāo)簽識(shí)別框架進(jìn)行了改進(jìn)，提出了一種標(biāo)簽圖疊加框架。首先，將統(tǒng)計(jì)共現(xiàn)信息生成的標(biāo)簽圖疊加到由標(biāo)簽的知識(shí)先驗(yàn)構(gòu)成的圖中，建立標(biāo)簽相關(guān)性模型，然后對(duì)最終的重疊圖進(jìn)行多層圖卷積，實(shí)現(xiàn)標(biāo)簽嵌入抽象。其次，我們建議利用整個(gè)標(biāo)簽系統(tǒng)的嵌入來更好地進(jìn)行表示學(xué)習(xí)。在特征學(xué)習(xí)過程中，通過在淺層、中層和深層增加GCN和CNN之間的橫向連接，將標(biāo)簽系統(tǒng)的信息注入主干CNN中，實(shí)現(xiàn)標(biāo)簽感知。在MS-COCO和Charades數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)，
論文地址：
https://arxiv.org/pdf/1911.09243v1.pdf
?
7、Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification
推薦：多標(biāo)簽圖像和視頻分類是計(jì)算機(jī)視覺中的基礎(chǔ)性任務(wù)，也是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。主要的挑戰(zhàn)在于捕獲標(biāo)簽之間的空間或時(shí)間依賴關(guān)系，并發(fā)現(xiàn)每個(gè)類的區(qū)別特征的位置。為了克服這些困難，我們提出了將跨模態(tài)注意與語義圖嵌入相結(jié)合的多標(biāo)簽分類方法。在構(gòu)造標(biāo)簽圖的基礎(chǔ)上，提出了一種基于鄰接關(guān)系的相似度圖嵌入方法來學(xué)習(xí)語義標(biāo)簽嵌入，該方法可以顯式地利用標(biāo)簽關(guān)系。然后在學(xué)習(xí)標(biāo)簽嵌入的指導(dǎo)下生成了新的跨模態(tài)注意圖。在兩個(gè)多標(biāo)簽圖像分類數(shù)據(jù)集（MS-COCO和NUS-WIDE）上的實(shí)驗(yàn)表明，這個(gè)方法優(yōu)于其他現(xiàn)有技術(shù)。此外，在一個(gè)大型多標(biāo)簽視頻分類數(shù)據(jù)集（YouTube-8M片段）上驗(yàn)證了該方法的有效性，評(píng)價(jià)結(jié)果證明了該方法的泛化能力。
論文地址：https://arxiv.org/abs/1912.07872
?
8、Dynamic Instance Normalization for Arbitrary Style Transfer
推薦：在本文中，作者提出了一個(gè)新的廣義規(guī)范化模塊，稱為動(dòng)態(tài)實(shí)例規(guī)范化（DIN），它允許靈活和更有效的任意樣式傳輸。由實(shí)例規(guī)范化和動(dòng)態(tài)卷積組成，DIN將樣式圖像編碼為可學(xué)習(xí)卷積參數(shù)，在此參數(shù)上對(duì)內(nèi)容圖像進(jìn)行樣式化。與使用共享的復(fù)雜編碼器對(duì)內(nèi)容和樣式進(jìn)行編碼的傳統(tǒng)方法不同，所提出的DIN引入了一個(gè)復(fù)雜的樣式編碼器，同時(shí)還提供了一個(gè)緊湊和輕量級(jí)的內(nèi)容編碼器，用于快速推斷。實(shí)驗(yàn)結(jié)果表明，所提出的方法在具有挑戰(zhàn)性的樣式模式上產(chǎn)生了非常不錯(cuò)的結(jié)果。
論文地址：https://arxiv.org/abs/1911.06953
?
9、SetRank: A Setwise Bayesian Approach for Collaborative Ranking from Implicit Feedback
推薦：在線推薦系統(tǒng)的最新發(fā)展集中在用戶點(diǎn)擊和購買等隱性反饋的協(xié)同排名上。與反映分級(jí)用戶偏好的顯式評(píng)分不同，隱式反饋只生成正面和不明顯的標(biāo)簽。雖然在這方面已經(jīng)作出了相當(dāng)大的努力，但眾所周知的成對(duì)和列表方法仍然受到各種挑戰(zhàn)的限制。具體地說，對(duì)于成對(duì)方法，獨(dú)立成對(duì)偏好的假設(shè)在實(shí)踐中并不總是成立的。此外，由于整個(gè)列表排列的先決條件，列表方法不能有效地容納“關(guān)系”。為此，本文提出了一種新的協(xié)同排序方法SetRank，以內(nèi)在地適應(yīng)推薦系統(tǒng)中隱含反饋的特點(diǎn)。具體來說，SetRank的目標(biāo)是最大化新的setwise偏好比較的后驗(yàn)概率，并且可以通過矩陣分解和神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)。
論文地址：https://arxiv.org/pdf/2002.09841
?
10、Semi-Supervised Hierarchical Recurrent Graph Neural Network for City-Wide Parking Availability Prediction
推薦：預(yù)測全市停車可用性的能力對(duì)于停車誘導(dǎo)和信息（PGI）系統(tǒng)的成功開發(fā)至關(guān)重要。事實(shí)上，有效預(yù)測全市停車場的可用性，可以提高停車效率，有助于城市規(guī)劃，最終緩解城市擁堵。然而，預(yù)測城市停車場的可用性是一項(xiàng)非常重要的工作，主要面臨三大挑戰(zhàn)：1.停車場之間的非歐氏空間自相關(guān)；2.停車場內(nèi)部和停車場之間的動(dòng)態(tài)時(shí)間自相關(guān)；3.實(shí)時(shí)傳感器（如攝像機(jī)、超聲波傳感器、GPS）獲取的實(shí)時(shí)停車可用性信息不足。為此，我們提出了半監(jiān)督遞階遞歸圖神經(jīng)網(wǎng)絡(luò)（SHARE）來預(yù)測城市停車場的可用性。
論文地址：https://arxiv.org/abs/1911.10516v1
?
11、Learning Conceptual-Contextual Embeddings for Medical Text
推薦：外部知識(shí)通常對(duì)自然語言理解任務(wù)有用。我們引入了一個(gè)上下文文本表示模型，稱為概念上下文（CC）嵌入，它將結(jié)構(gòu)化知識(shí)整合到文本表示中。與實(shí)體嵌入方法不同，我們的方法將知識(shí)圖編碼為上下文模型。CC嵌入可以像預(yù)先訓(xùn)練的語言模型一樣，輕松地重用于各種任務(wù)。我們的模型通過利用語義泛化有效地對(duì)龐大的UMLS數(shù)據(jù)庫進(jìn)行編碼。對(duì)電子健康記錄（EHRs）和醫(yī)學(xué)文本處理基準(zhǔn)的實(shí)驗(yàn)表明，我們的模型大大提高了有監(jiān)督的醫(yī)學(xué)NLP任務(wù)的性能。
論文地址：https://arxiv.org/abs/1908.06203
?
12、Ultrafast Photorealistic Style Transfer via Neural Architecture Search.
推薦：真實(shí)感風(fēng)格轉(zhuǎn)換的關(guān)鍵挑戰(zhàn)在于，算法應(yīng)該忠實(shí)地將參考照片的風(fēng)格轉(zhuǎn)換為內(nèi)容照片，而生成的圖像應(yīng)該看起來像是由相機(jī)捕獲的圖像。雖然已經(jīng)提出了幾種真實(shí)感風(fēng)格的圖像傳輸算法，但它們需要依賴于后期和/或預(yù)處理才能使生成的圖像看起來真實(shí)。如果我們禁用額外的處理，這些算法將無法在細(xì)節(jié)保存和照片真實(shí)感方面產(chǎn)生合理的照片真實(shí)感樣式化。在這項(xiàng)工作中，我們提出了解決這些問題的有效辦法。我們的方法包括一個(gè)構(gòu)建步驟（C-step）來構(gòu)建真實(shí)感風(fēng)格化網(wǎng)絡(luò)和一個(gè)修剪步驟（P-step）來加速。在C-step中，我們?cè)谧屑?xì)設(shè)計(jì)預(yù)分析的基礎(chǔ)上，提出了一種密集型自動(dòng)編碼器PhotoNet。PhotoNet集成了特征聚合模塊（BFA）和實(shí)例規(guī)范化跳過鏈接（INSL）。為了產(chǎn)生忠實(shí)的樣式化，我們?cè)诮獯a器和INSLs中引入了多個(gè)樣式轉(zhuǎn)換模塊。PhotoNet在效率和有效性方面都明顯優(yōu)于現(xiàn)有算法。在P-step中，我們采用了一種神經(jīng)結(jié)構(gòu)搜索方法來加速光網(wǎng)絡(luò)。提出了一種基于師生學(xué)習(xí)的真實(shí)感風(fēng)格化自動(dòng)網(wǎng)絡(luò)剪枝框架。搜索得到的名為PhotoNAS的網(wǎng)絡(luò)架構(gòu)在保持樣式化效果幾乎不變的情況下，比PhotoNet實(shí)現(xiàn)了顯著的加速。
論文地址：https://arxiv.org/abs/1912.02398
?
13、Symbiotic Attention with Privileged Information for Egocentric Action Recognition
推薦：以自我為中心的視頻識(shí)別是進(jìn)行多種交互推理的自然實(shí)驗(yàn)平臺(tái)。由于以自我為中心的視頻數(shù)據(jù)集中有大量的動(dòng)作詞匯，最近的研究通常采用兩個(gè)分支結(jié)構(gòu)進(jìn)行動(dòng)作識(shí)別，即一個(gè)分支用于動(dòng)詞分類，另一個(gè)分支用于名詞分類。然而，動(dòng)詞與名詞分支之間的關(guān)聯(lián)性研究卻大多被忽視。此外，由于缺乏位置感知注意機(jī)制，這兩個(gè)分支未能挖掘出局部特征。在本文中，我們提出了一個(gè)利用特權(quán)信息（SAP）進(jìn)行自我中心視頻識(shí)別的共生注意框架。更精細(xì)的位置感知目標(biāo)檢測特性有助于理解參與者與目標(biāo)的交互。我們?cè)趧?dòng)作識(shí)別中引入這些特征，并將它們視為特權(quán)信息。我們的框架允許動(dòng)詞分支、名詞分支和特權(quán)信息之間的相互通信。這種通信過程不僅將局部細(xì)節(jié)注入到全局特征中，而且利用了對(duì)正在進(jìn)行的動(dòng)作的時(shí)空位置的隱含指導(dǎo)。我們引入新的共生注意（SA）來實(shí)現(xiàn)有效的交流。
論文地址：https://arxiv.org/pdf/2002.03137.pdf
?
14、GBCNs: Genetic Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs
推薦：二值卷積神經(jīng)網(wǎng)絡(luò)（BCNNs）被廣泛應(yīng)用于移動(dòng)和人工智能芯片應(yīng)用中，以提高深卷積神經(jīng)網(wǎng)絡(luò)（DCNNs）的存儲(chǔ)和計(jì)算效率。然而，目前的BCNNs還不能完全探索其相應(yīng)的全精度模型，導(dǎo)致它們之間的性能差距很大。本文提出了一種改進(jìn)的二值卷積網(wǎng)絡(luò)（RBCNs），將全精度核函數(shù)和特征映射相結(jié)合，在統(tǒng)一的框架下對(duì)二值化過程進(jìn)行改進(jìn)，以達(dá)到優(yōu)化BCNNs的目的。特別地，我們使用GAN在其相應(yīng)的全精度模型的指導(dǎo)下對(duì)1位二進(jìn)制網(wǎng)絡(luò)進(jìn)行訓(xùn)練，顯著提高了BCNNs的性能。校正后的卷積層具有通用性和靈活性，可以很容易地并入現(xiàn)有的dcnn，如WideResNets和ResNets。大量實(shí)驗(yàn)表明，與最新的BCNNs相比，所提出的RBCNs具有更好的性能。特別地，我們的方法對(duì)目標(biāo)跟蹤任務(wù)具有很強(qiáng)的泛化能力。
論文地址：https://arxiv.org/abs/1908.07748
?
15、AutoRemover: Automatic Object Removal for Autonomous Driving Videos
推薦：基于自動(dòng)駕駛中對(duì)真實(shí)感仿真的需要，本文提出了一種視頻修復(fù)算法emph{AutoRemover}，該算法專為生成無運(yùn)動(dòng)物體的街景視頻而設(shè)計(jì)。在我們的設(shè)置中，我們有兩個(gè)挑戰(zhàn)：第一個(gè)是陰影，陰影通常沒有標(biāo)記，但與移動(dòng)對(duì)象緊密耦合。第二個(gè)是視頻中巨大的自我運(yùn)動(dòng)。為了處理陰影，我們建立了一個(gè)自動(dòng)驅(qū)動(dòng)陰影數(shù)據(jù)集，并設(shè)計(jì)了一個(gè)深度神經(jīng)網(wǎng)絡(luò)來自動(dòng)檢測陰影。為了處理大的自我運(yùn)動(dòng)，我們利用多源數(shù)據(jù)，特別是三維數(shù)據(jù)，進(jìn)行自主駕駛。更具體地說，幀之間的幾何關(guān)系被合并到修補(bǔ)深度神經(jīng)網(wǎng)絡(luò)中，以產(chǎn)生高質(zhì)量的結(jié)構(gòu)一致的視頻輸出。實(shí)驗(yàn)表明，該方法優(yōu)于其他最新的目標(biāo)去除算法，使RMSE降低了19%以上。
論文地址：https://arxiv.org/abs/1911.12588
?
16、CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion
推薦：深度完成是指給定相應(yīng)的彩色圖像，將稀疏的深度圖轉(zhuǎn)換為稠密的深度圖。卷積空間傳播網(wǎng)絡(luò)（CSPN）是目前最先進(jìn)的深度完成方法之一，它可以恢復(fù)場景的結(jié)構(gòu)細(xì)節(jié)。本文提出了CSPN++，通過學(xué)習(xí)自適應(yīng)卷積核大小和傳播迭代次數(shù)，進(jìn)一步提高了CSPN++的有效性和效率，從而可以根據(jù)請(qǐng)求動(dòng)態(tài)分配每個(gè)像素所需的上下文和計(jì)算資源。
論文地址：https://arxiv.org/abs/1911.05377
?
17、ZoomNet：Part-Aware Adaptive Zooming Neural Network for 3D Object Detection
推薦：3D目標(biāo)檢測是自動(dòng)駕駛和機(jī)器人技術(shù)中的一項(xiàng)重要任務(wù)。雖然已經(jīng)取得了很大的進(jìn)展，但在估計(jì)遠(yuǎn)距離和遮擋物體的三維姿態(tài)方面仍然存在挑戰(zhàn)。本文提出了一種新的基于立體圖像的三維檢測框架ZoomNet。ZoomNet的流水線是從一個(gè)普通的二維目標(biāo)檢測模型開始的，該模型用于獲取左右邊界框?qū)Α榱诉M(jìn)一步利用RGB圖像中豐富的紋理線索進(jìn)行更精確的視差估計(jì)，我們引入了一個(gè)概念上的直接模塊——自適應(yīng)縮放，它同時(shí)將2D實(shí)例邊界框調(diào)整為統(tǒng)一的分辨率，并相應(yīng)地調(diào)整相機(jī)的內(nèi)部參數(shù)。通過這種方法，我們可以從調(diào)整大小的方塊圖像中估計(jì)更高質(zhì)量的視差圖，然后為附近和遠(yuǎn)處的物體構(gòu)建密集的點(diǎn)云。此外，我們引入學(xué)習(xí)零件位置作為互補(bǔ)特征，以提高抗遮擋能力，并提出三維擬合分?jǐn)?shù)，以更好地估計(jì)三維檢測質(zhì)量。
論文地址：https://arxiv.org/abs/2003.00529
?
ICLR 2020
?
ICLR 2020 上出現(xiàn)了多達(dá) 34 篇滿分論文（8 分），以下是來自華為、字節(jié)跳動(dòng)、騰訊等企業(yè)的滿分論文。
?
華為
Causal Discovery With Reinforcement Learning
推薦：在此論文中，華為諾亞方舟實(shí)驗(yàn)室因果研究團(tuán)隊(duì)將強(qiáng)化學(xué)習(xí)應(yīng)用到打分法的因果發(fā)現(xiàn)算法中，通過基于自注意力機(jī)制的 encoder-decoder 神經(jīng)網(wǎng)絡(luò)模型探索數(shù)據(jù)之間的關(guān)系，結(jié)合因果結(jié)構(gòu)的條件，并使用策略梯度的強(qiáng)化學(xué)習(xí)算法對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練，最終得到因果圖結(jié)構(gòu)。在學(xué)術(shù)界常用的一些數(shù)據(jù)模型中，該方法在中等規(guī)模的圖上的表現(xiàn)優(yōu)于其他方法，包括傳統(tǒng)的因果發(fā)現(xiàn)算法和近期的基于梯度的算法。同時(shí)該方法非常靈活，可以和任意的打分函數(shù)結(jié)合使用。
論文地址：https://arxiv.org/pdf/1906.04477.pdf
?
字節(jié)跳動(dòng)
1、Mirror-Generative Neural Machine Translation
推薦：本文研究者提出了一個(gè)鏡像生成式的機(jī)器翻譯模型（MGNMT），可以更好地利用非平行語料提高NMT的效果。MG-NMT使用生成式的方法，同時(shí)優(yōu)化兩個(gè)方向的翻譯器和語言模型，從而能從兩個(gè)角度得到提升。實(shí)驗(yàn)表明了這種方法的有效性。
論文地址：https://openreview.net/pdf?id=HkxQRTNYPH
?
2、Sparse Coding with Gated Learned ISTA
推薦：本文研究了求解稀疏編碼問題的迭代收縮閾值學(xué)習(xí)算法。在前人工作的假設(shè)下，作者首先發(fā)現(xiàn)其估計(jì)中的碼成分可能低于預(yù)期，即需要增益，為了解決這個(gè)問題，一個(gè)適合于對(duì)該機(jī)制進(jìn)行理論分析的門機(jī)制，因此其有效性可以形式化地保證。在除了增益門，我們進(jìn)一步引入超調(diào)門來補(bǔ)償LISTA。廣泛實(shí)證結(jié)果證實(shí)了我們的理論發(fā)現(xiàn)，并驗(yàn)證了我們方法的有效性。
論文地址：https://openreview.net/forum?id=BygPO2VKPH
?
騰訊
Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search
推薦：蒙特卡羅樹搜索（MCTS）算法在許多具有挑戰(zhàn)性的基準(zhǔn)上取得了巨大的成功。然而，它們通常需要大量的發(fā)布，這使得它們的應(yīng)用程序成本高昂。此外，由于MCT固有的順序性，并行化MCT也極具挑戰(zhàn)性：每次推出都嚴(yán)重依賴于從以前的模擬中估計(jì)的統(tǒng)計(jì)數(shù)據(jù)（例如，節(jié)點(diǎn)訪問計(jì)數(shù)），以實(shí)現(xiàn)有效的勘探開發(fā)權(quán)衡。盡管有這些困難，我們還是開發(fā)了一個(gè)算法WU-UCT來有效地并行化MCTS，該算法實(shí)現(xiàn)了線性加速，并且隨著工人數(shù)量的增加，性能損失有限。WU-UCT的關(guān)鍵思想是我們引入一組統(tǒng)計(jì)信息來跟蹤正在進(jìn)行但不完整的模擬查詢（稱為未觀測樣本）的數(shù)量。這些統(tǒng)計(jì)數(shù)據(jù)用于在選擇步驟中原則性地修改UCT樹策略，以便在并行化最耗時(shí)的擴(kuò)展和模擬步驟時(shí)保持有效的勘探開發(fā)權(quán)衡。在專有基準(zhǔn)和Atari游戲基準(zhǔn)上的實(shí)驗(yàn)表明，與現(xiàn)有技術(shù)相比，WU-UCT具有線性加速和優(yōu)越的性能。
論文地址：https://arxiv.org/abs/1810.11755?context=stat.ML
?
ACL 2020
?
騰訊
?
在ACL 2020的論文收錄名單中，騰訊共有30篇論文入選，入選論文數(shù)刷新國內(nèi)企業(yè)記錄，領(lǐng)跑國內(nèi)業(yè)界AI研究第一梯隊(duì)，研究方向涵蓋對(duì)話及文本生成、機(jī)器翻譯及對(duì)話、多模信息抽取多個(gè)自然語言處理的重點(diǎn)領(lǐng)域。
?
1、Generate, Delete and Rewrite: A Three-Stage Framework for Improving Persona Consistency of Dialogue Generation
推薦：在對(duì)話過程中保持一致的角色屬性信息對(duì)人類來說是很容易的，但對(duì)機(jī)器來說，這仍然是一項(xiàng)有待探索的任務(wù)。近幾年，基于角色屬性的對(duì)話生成任務(wù)被提出來，旨在通過在對(duì)話生成模型中加入顯式的角色文本來解決屬性一致性問題。雖然現(xiàn)有的基于角色的對(duì)話生成模型在生成類似人類的回復(fù)上取得了成功，但是它們的單階段解碼框架很難避免生成不一致的角色詞。在這項(xiàng)工作中，作者提出了一個(gè)三階段的對(duì)話生成框架。該框架使用生成-刪除-重寫機(jī)制從生成的原型回復(fù)中刪除不一致的詞語，然后進(jìn)一步將其改寫為屬性信息一致的回復(fù)。通過人工評(píng)價(jià)和自動(dòng)指標(biāo)進(jìn)行了評(píng)估。在PersonaChat數(shù)據(jù)集上的實(shí)驗(yàn)表明，這個(gè)方法獲得了非常好的性能。
論文地址：暫無
?
2、How Does Selective Mechanism Improve Self-Attention Networks?
推薦：近年來，在自注意力網(wǎng)絡(luò)引入選擇機(jī)制使得模型關(guān)注其中重要的輸入元素已經(jīng)取得很好的效果。但是，對(duì)于選擇機(jī)制取得這樣結(jié)果的原因尚不清楚。本文提出一個(gè)通用的基于選擇機(jī)制的自注意力網(wǎng)絡(luò)。傳統(tǒng)的自注意力網(wǎng)絡(luò)在順序編碼以及結(jié)構(gòu)信息建模能力存在一些不足，而本文針對(duì)其提出相應(yīng)的假設(shè)，并在實(shí)驗(yàn)中驗(yàn)證假設(shè)的正確性。實(shí)驗(yàn)分析發(fā)現(xiàn)，將選擇機(jī)制引入自注意力網(wǎng)絡(luò)的好處在于：1.其更多關(guān)注周圍詞的信息，從而對(duì)周圍詞序的變化比較敏感，使得其更好對(duì)順序進(jìn)行編碼；2.其對(duì)于樹結(jié)構(gòu)重要成分關(guān)注度更高，從而其擁有更強(qiáng)的捕捉結(jié)構(gòu)信息的能力。
論文地址：暫無
?
阿里巴巴
?
阿里巴巴有22篇論文入選ACL 2020，內(nèi)容覆蓋跨領(lǐng)域分詞、細(xì)顆粒度情感分析、多領(lǐng)域?qū)υ捪到y(tǒng)、文本生成、知識(shí)蒸餾等諸多NLP領(lǐng)域的熱點(diǎn)和前沿研究方向。
?
1、Structure-LevelKnowledge Distillation For Multilingual SequenceLabeling
推薦：多語種序列標(biāo)記是一項(xiàng)使用單一的多語種統(tǒng)一模型預(yù)測標(biāo)簽序列的任務(wù)。與依賴于多個(gè)單語模型相比，使用多語言模型具有模型規(guī)模小、在線服務(wù)容易和對(duì)低資源語言通用的優(yōu)點(diǎn)。然而，由于模型容量的限制，目前的多語種模型仍然遠(yuǎn)遠(yuǎn)低于單獨(dú)的單語模型。本文提出將多個(gè)單語模型（教師）的結(jié)構(gòu)知識(shí)提取到統(tǒng)一的多語言模型（學(xué)生）中，以縮小單語模型與統(tǒng)一的多語言模型之間的差距。我們提出了兩種基于結(jié)構(gòu)層次信息的知識(shí)發(fā)現(xiàn)方法：1.近似地最小化學(xué)生和教師的結(jié)構(gòu)層次概率分布之間的距離；2.將結(jié)構(gòu)層次知識(shí)聚合為局部分布，并最小化兩個(gè)局部概率分布之間的距離。我們對(duì)4個(gè)多語種任務(wù)和25個(gè)數(shù)據(jù)集的實(shí)驗(yàn)表明，我們的方法優(yōu)于幾種強(qiáng)基線，并且比基線模型和教師模型具有更強(qiáng)的零炮概化能力。
論文地址：https://arxiv.org/abs/2004.03846
?
2、Slot-consistent NLG for Task-oriented Dialogue System with Iterative Recti?cation Network
推薦：基于神經(jīng)網(wǎng)絡(luò)的方法在 NLG 任務(wù)上已經(jīng)取得了不錯(cuò)的效果。然而，數(shù)據(jù)驅(qū)動(dòng)類型的模型無法保證魯棒性，例如忽略了一個(gè)輸入槽位或生成了多余的槽位。前人的工作將這個(gè)問題稱為幻視現(xiàn)象。在這個(gè)工作中，我們研究如何通過保證槽位一致性提高 NLG 模型的可靠性。所謂槽位一致性是指模型生成的模板應(yīng)該和輸入表示語義一致，即具有相同的槽位集合。針對(duì)這個(gè)問題，我們提出迭代改寫器，它能保證 NLG 模型生成正確而且流利的句子。它包含兩個(gè)模塊：1.基于檢索的自舉抽樣，用于抽樣偽錯(cuò)數(shù)據(jù)；2.策略梯度學(xué)習(xí)，用于融入離散獎(jiǎng)勵(lì)，例如不一致懲罰度。我們?cè)?4 個(gè)數(shù)據(jù)集上驗(yàn)證了模型的有效性，結(jié)果顯示我們大大降低了所有基線模型的槽位錯(cuò)誤率 (ERR) 并達(dá)到了目前最好的效果，并且BLEU 的提升和人工校驗(yàn)的結(jié)果也顯示了我們模型提高了生成句子的順暢度。
論文地址：暫無
?
百度
?
本屆ACL大會(huì)中，百度被收錄的11篇論文，覆蓋了對(duì)話與交互系統(tǒng)、情感分析/預(yù)訓(xùn)練表示學(xué)習(xí)、NLP 文本生成與摘要、機(jī)器翻譯/同聲翻譯、知識(shí)推理、AI輔助臨床診斷等諸多自然語言處理界的前沿研究方向。
?
1、Conversational Graph Grounded Policy Learning for Open-Domain Conversation Generation
推薦：我們提出用圖的形式捕捉對(duì)話轉(zhuǎn)移規(guī)律作為先驗(yàn)信息，用于輔助開放域多輪對(duì)話策略學(xué)習(xí)。基于圖，我們?cè)O(shè)計(jì)策略學(xué)習(xí)模型指導(dǎo)更加連貫和可控的多輪對(duì)話生成。首先，我們從對(duì)話語料庫中構(gòu)造一個(gè)對(duì)話圖（CG），其中頂點(diǎn)表示“what to say”和“how to say”，邊表示對(duì)話當(dāng)前句與其回復(fù)句之間的自然轉(zhuǎn)換。然后，我們提出了一個(gè)基于CG的策略學(xué)習(xí)框架，該框架通過圖形遍歷進(jìn)行對(duì)話流規(guī)劃，學(xué)習(xí)在每輪對(duì)話時(shí)從CG中識(shí)別出哪個(gè)頂點(diǎn)和如何從該頂點(diǎn)來指導(dǎo)回復(fù)生成。我們可以有效地利用CG來促進(jìn)對(duì)話策略學(xué)習(xí)，具體而言：1.可以基于它設(shè)計(jì)更有效的長期獎(jiǎng)勵(lì)；2.它提供高質(zhì)量的候選操作；3.它讓我們對(duì)策略有更多的控制。我們?cè)趦蓚€(gè)基準(zhǔn)語料庫上進(jìn)行了實(shí)驗(yàn)，結(jié)果證明了本文所提框架的有效性。
論文地址：暫無
?
2、PLATO: Pre-trained Dialogue Generation Model with Discrete Latent Variable
推薦：研發(fā)開放領(lǐng)域（Open-Domain）的對(duì)話機(jī)器人，使得它能用自然語言與人自由地交流，一直是自然語言處理領(lǐng)域的終極目標(biāo)之一。對(duì)話系統(tǒng)的挑戰(zhàn)非常多，其中有兩點(diǎn)非常重要，一是大規(guī)模開放域多輪對(duì)話數(shù)據(jù)匱乏；二是對(duì)話中涉及常識(shí)、領(lǐng)域知識(shí)和上下文，一個(gè)對(duì)話的上文（Context），往往可以對(duì)應(yīng)多個(gè)不同回復(fù)（Response）的方向。PLATO首次提出將離散的隱變量結(jié)合Transformer結(jié)構(gòu)，應(yīng)用到通用對(duì)話領(lǐng)域。通過引入離散隱變量，可以對(duì)上文與回復(fù)之間的“一對(duì)多”關(guān)系進(jìn)行有效建模。同時(shí)，通過利用大規(guī)模的與人人對(duì)話類似的語料，包括Reddit和Twitter，進(jìn)行了生成模型的預(yù)訓(xùn)練，后續(xù)在有限的人人對(duì)話語料上進(jìn)行微調(diào)，即可以取得高質(zhì)量的生成效果。PLATO可以靈活支持多種對(duì)話，包括閑聊、知識(shí)聊天、對(duì)話問答等等。而文章最終公布的在三個(gè)公開對(duì)話數(shù)據(jù)集上的評(píng)測，PLATO都取得了新的最優(yōu)效果。
論文地址：暫無
?
3、Towards Conversational Recommendation over Multi-Type Dialogs
推薦：真實(shí)人機(jī)對(duì)話，涉及多類型對(duì)話(閑聊、任務(wù)型對(duì)話、問答等)，如何自然的融合多類型對(duì)話是一個(gè)重要的挑戰(zhàn)。為應(yīng)對(duì)這個(gè)挑戰(zhàn)，作者提出一個(gè)新的任務(wù)——多類型對(duì)話中的對(duì)話式推薦，期望Bot能夠主動(dòng)且自然地將對(duì)話從非推薦對(duì)話(比如『問答』)引導(dǎo)到推薦對(duì)話，然后基于收集到的用戶興趣及用戶實(shí)時(shí)反饋通過多次交互完成最終的推薦目標(biāo)。為便于研究這個(gè)任務(wù)，我們標(biāo)注了一個(gè)包含多種對(duì)話類型、多領(lǐng)域和豐富對(duì)話邏輯(考慮用戶實(shí)時(shí)反饋)的人－人對(duì)話式推薦數(shù)據(jù)集DuRec(1萬個(gè)對(duì)話和16.4萬個(gè)utterance)。針對(duì)每個(gè)配對(duì)：推薦尋求者(user)和推薦者(bot)，存在多個(gè)序列對(duì)話，在每個(gè)對(duì)話中，推薦者使用豐富的交互行為主動(dòng)引導(dǎo)一個(gè)多類型對(duì)話不斷接近推薦目標(biāo)。這個(gè)數(shù)據(jù)集允許我們系統(tǒng)地考察整個(gè)問題的不同部分，例如，如何自然地引導(dǎo)對(duì)話，如何與用戶交互以便于推薦。最后，我們使用一個(gè)具有多對(duì)話目標(biāo)驅(qū)動(dòng)策略機(jī)制的對(duì)話生成框架在DuRec上建立基線結(jié)果，表明了該數(shù)據(jù)集的可用性，并為將來的研究設(shè)定了基線。
論文地址：暫無
?
4、SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis
推薦：作者提出了一種情感知識(shí)增強(qiáng)的語言模型預(yù)訓(xùn)練方法，在通用預(yù)訓(xùn)練的基礎(chǔ)上，設(shè)計(jì)了面向情感知識(shí)建模的Masking策略和情感多目標(biāo)學(xué)習(xí)算法，融合了情感詞、極性、主體評(píng)論關(guān)系等多層情感知識(shí)，首次實(shí)現(xiàn)了情感任務(wù)統(tǒng)一的文本預(yù)訓(xùn)練表示學(xué)習(xí)。該算法在情感分類、觀點(diǎn)抽取等情感分析任務(wù)中相對(duì)主流預(yù)訓(xùn)練模型RoBERTa有顯著的提升，同時(shí)刷新了多個(gè)情感分析標(biāo)準(zhǔn)測試集的世界最好水平。
論文地址：暫無
?
5、Cross-Lingual Unsupervised Sentiment Classification with Multi-View Transfer Learning
推薦：本文針對(duì)無標(biāo)簽資源的目標(biāo)語言，提出了一種無監(jiān)督的跨語言情感分析模型。
論文地址：暫無
?
6、Leveraging Graph to Improve Abstractive Multi-Document Summarization
推薦：本論文提出基于圖表示的多文檔生成式摘要方法GraphSum，在神經(jīng)網(wǎng)絡(luò)模型中融合多文檔語義關(guān)系圖例如語義相似圖、篇章結(jié)構(gòu)圖等，建模多篇章輸入及摘要內(nèi)容組織過程，從而顯著提升多文檔摘要效果。GraphSum 基于端到端編解碼框架，其中圖編碼器利用語義關(guān)系圖對(duì)文檔集進(jìn)行編碼表示，圖解碼器進(jìn)一步利用圖結(jié)構(gòu)組織摘要內(nèi)容并解碼生成連貫的摘要文本。GraphSum 還可以非常容易地與各種通用預(yù)訓(xùn)練模型相結(jié)合，從而進(jìn)一步提升摘要效果。在大規(guī)模多文檔摘要數(shù)據(jù)集WikiSum 和MultiNews 上的實(shí)驗(yàn)表明，GraphSum 模型相對(duì)于已有的生成式摘要方法具有較大的優(yōu)越性，在自動(dòng)評(píng)價(jià)和人工評(píng)價(jià)兩種方式下的結(jié)果均有顯著提升。
論文地址：暫無
?
7、Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer
推薦：無監(jiān)督風(fēng)格轉(zhuǎn)換是指在無平行語料的情況下，把輸入的句子改成目標(biāo)風(fēng)格，同時(shí)盡可能保持其原義。本文提出了一種全新的序列到序列的生成模型，可以動(dòng)態(tài)地根據(jù)生成詞的風(fēng)格相關(guān)性進(jìn)行風(fēng)格轉(zhuǎn)換。本文有兩個(gè)主要的創(chuàng)新點(diǎn)，一是用層級(jí)相關(guān)性傳播算法計(jì)算風(fēng)格分類器中每個(gè)輸入詞的風(fēng)格相關(guān)性信息，并以此作為指導(dǎo)信號(hào)來訓(xùn)練生成器，讓生成器在生成的同時(shí)可以預(yù)測下一個(gè)詞的風(fēng)格相關(guān)性。二是設(shè)計(jì)了以詞級(jí)別風(fēng)格相關(guān)性和語義信息作為輸入的風(fēng)格轉(zhuǎn)換解碼器，并通過多個(gè)損失項(xiàng)進(jìn)行finetune訓(xùn)練，從而實(shí)現(xiàn)風(fēng)格轉(zhuǎn)換的功能。實(shí)驗(yàn)表明，本文提出的方法在情感風(fēng)格轉(zhuǎn)換和口語化風(fēng)格轉(zhuǎn)換的任務(wù)上都達(dá)到了領(lǐng)先效果。
論文地址：暫無
?
8、Opportunistic Decoding with Timely Correction for Simultaneous Translation
推薦：在本論文中，百度首次提出了一種具有及時(shí)糾錯(cuò)能力的解碼技術(shù)，它總是在每一步產(chǎn)生一定數(shù)量的額外單詞，以保持觀眾對(duì)最新信息的跟蹤，同時(shí)，它也在觀察更多的上下文時(shí)，對(duì)前一個(gè)過度生成的單詞提供及時(shí)的糾錯(cuò)，以確保高翻譯質(zhì)量。本文還首次提出了對(duì)這種糾錯(cuò)場景下的延遲指標(biāo)。實(shí)驗(yàn)表明，我們的技術(shù)提高了延遲和質(zhì)量：延遲減少了2.4，BLEU增加了3.1，中英翻譯和中英翻譯的修改率低于8%。本系統(tǒng)可用于任何語音到文本的同傳系統(tǒng)中。
論文地址：暫無
?
9、Simultaneous Translation Policies: from Fixed to Adaptive
推薦：本文提出一種簡單的啟發(fā)式算法，根據(jù)翻譯模型輸出的概率分布，可以將幾種精簡的固定“讀寫”策略組合成一種靈活的策略。本文進(jìn)一步將該算法與集成方法相結(jié)合，既提高了翻譯質(zhì)量，又降低了翻譯過程的時(shí)延。這種簡單的算法不需要訓(xùn)練策略模型，使得其更易于在產(chǎn)品中使用。
論文地址：暫無
?
10、Learning Interpretable Relationships between Entities, Relations and Concepts via Bayesian Structure Learning on Open Domain Facts
推薦：本文通過貝葉斯結(jié)構(gòu)學(xué)習(xí)建立了開放領(lǐng)域的關(guān)系與概念(Concept)之間的關(guān)聯(lián)，使得實(shí)體為何屬于某個(gè)概念的原因得到了很好的解釋。
論文地址：暫無
?
11、Towards Interpretable Clinical Diagnosis with Bayesian Network Ensembles Stacked on Entity-Aware CNNs
推薦：本研究提出一種新的診斷算法框架，該框架針對(duì)EMR具有無結(jié)構(gòu)化文本和結(jié)構(gòu)化信息并存的特點(diǎn)，結(jié)合醫(yī)療NLU，以深度學(xué)習(xí)模型實(shí)現(xiàn)EMR的向量化表示、診斷預(yù)分類和概率計(jì)算。結(jié)合醫(yī)療知識(shí)圖譜增強(qiáng)的多種貝葉斯網(wǎng)絡(luò)的組合模型，實(shí)現(xiàn)具有可解釋性的診斷推理。該框架能同時(shí)兼顧高診斷準(zhǔn)確率和強(qiáng)可解釋性的特點(diǎn)，并可應(yīng)用于面向基層醫(yī)師的輔助臨床診斷產(chǎn)品中。
論文地址：暫無
?
IJCAI 2020
?
騰訊
Deep Feedback Network for Recommendation
推薦：在本文中，作者初步研究了推薦系統(tǒng)中的多種顯式/隱式和正/負(fù)反饋之間的協(xié)同合作機(jī)制。DFN模型能夠基于多種反饋信息即時(shí)學(xué)習(xí)到用戶的無偏的正負(fù)向興趣，在點(diǎn)擊預(yù)估和不感興趣預(yù)估等多個(gè)任務(wù)上均有提升效果。直觀而有效的模型也使得DFN能成功在工業(yè)級(jí)推薦系統(tǒng)中得到部署和驗(yàn)證。
論文地址：暫無
推薦閱讀 ImageNet一作、李飛飛高徒鄧嘉獲最佳論文獎(jiǎng)，ECCV 2020獎(jiǎng)項(xiàng)全公布霸氣！開源項(xiàng)目名字就叫BAT，具有語法高亮的Cat類命令火爆全球的GPT-3，到底憑什么砸大家飯碗？PyTorch實(shí)現(xiàn)，GitHub 4000星：這是微軟開源的計(jì)算機(jī)視覺庫走心！15年程序員老兵的40條編程技巧，先收藏了！總結(jié)
以上是生活随笔為你收集整理的【论文汇总】2020上半年阿里、腾讯、百度入选AI顶会论文（附地址）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： mysql密码参数_MySQL 密码参数
- 下一篇： 2021 新标准大学英语综合教程3 第二