一. 引言

內(nèi)容化已經(jīng)成為淘寶近幾年發(fā)展的重點(diǎn)，我們可以在手機(jī)淘寶APP（以下簡(jiǎn)稱手淘）上看到很多不同的內(nèi)容形式和內(nèi)容型導(dǎo)購(gòu)產(chǎn)品，例如，“有好貨”中的以單個(gè)商品為主體的富文本內(nèi)容，“必買清單”中的清單，即圍繞一個(gè)主題來(lái)組織文本和商品的長(zhǎng)圖文型內(nèi)容，等等。不同于商品的形式，內(nèi)容可以從不同的維度組織商品，從更豐富的角度去描述商品、定義商品，豐富了手淘的產(chǎn)品形式，提供給了用戶更多有價(jià)值的購(gòu)物信息。

隨著手淘內(nèi)容化戰(zhàn)略的持續(xù)推進(jìn)，我們也在內(nèi)容自動(dòng)化生成上持續(xù)探索，并構(gòu)建了“智能寫手”這個(gè)產(chǎn)品，旨在利用淘寶的海量數(shù)據(jù)，結(jié)合人工經(jīng)驗(yàn)和知識(shí)輸入，逐步實(shí)現(xiàn)內(nèi)容的自動(dòng)化、規(guī)模化生產(chǎn)，和人工編寫的更高質(zhì)量的內(nèi)容一起，帶給用戶更豐富、更有價(jià)值的信息。經(jīng)過(guò)一段時(shí)間的沉淀，目前智能寫手在短文案生成、標(biāo)題生成、商品推薦理由生成、圖文型內(nèi)容（清單）生成上都取得了一定的進(jìn)展，期間針對(duì)若干文本生成的問(wèn)題也進(jìn)行了不同程度的優(yōu)化。

在剛過(guò)去的2017年雙十一中，智能寫手主要做了兩件事情，一是支持了大規(guī)模實(shí)時(shí)個(gè)性化生成雙十一會(huì)場(chǎng)入口的短文案（下面稱作“智能利益點(diǎn)”項(xiàng)目），保守估計(jì)生成了上億的文案，提升了引導(dǎo)效率；二是進(jìn)行了圖文型清單的生產(chǎn)和投放試水，收集到了用戶的直接數(shù)據(jù)反饋，驗(yàn)證了方案的有效性。

1.1 智能利益點(diǎn)

在每年的雙11大促中，手淘首頁(yè)、主會(huì)場(chǎng)等大促活動(dòng)的主要流量通道上都會(huì)有很多的會(huì)場(chǎng)入口（參見圖1-圖4），會(huì)場(chǎng)入口一般由三部分構(gòu)成，分別是會(huì)場(chǎng)名稱、利益點(diǎn)文案和商品圖片素材。其中，利益點(diǎn)往往表達(dá)了一個(gè)商品或者一個(gè)大促會(huì)場(chǎng)最核心的亮點(diǎn)，是商家、運(yùn)營(yíng)提升點(diǎn)擊效果的一個(gè)抓手。傳統(tǒng)生產(chǎn)利益點(diǎn)文案的方式，有以下特點(diǎn)：

1.受限于數(shù)量和人力成本，一個(gè)商品或者會(huì)場(chǎng)的利益點(diǎn)一般不會(huì)超過(guò)三個(gè)，大多數(shù)情況只有一個(gè)利益點(diǎn)，這有時(shí)會(huì)導(dǎo)致利益點(diǎn)文案和商品不匹配的case發(fā)生，影響用戶體驗(yàn)。

2.用戶對(duì)一個(gè)商品不同的賣點(diǎn)或者說(shuō)不同的文案表述的關(guān)注度是不同的，例如有人關(guān)注性價(jià)比，有人關(guān)注品質(zhì)等等，人工編輯的較少的利益點(diǎn)文案沒(méi)辦法提供多樣的信息，不利于引導(dǎo)效率的提升。

因此，這次雙十一，智能寫手和首頁(yè)推薦算法團(tuán)隊(duì)、大促平臺(tái)算法團(tuán)隊(duì)一起合作了智能利益點(diǎn)項(xiàng)目，分別在手淘首頁(yè)人群會(huì)場(chǎng)入口、貓客首頁(yè)人群會(huì)場(chǎng)入口、貓客首頁(yè)標(biāo)簽會(huì)場(chǎng)入口、雙十一主會(huì)場(chǎng)行業(yè)會(huì)場(chǎng)入口、雙十一主會(huì)場(chǎng)標(biāo)簽會(huì)場(chǎng)入口等多個(gè)場(chǎng)景上線了智能利益點(diǎn)。幾個(gè)場(chǎng)景樣式詳見以下圖片，其中用紅色虛線框起來(lái)的使用了智能利益點(diǎn)的會(huì)場(chǎng)入口的實(shí)際效果：

我們?cè)陔p十一期間做了分桶測(cè)試，相比使用人工編輯利益點(diǎn)文案的分桶，智能利益點(diǎn)的分桶在多個(gè)場(chǎng)景都取得了用戶點(diǎn)擊率兩位數(shù)左右的提升，這個(gè)提升是在各個(gè)場(chǎng)景自身優(yōu)化效果的基礎(chǔ)上的額外提升，還是比較可觀的，這也說(shuō)明了文案?jìng)€(gè)性化生成確實(shí)給用戶帶來(lái)了更多的有價(jià)值的信息。

1.2 圖文型清單生成

在手淘中，圖文型清單是一種重要的商品組織形式，可以理解為有主題的商品集合富文本內(nèi)容，主要由人工編輯而成，生產(chǎn)清單費(fèi)時(shí)費(fèi)力，尤其在大促期間，要短時(shí)間內(nèi)生產(chǎn)大量的清單更是一個(gè)很大的挑戰(zhàn)。這次雙十一，智能寫手也參與到這個(gè)工作中，結(jié)合在文本內(nèi)容生成上的沉淀，生產(chǎn)了少量單品盤點(diǎn)類型的清單，具體樣式如下：

為了驗(yàn)證智能寫手生成的清單的效果，我們?cè)陔p十一期間小流量上線，和人工編輯的清單進(jìn)行了分桶測(cè)試。對(duì)比人工編輯的單品盤點(diǎn)清單，智能寫手清單在平均商品點(diǎn)擊轉(zhuǎn)化率上的表現(xiàn)要更好。

下面我們將分別介紹智能寫手在智能利益點(diǎn)和圖文清單生成兩部分的工作。

二. 智能利益點(diǎn)

智能利益點(diǎn)解決的問(wèn)題是，給定任意一個(gè)商品，挖掘這個(gè)商品各個(gè)潛在的賣點(diǎn)，并根據(jù)挖掘出來(lái)的用戶偏好，從商品賣點(diǎn)集合中圈定用戶最感興趣、最可能點(diǎn)擊的賣點(diǎn)，然后基于這些賣點(diǎn)實(shí)時(shí)生成一小段6個(gè)字以內(nèi)的文案。利益點(diǎn)生成的解決方案主要分為這么幾部分：

1.用戶的偏好挖掘：主要基于用戶的離線和實(shí)時(shí)行為數(shù)據(jù)來(lái)做，通過(guò)挖掘得到用戶的TOP K個(gè)偏好標(biāo)簽集合。由于線上系統(tǒng)性能的限制，我們不可能使用用戶所有行為過(guò)的標(biāo)簽，于是我們構(gòu)建了用戶偏好標(biāo)簽的排序模型對(duì)標(biāo)簽進(jìn)行優(yōu)選。

2.商品的賣點(diǎn)挖掘：賣點(diǎn)挖掘更多的依賴一些基礎(chǔ)的數(shù)據(jù)，包括商品的標(biāo)簽庫(kù)、屬性庫(kù)、人工編輯的信息等等。

利益點(diǎn)文案的實(shí)時(shí)個(gè)性化生成：首先，我們提出了PairXNN模型，用于預(yù)估用戶對(duì)一個(gè)商品的賣點(diǎn)的點(diǎn)擊概率，然后，根據(jù)不同的場(chǎng)景要求選擇合適的賣點(diǎn)，基于語(yǔ)義規(guī)則和人工設(shè)計(jì)的模板進(jìn)行利益點(diǎn)文案的實(shí)時(shí)個(gè)性化生成。

下面主要介紹PairXNN的細(xì)節(jié)。

2.1 PairXNN概要

在商品賣點(diǎn)的點(diǎn)擊率預(yù)估問(wèn)題中，我們把用戶偏好標(biāo)簽和商品賣點(diǎn)都用文本的方式進(jìn)行了表示，因此我們選擇的base模型是Aliaksei Severyn[1]的工作，他們的工作主要解決短文本pair的排序問(wèn)題。在經(jīng)過(guò)不斷迭代實(shí)驗(yàn)優(yōu)化后，我們最終形成了我們的PairXNN網(wǎng)絡(luò)結(jié)構(gòu)，如下圖所示：

模型包含幾個(gè)主要的部分：

1.用戶偏好和商品賣點(diǎn)的語(yǔ)義表示：由于用戶的偏好標(biāo)簽量比較大，如何對(duì)用戶的大量偏好標(biāo)簽進(jìn)行更深層次的偏好挖掘，是這個(gè)部分要解決的重點(diǎn)問(wèn)題。

2.Multi-level的相似度模塊：在不同的語(yǔ)義層級(jí)上計(jì)算用戶偏好和商品賣點(diǎn)的相似度。

3.Additional Features：引入人工定義的額外的特征，輔助模型效果。例如用戶偏好的特征、賣點(diǎn)的統(tǒng)計(jì)類特征、用戶偏好和賣點(diǎn)的overlap特征等。

整個(gè)PairXNN模型的訓(xùn)練和在線預(yù)測(cè)是基于我們內(nèi)部自研的XTensorflow平臺(tái)進(jìn)行搭建。

2.2 語(yǔ)義表示

在對(duì)用戶側(cè)的偏好標(biāo)簽做語(yǔ)義抽取的時(shí)候，考慮到用戶偏好標(biāo)簽的特殊性，它不是一個(gè)真正的有合理語(yǔ)義意義的句子，因此我們嘗試了多種不同的語(yǔ)義表示的網(wǎng)絡(luò)結(jié)構(gòu)，包括全連接DNN、和[1]一樣的CNN、Gated CNN[3]、self-attention[2] 和tailored attention。

其中，Gated CNN是對(duì)傳統(tǒng)的CNN結(jié)構(gòu)做了優(yōu)化，加入了gate機(jī)制，可以決定哪些信息更為重要，需要保留或者說(shuō)舍去哪些信息。而采用Self-attention則是考慮到對(duì)于用戶的偏好標(biāo)簽序列，需要更關(guān)注全局的語(yǔ)義相關(guān)性。tailored attention則是我們?yōu)榱藘?yōu)化性能，簡(jiǎn)化語(yǔ)義表示網(wǎng)絡(luò)所提出的新結(jié)構(gòu)，因?yàn)橹悄芾纥c(diǎn)的場(chǎng)景都是重要場(chǎng)景，流量很大，對(duì)性能要求比較高。最終經(jīng)過(guò)雙十一期間的線上分桶測(cè)試，Gated CNN在網(wǎng)絡(luò)性能和效果上綜合最優(yōu)，于是雙十一全量上線的模型中采用Gated CNN的語(yǔ)義表示網(wǎng)絡(luò)結(jié)構(gòu)。

2.3 Multi-level相似度模塊

除了上述對(duì)于user和item側(cè)信息的映射和抽取，為了計(jì)算用戶和利益點(diǎn)的相關(guān)性，我們從兩個(gè)不同的語(yǔ)義層次對(duì)用戶偏好標(biāo)簽和商品賣點(diǎn)的相似度計(jì)算，分別是：

1.對(duì)用戶偏好標(biāo)簽embedding層輸出和商品賣點(diǎn)embedding層輸出的cosine similarity計(jì)算。

假定用戶側(cè)所有詞的embedding矩陣為 ，商品側(cè)詞的embedding矩陣為 ，那么兩側(cè)詞之間一一對(duì)應(yīng)的余弦相似度(embedding已歸一化)為：

我們還在這個(gè)基礎(chǔ)上做了global pooling，分別為max pooling/min pooling/average pooling，得到3個(gè)數(shù)值。將上式得到的相似度打平后，與pooling層得到的結(jié)果concat成一維向量共同輸入至下一層。

2.對(duì)用戶偏好標(biāo)簽的語(yǔ)義表示和商品賣點(diǎn)的語(yǔ)義表示計(jì)算bilinear similarity。

定義一個(gè)矩陣M去連接用戶側(cè)向量 ，商品側(cè)向量 ，公式如下：

其中

為相似度矩陣。這相當(dāng)于將user側(cè)的輸入映射為 ：

由于此時(shí)M是可訓(xùn)練的，這樣就可以更好的將user側(cè)和item側(cè)的空間靠近，提升相似度的準(zhǔn)確性。

線上實(shí)驗(yàn)結(jié)果表明，兩個(gè)層次的相似度疊加使用的ctr要優(yōu)于單獨(dú)使用。

三. 圖文型清單生成

一個(gè)圖文型清單一般都有一個(gè)明確的主題，圍繞這個(gè)主題進(jìn)行相應(yīng)的文本描述和商品推薦。針對(duì)這個(gè)特征，我們的解決方案包括以下幾個(gè)部分：

1.主題。這個(gè)主題可以由外界（運(yùn)營(yíng)）輸入，也可以基于我們主題發(fā)現(xiàn)所沉淀的主題庫(kù)進(jìn)行選擇。

2.選品。確定了主題之后，我們根據(jù)這個(gè)主題從精品庫(kù)中選取和主題相關(guān)性高且質(zhì)量不錯(cuò)的商品，然后以一定的目標(biāo)組合成一個(gè)個(gè)的清單（一般一個(gè)清單包含6-10個(gè)商品）。

3.商品推薦理由生成。為每個(gè)清單的商品生成一段40-80個(gè)字的推薦理由。

4.標(biāo)題生成。根據(jù)清單內(nèi)的商品信息，給清單取一個(gè)概括主題又吸引用戶點(diǎn)擊的標(biāo)題。清單標(biāo)題要求相對(duì)簡(jiǎn)短，一般不長(zhǎng)于20個(gè)字。例如：“懶人沙發(fā)椅，沉溺初秋慵懶美時(shí)光”。

3.1 Deep Generation Network

圖文型清單生成中的兩個(gè)模塊，商品推薦理由的生成和標(biāo)題生成，我們把他們歸類為自然語(yǔ)言生成（NLG）問(wèn)題，都可以定義為依賴輸入信息的文本生成問(wèn)題。其中，商品推薦理由生成問(wèn)題中，輸入的是商品的信息，而清單標(biāo)題中輸入的是商品集合的信息。于是，我們采用了最近比較流行的Encoder-Decoder深度神經(jīng)網(wǎng)絡(luò)模型框架來(lái)解決，基于Attention based Seq2Seq[5-6]的base model，最終形成了我們的Deep Generation Network。

下面介紹幾個(gè)比較主要的部分。

3.1.1 樣本

樣本的質(zhì)量和數(shù)量是模型效果的基礎(chǔ)，我們基于淘寶上的人工編寫的商品推薦理由數(shù)據(jù)和清單標(biāo)題數(shù)據(jù)進(jìn)行了清洗，篩選得到符合我們目標(biāo)的樣本集數(shù)據(jù)。

3.1.2 coverage attention model[8]

在推薦理由生成中經(jīng)常會(huì)出現(xiàn)多個(gè)內(nèi)容重復(fù)描述同一個(gè)輸入信息的情況，或者是對(duì)于輸入信息在推薦理由中沒(méi)有涉及。這個(gè)問(wèn)題類似于機(jī)器翻譯問(wèn)題中“過(guò)譯”和“漏譯”的問(wèn)題。在傳統(tǒng)的統(tǒng)計(jì)機(jī)器翻譯方法中，有coverage set的概念，去記錄輸入source文本哪些已經(jīng)被翻譯過(guò)了，而之后的模型主要考慮將沒(méi)有翻譯過(guò)的文本進(jìn)行翻譯。在深度學(xué)習(xí)中，是通過(guò)coverage model的方式和attention model做結(jié)合，達(dá)到這樣的效果。

原來(lái)attention的計(jì)算方式如下：

3.1.3 context gate[9]

在推薦理由的輸出當(dāng)中，模型的主體是基于RNN的seq2seq架構(gòu)，那么在decoder的輸出端的輸出，主要受2部分影響：

一部分是encoder的輸入

另一部分是當(dāng)前step的前一個(gè)step的輸出。

那么對(duì)于不同的輸出，兩部分的影響應(yīng)該是不同的，比如說(shuō)，當(dāng)前一個(gè)輸入詞是虛詞時(shí)，主要的信息應(yīng)該由encoder影響，但是如果前一個(gè)詞和當(dāng)前詞明顯有相關(guān)性時(shí)，當(dāng)前詞的主要應(yīng)該由前一個(gè)詞影響。所以，我們考慮加入context gate,對(duì)這種情況進(jìn)行建模。

公式如下：

3.1.4 Beam Search

在前文中提到用RNN生成語(yǔ)句時(shí)，在每個(gè)時(shí)刻取輸出結(jié)果中概率最大的詞作為生成的詞，是比較greedy的做法，沒(méi)有考慮詞的組合因素，因此，我們?cè)趕eq2seq的實(shí)驗(yàn)中也嘗試了beam search。beam search只在predict的時(shí)候使用，舉個(gè)例子，當(dāng)beam search size=2時(shí)，每個(gè)時(shí)刻都會(huì)保留當(dāng)前概率最大的兩個(gè)序列。

beam search在實(shí)踐過(guò)程中很有用，它提供了一種很好的對(duì)生成序列進(jìn)行干預(yù)的基礎(chǔ)，一方面你可以對(duì)beam search的候選集的選擇以及最終序列的選擇做定制化的處理，比如你的選擇目標(biāo)，另一方面，對(duì)一些模型還不能完全保證解決的bad case（例如重復(fù)詞出現(xiàn)等），可以在beam search中進(jìn)行處理。

3.1.5 CNN

對(duì)于我們生成清單標(biāo)題的問(wèn)題，由于輸入是多個(gè)商品的文本內(nèi)容，商品文本之間并沒(méi)有真正的序列關(guān)系，反而更需要一個(gè)類似主題特征抽取的部分，從而能根據(jù)主題進(jìn)行標(biāo)題的生成。而CNN在句子分類已經(jīng)有不錯(cuò)的應(yīng)用[7]了，于是我們?cè)谇鍐螛?biāo)題生成問(wèn)題中，采用了CNN作為Encoder，實(shí)驗(yàn)結(jié)果也表明CNN比LSTM在標(biāo)題生成的主題準(zhǔn)確率上要高。

3.1.6 Reinforcement Learning

我們?cè)谟?xùn)練和預(yù)測(cè)的時(shí)候會(huì)碰到下面2個(gè)問(wèn)題:

訓(xùn)練和預(yù)測(cè)的環(huán)境是不同的，訓(xùn)練在decoder的每次的輸出，依賴的是前一個(gè)位置的ground truth的輸入，而預(yù)測(cè)的時(shí)候是前一個(gè)位置predict的輸出，原因是訓(xùn)練時(shí)候如果就依賴predict的結(jié)果的話，會(huì)造成損失累計(jì)，訓(xùn)練非常難收斂。

我們的評(píng)價(jià)目標(biāo)是BLEU[11]值，這是整個(gè)句子生成之后和樣本之間的對(duì)比，而我們?cè)谟?xùn)練的時(shí)候是對(duì)于每一個(gè)位置的predict label計(jì)算loss，那么造成了評(píng)價(jià)和訓(xùn)練目標(biāo)的差別，并且BLEU是一個(gè)整體目標(biāo)，相當(dāng)于是個(gè)延遲的reward。

綜上所述非常適合利用reinforcement learning的方式[10]來(lái)解決。對(duì)于這樣一個(gè)強(qiáng)化學(xué)習(xí)問(wèn)題，首先我們定義這個(gè)問(wèn)題的3個(gè)要素：

action：每一個(gè)timestep選擇的候選詞

state：每一個(gè)timestep的hidden state

reward：最終的BLEU值

算法流程如下：

warm start：依舊利用原來(lái)的方法去訓(xùn)練模型，達(dá)到相對(duì)收斂的狀態(tài)。

逐漸在decode的末尾加入強(qiáng)化學(xué)習(xí)的方式，例如從倒數(shù)第一個(gè)位置加入強(qiáng)化學(xué)習(xí)，當(dāng)收斂較好了，再?gòu)牡箶?shù)第二個(gè)位置開始加入。

Loss定義如下：

選擇的action的時(shí)候，使用的是KNN的方式。本文是使用REINFORCE算法，是policy gredient的方式，并且文本的action空間非常大，所以比較難收斂。我們使用原來(lái)的predict方式打分，分?jǐn)?shù)高的N個(gè)詞作為候選詞。然后這些詞和policy gredient選出的詞，做KNN，距離是embedding后的距離，選擇距離最近的作為action。

最終，除了第一個(gè)timestep還保留著期望的輸入，其余都將是強(qiáng)化學(xué)習(xí)的方式。

3.2 效果展示

這里展示部分在測(cè)試集上生成的標(biāo)題和推薦理由，給大家一些直觀的感覺(jué)：

清單標(biāo)題

衛(wèi)衣，穿出你的青春活力

加絨牛仔褲，讓你的冬天更有范

牛仔外套，穿出帥氣的你

羊羔毛外套，溫暖整個(gè)冬天

穿上格子裝，讓你秒變女神

職場(chǎng)新人，職場(chǎng)穿搭指南

穿上白襯衫，做個(gè)安靜的女子

穿上蕾絲，做個(gè)性感的女子

商品推薦理由

這件針織款連衣裙采用了v領(lǐng)的設(shè)計(jì)，露出性感的鎖骨，性感顯優(yōu)雅，衣身的撞色拼接，豐富了視覺(jué)效果，更顯時(shí)尚感。

簡(jiǎn)約的圓領(lǐng)設(shè)計(jì)，修飾頸部線條，中長(zhǎng)款的設(shè)計(jì)，顯得優(yōu)雅又大方，干凈素雅，展現(xiàn)出清新的文藝風(fēng)格，在端莊中流露出一股優(yōu)雅的氣質(zhì)。

假兩件的設(shè)計(jì)，讓你的身材更加的修長(zhǎng)，寬松的版型，穿著舒適，不挑身材，時(shí)尚百搭，輕松穿出時(shí)尚感。

四. 展望

智能寫手在雙十一的智能利益點(diǎn)和圖文清單生成上拿到了初步的效果，但是仍然還存在很多問(wèn)題待解決，后續(xù)我們將在如下方面繼續(xù)探索和優(yōu)化：

效果評(píng)估。現(xiàn)在采用BLEU、覆蓋率、準(zhǔn)確率、人工評(píng)測(cè)結(jié)合的方法來(lái)評(píng)估效果，但BLEU和實(shí)際目標(biāo)不完全一致，人工評(píng)測(cè)成本又較高，需要有更好的評(píng)價(jià)方案。

更豐富的輸入信息。引入包括商品圖像、用戶評(píng)價(jià)等在內(nèi)的信息，除了可以解決輸入輸出的不一致外，還能給用戶提供更有價(jià)值的內(nèi)容。

3.語(yǔ)言生成理解。通過(guò)模型的可視化，可以分析bad case的根源，優(yōu)化模型。

機(jī)器生成方面目前還有描述的準(zhǔn)確度、多樣性問(wèn)題需要解決，另外考慮到很多缺少足夠樣本的業(yè)務(wù)也有生成的需求，模型是否能具備遷移能力也是一個(gè)可能的方向。

五. 關(guān)于團(tuán)隊(duì)

阿里巴巴推薦算法團(tuán)隊(duì)目前主要負(fù)責(zé)阿里電商平臺(tái)(包括淘寶、天貓、Lazada等)的商品及feeds流推薦，其中用戶導(dǎo)購(gòu)場(chǎng)景個(gè)性化，首頁(yè)首圖個(gè)性化、猜你喜歡、購(gòu)買鏈路等場(chǎng)景每天服務(wù)數(shù)億用戶，涉及智能文本生成、流量效率提升、用戶體驗(yàn)、提高商家及達(dá)人參與淘寶的積極性，優(yōu)化商業(yè)生態(tài)運(yùn)行機(jī)制。

歡迎熱愛(ài)算法，對(duì)業(yè)務(wù)有好奇心，有合作精神的同學(xué)一起工作、成長(zhǎng)。簡(jiǎn)歷可投郵箱：

shaoyao@taobao.com

或者guli.lingl@taobao.com

或者jinxin.hjx@alibaba-inc.com

西湖湖畔，翹首以盼，等你來(lái)信～

六. 參考文獻(xiàn)

[1] Severyn A, Moschitti A. Learning to rank short text pairs with convolutional deep neural networks[C]//Proceedings of the 38th

International ACM SIGIR Conference on Research and Development in Information Retrieval. ACM, 2015: 373-382.

[2] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin.

Attention is all you need. arXiv preprint arXiv:1706.03762,2017.

[3] Dauphin Y N, Fan A, Auli M, et al. Language modeling with gated convolutional networks[J]. arXiv preprint arXiv:1612.08083,2016.

[4] Luo W, Li Y, Urtasun R, et al. Understanding the effective receptive field in deep convolutional neural networks[C]//Advances in

Neural Information Processing Systems. 2016: 4898-4906.MLA

[5] Neural Machine Translation by Jointly Learning to Align and Translate

[6] Rush A M, Chopra S, Weston J. A neural attention model for abstractive sentence summarization[J]. arXiv preprint arXiv:1509.00685, 2015.

[7] Kim Y. Convolutional neural networks for sentence classification[J]. arXiv preprint arXiv:1408.5882, 2014.

[8] Tu Z, Lu Z, Liu Y, et al. Modeling coverage for neural machine translation[J]. arXiv preprint arXiv:1601.04811, 2016.

[9] Tu Z, Liu Y, Lu Z, et al. Context gates for neural machine translation[J]. arXiv preprint arXiv:1608.06043, 2016.

[10] Sequence Level Training with Recurrent Neural Networks, ICLR 2016.

[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: A method for automatic evaluation of machine translation.

總結(jié)

以上是生活随笔為你收集整理的AI小编问世！阿里智能写手核心技术首次公开！的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。