?PaperWeekly 原創(chuàng) ·?作者 | 戴音培、李永彬

機(jī)構(gòu) | 阿里巴巴達(dá)摩院Conversational AI團(tuán)隊(duì)

?

預(yù)習(xí)時(shí)關(guān)注重點(diǎn)，上課時(shí)由易到難，復(fù)習(xí)時(shí)舉一反三，能否讓機(jī)器也按照“預(yù)習(xí)-上課-復(fù)習(xí)”的學(xué)習(xí)范式進(jìn)行學(xué)習(xí)呢？達(dá)摩院對(duì)話智能（Conversational AI）團(tuán)隊(duì)對(duì)這個(gè)問(wèn)題進(jìn)行了研究探索，先將其用在了人機(jī)對(duì)話領(lǐng)域，在國(guó)際知名多輪對(duì)話數(shù)據(jù)集 MultiWoz 上取得了最好結(jié)果。

論文標(biāo)題：

Preview, Attend and Review: Schema-Aware Curriculum Learning for Multi-Domain Dialogue State Tracking

論文鏈接：

https://aclanthology.org/2021.acl-short.111/

目前對(duì)話系統(tǒng)的各類研究工作，大多還是集中在模型結(jié)構(gòu)的創(chuàng)新上，并按照傳統(tǒng)的 mini-batch 方式進(jìn)行有監(jiān)督訓(xùn)練。然而，筆者所在團(tuán)隊(duì)經(jīng)過(guò)最新研究發(fā)現(xiàn)，這種傳統(tǒng)訓(xùn)練方式并不是對(duì)話系統(tǒng)的最優(yōu)訓(xùn)練模式。受到人類在學(xué)習(xí)新知識(shí)時(shí)的學(xué)習(xí)范式的啟發(fā)，我們提出了“預(yù)習(xí)-上課-復(fù)習(xí)”的三階段訓(xùn)練范式來(lái)提升對(duì)話系統(tǒng)的性能，該范式能夠像人一樣預(yù)習(xí)時(shí)關(guān)注重點(diǎn)，上課時(shí)由易到難，復(fù)習(xí)時(shí)舉一反三。

具體來(lái)說(shuō)，在預(yù)習(xí)階段時(shí)，人一般會(huì)先了解重點(diǎn)概念、章節(jié)結(jié)構(gòu)等信息，因此我們對(duì)應(yīng)地設(shè)計(jì)了帶有結(jié)構(gòu)偏置的預(yù)訓(xùn)練目標(biāo)，讓模型學(xué)會(huì)對(duì)話數(shù)據(jù)中的槽值關(guān)聯(lián)信息；在上課階段時(shí)，人會(huì)從簡(jiǎn)單內(nèi)容開始學(xué)習(xí)再逐步進(jìn)階到困難部分，因此我們使用了課程學(xué)習(xí) [1] 的方法來(lái)訓(xùn)練對(duì)話模型；而在復(fù)習(xí)階段時(shí)，人們通常是溫故知新舉一反三，因此我們專門設(shè)計(jì)了基于對(duì)話本體的數(shù)據(jù)增強(qiáng)方法，針對(duì)易錯(cuò)樣例對(duì)模型進(jìn)行加強(qiáng)訓(xùn)練。通過(guò)這樣的優(yōu)化框架，我們最終在多輪對(duì)話數(shù)據(jù)集 MultiWOZ2.1 和 WOZ2.0 上都取得了目前最好結(jié)果，相關(guān)工作被 ACL 2021 以 4-4-4 高分接收。

??????

人類學(xué)習(xí)范式與機(jī)器學(xué)習(xí)范式

在教育學(xué)中，針對(duì)人類學(xué)習(xí)的模式，不少學(xué)者提出“預(yù)習(xí)->上課->復(fù)習(xí)”的三階段過(guò)程，是最為高效的學(xué)習(xí)范式之一 [3]。預(yù)習(xí)時(shí)，由于沒有老師進(jìn)行指導(dǎo)，因此學(xué)生會(huì)利用已學(xué)知識(shí)和技能，通過(guò)觀察章節(jié)標(biāo)題、瀏覽段落文字、準(zhǔn)備課上問(wèn)題等方式進(jìn)行自主地學(xué)習(xí)，大致了解課堂內(nèi)容；進(jìn)入到正式上課階段時(shí)，學(xué)生會(huì)根據(jù)老師安排好的課程從易到難進(jìn)行學(xué)習(xí)，這種由淺入深的教學(xué)是人類數(shù)百年教育發(fā)展總結(jié)出的最佳方式，能夠讓學(xué)生的知識(shí)接受效率最大化；在上完課后，學(xué)生應(yīng)當(dāng)及時(shí)地回顧所學(xué)的課程內(nèi)容，溫故知新，通過(guò)自我反思總結(jié)，找出仍舊沒有掌握的知識(shí)點(diǎn)，并準(zhǔn)備好和老師進(jìn)一步溝通解答。

▲?圖1. “預(yù)習(xí)-上課-復(fù)習(xí)”三階段學(xué)習(xí)范式

以上是人類學(xué)習(xí)范式，而在人工智能的主要方向自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域中，目前大家普遍采用的是“pre-train + fine-tune”的機(jī)器學(xué)習(xí)范式，即先得到大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，再基于該模型進(jìn)行下游任務(wù)微調(diào)。這種機(jī)器學(xué)習(xí)范式過(guò)于簡(jiǎn)化，沒有考慮到人類學(xué)習(xí)范式中的重要特性，即：預(yù)習(xí)時(shí)關(guān)注重點(diǎn)，上課時(shí)由易到難，復(fù)習(xí)時(shí)舉一反三。因此，對(duì)于某個(gè)具體的 NLP 任務(wù)，我們應(yīng)該在構(gòu)建訓(xùn)練目標(biāo)時(shí)就將這些特性考慮進(jìn)來(lái)，通過(guò)設(shè)計(jì)出更具任務(wù)本身特點(diǎn)的新目標(biāo)函數(shù)來(lái)模仿人類學(xué)習(xí)范式中的三階段學(xué)習(xí)過(guò)程。

基于“預(yù)習(xí)-上課-復(fù)習(xí)”學(xué)習(xí)范式的多輪對(duì)話理解

在本文中，我們主要研究任務(wù)型多輪對(duì)話系統(tǒng)中的核心任務(wù)——對(duì)話狀態(tài)跟蹤（Dialog State Tracking, DST），并希望能夠設(shè)計(jì)出多輪對(duì)話特有的“預(yù)習(xí)-上課-復(fù)習(xí)”三階段學(xué)習(xí)范式以提升 DST 模型的效果。

2.1?對(duì)話狀態(tài)追蹤任務(wù)及其難點(diǎn)

首先，我們介紹一下任務(wù)型對(duì)話系統(tǒng)和 DST 任務(wù)。?

任務(wù)型對(duì)話系統(tǒng)是通過(guò)人機(jī)對(duì)話完成某個(gè)特定任務(wù)的系統(tǒng)，例如政務(wù)事務(wù)辦理、滿意度回訪、訂餐館等。該系統(tǒng)不僅可以回答用戶問(wèn)題，同時(shí)還能主動(dòng)發(fā)問(wèn)，引導(dǎo)會(huì)話的有效進(jìn)行，通過(guò)多輪對(duì)話完成特定任務(wù)。例如在一個(gè)餐館查找場(chǎng)景中，一個(gè)典型的對(duì)話如下：

▲ 圖2.?任務(wù)型多輪對(duì)話示例

如圖 2 所示，可以看到，在該對(duì)話中，機(jī)器人需要根據(jù)用戶的不同的回答情況進(jìn)行多輪的對(duì)話，最終收集完整自己需要的信息后給出找到的結(jié)果。有關(guān)任務(wù)型對(duì)話模型的更多介紹可參考《小蜜團(tuán)隊(duì)萬(wàn)字長(zhǎng)文：對(duì)話管理模型最新研究進(jìn)展》和 《達(dá)摩院基于元學(xué)習(xí)的對(duì)話系統(tǒng)》。?

對(duì)話狀態(tài)跟蹤（DST）是一個(gè)重要的對(duì)話理解任務(wù)，即給定整個(gè)對(duì)話歷史，將用戶表達(dá)的語(yǔ)義識(shí)別成槽值對(duì)形式的對(duì)話標(biāo)簽。例如用戶說(shuō) “我想要便宜的餐館”，對(duì)應(yīng)的 DST 語(yǔ)義標(biāo)簽就是“價(jià)格=便宜”。對(duì)話標(biāo)簽的集合一般已經(jīng)預(yù)定義好，統(tǒng)稱為對(duì)話本體 (ontology) 或者對(duì)話 schema。

在一些經(jīng)典的學(xué)術(shù)對(duì)話數(shù)據(jù)集中，例如 MultiWOZ [4]，CrossWOZ [5] 等，DST 任務(wù)普遍存在以下 3 個(gè)挑戰(zhàn)：

不同槽之間的取值存在指代關(guān)聯(lián)。例如用戶在前幾輪交互已經(jīng)預(yù)定好了某家餐館，在當(dāng)前輪時(shí)，用戶說(shuō) “我還想要該餐館附近的一家酒店”，那么隱含地，酒店的 area 槽值應(yīng)當(dāng)和餐館的 area 槽值是一致的，這需要 DST 模型有能力識(shí)別出來(lái)。

用戶隱含接受系統(tǒng)推薦。例如，當(dāng)系統(tǒng)推薦某家酒店時(shí)，用戶針對(duì)推薦的結(jié)果的態(tài)度既可以是正面的表達(dá)（that’s great），也可以是非正面的表達(dá)（hold on please），對(duì)應(yīng)的 hotel-name 槽也就會(huì)填或不填。

真實(shí)用戶表達(dá)豐富多樣，增大解析難度。例如，在 DST 任務(wù)中，每個(gè)槽有一個(gè)特殊的槽值叫 dontcare，用于表示用戶對(duì)該槽可選取所有值，即沒有特定值限制。在 MultiWOZ 數(shù)據(jù)集中，用戶對(duì)于 dontcare 的表達(dá)多樣性很大，十分考驗(yàn)?zāi)Ｐ偷恼Z(yǔ)言理解能力。

下圖 3 是我們利用目前最好的 DST 模型 TripPy [10]，在 MultiWOZ2.1 數(shù)據(jù)集上進(jìn)行錯(cuò)誤分析得到的一個(gè)錯(cuò)因占比統(tǒng)計(jì)。除了標(biāo)注錯(cuò)誤，后處理不當(dāng)?shù)阮~外因素，以上三類問(wèn)題的占比達(dá)到約 42%，這需要更好的模型和方案來(lái)進(jìn)行解決。

▲ 圖3.?MultiWoz 2.1數(shù)據(jù)集DST錯(cuò)誤分析（模型采用TriPy）

2.2. “預(yù)習(xí)-上課-復(fù)習(xí)”技術(shù)方案?

針對(duì)上文提到的 DST 難點(diǎn)，我們希望能夠從人類學(xué)習(xí)的過(guò)程中總結(jié)出一種特有范式來(lái)優(yōu)化模型，實(shí)現(xiàn)一種 model-agnostic 的 DST 優(yōu)化方案。基于此，我們?cè)O(shè)計(jì)了“預(yù)習(xí)-上課-復(fù)習(xí)”三階段 DST 訓(xùn)練方案，充分地利用好對(duì)話 schema 中已經(jīng)存在的槽值關(guān)聯(lián)的結(jié)構(gòu)（即 schema structure）和對(duì)話數(shù)據(jù)中存在的難易數(shù)據(jù)分布的結(jié)構(gòu)（即 curriculum structure），提出了 Schema-aware Curriculum Learning for Dialog State Tracking (SaCLog) 通用的 DST 優(yōu)化框架，如下圖 4 所示：

▲?圖4.?基于“預(yù)習(xí)-上課-復(fù)習(xí)”的對(duì)話狀態(tài)追蹤

2.2.1 預(yù)習(xí)模塊 (preview module)?

我們希望在預(yù)習(xí)模塊中能夠?qū)崿F(xiàn)對(duì) schema structure 的有效建模，通過(guò)設(shè)計(jì)類似 [6] 的帶有結(jié)構(gòu)偏置信息的預(yù)訓(xùn)練目標(biāo)，讓 DST 模型的基座（如 BERT, BiRNN 等）對(duì) schema 中信息有一個(gè)初步大致的了解，在不接觸具體下游 DST 任務(wù)的情況下，先對(duì)各個(gè)槽的取值以及在用戶語(yǔ)句中的表達(dá)有一個(gè)顯式關(guān)系的建模。下圖 5 是 MultiWoz 中的一個(gè)典型的 schema structure：

▲?圖5.?MultiWoz數(shù)據(jù)集中的典型的schema structure

實(shí)線連接的是同一個(gè)領(lǐng)域下的槽，虛線連接的是不同領(lǐng)域之間可能存在槽值關(guān)聯(lián)的槽,整體形成了一個(gè)網(wǎng)絡(luò)狀的結(jié)構(gòu)。每個(gè)槽的槽值在不同的自然語(yǔ)句中也會(huì)有不同的表達(dá)形式，我們希望將這些隱含的聯(lián)系在預(yù)習(xí)階段通過(guò)預(yù)訓(xùn)練的方式讓模型學(xué)習(xí)出來(lái)。

具體的做法是，我們利用一個(gè)槽編碼器和一個(gè)對(duì)話歷史編碼器（兩個(gè)編碼器共享參數(shù)，模型可選擇 BERT、BiRNN 等）分別編碼每個(gè)槽和對(duì)話歷史，槽編碼向量和對(duì)話歷史的各個(gè)位置的向量進(jìn)行兩種 loss 計(jì)算，一種是操作分類 loss ，判斷某個(gè)槽在當(dāng)前的對(duì)話語(yǔ)句中屬于“增”、“刪”、“改”、“無(wú)”四個(gè)操作中的哪一個(gè)操作類別，另一種是序列預(yù)測(cè) loss ，判斷當(dāng)前對(duì)話歷史中，哪些詞屬于該槽的槽值（利用預(yù)設(shè)的字符串匹配得到）。同時(shí)我們?cè)偌由弦粋€(gè)輔助的 MLM loss ，對(duì)整個(gè)對(duì)話預(yù)料進(jìn)行類似 RoBERTa 的預(yù)訓(xùn)練。最終整體 loss 是三者的加權(quán)和 。

2.2.2 上課模塊 (attend module)?

通過(guò)預(yù)習(xí)模塊我們得到了一個(gè)預(yù)訓(xùn)練好的模型基座，如 BERT。接下來(lái)我們正式進(jìn)行 DST 任務(wù)的學(xué)習(xí)。前面我們提到，在對(duì)話數(shù)據(jù)中存在的豐富的 curriculum structure，即數(shù)據(jù)的難易度分布的結(jié)構(gòu)。下圖 6 展示了一個(gè)簡(jiǎn)單和一個(gè)困難的對(duì)話例子：

▲?圖6.?對(duì)話中不同難易程度的示意圖

同樣是用戶想要一輛從 nandos 作為出發(fā)地的 taxi，圖 6 中上方的對(duì)話例子是一個(gè)最簡(jiǎn)單的表達(dá)。而圖 6 中下方的對(duì)話例子，盡管 DST 結(jié)果和簡(jiǎn)單例子一樣，卻要困難很多，用戶是通過(guò)”from the restaurant”這種表述間接地表達(dá)了需要一輛出發(fā)地是 nandos 餐館的 taxi。?

在前人的工作中，DST 模型一般都是采用 random sampling 的方式選擇 batch data 進(jìn)行優(yōu)化的，這里，我們打算充分地考慮人在課程學(xué)習(xí)時(shí)的學(xué)習(xí)模式，將訓(xùn)練數(shù)據(jù)進(jìn)行難易度劃分，利用課程學(xué)習(xí) [1] 中的經(jīng)典算法 baby step [9] 來(lái)優(yōu)化，讓模型先學(xué)習(xí)好簡(jiǎn)單的數(shù)據(jù)再學(xué)習(xí)復(fù)雜的數(shù)據(jù)。課程學(xué)習(xí)的諸多理論和實(shí)踐 [7] 也已經(jīng)證明了，這種類人教學(xué)的訓(xùn)練策略不僅能夠加速模型收斂，還能夠提升模型效果。下圖是論文?[8]?中一個(gè)的可用于說(shuō)明課程學(xué)習(xí)提升效果的示意圖：

▲?圖7.?課程學(xué)習(xí)效果提升示意圖

假設(shè)我們的目標(biāo)優(yōu)化函數(shù)超曲面是最上方的一個(gè)曲線，下面的曲線分別是簡(jiǎn)單的優(yōu)化函數(shù)超曲面，位置越下面說(shuō)明訓(xùn)練數(shù)據(jù)越簡(jiǎn)單。可以看到，如果一開始就選擇優(yōu)化目標(biāo)超曲面，模型很可能會(huì)陷入到局部峰值中，但是如果通過(guò)一系列合理的中間優(yōu)化函數(shù)由簡(jiǎn)到難逐步逼近目標(biāo)函數(shù)，那么模型就很可能跳出局部峰，達(dá)到更優(yōu)解。關(guān)于更多課程學(xué)習(xí)的最新內(nèi)容，推薦詳讀綜述《A Survey on Curriculum Learning》一文。?

我們具體來(lái)看 SaCLog 中的上課模塊是怎樣實(shí)現(xiàn)的：首先我們使用了一個(gè)基于規(guī)則和模型的混合困難度打分器，模型打分器采用類似交叉驗(yàn)證的方式，將模型在訓(xùn)練集中的 K-fold 驗(yàn)證集上的預(yù)測(cè)概率作為模型得分，規(guī)則打分器利用了一些常見特征，如對(duì)話長(zhǎng)度、當(dāng)前輪槽值個(gè)數(shù)、實(shí)體詞個(gè)數(shù)等作為規(guī)則得分，兩類得分結(jié)合在一起對(duì)整個(gè)訓(xùn)練集進(jìn)行排序，并提前劃分成 10 個(gè) bucket。在 baby step 的訓(xùn)練中，首先讓模型在最簡(jiǎn)單的 bucket 數(shù)據(jù)上訓(xùn)練，當(dāng)模型訓(xùn)練在現(xiàn)階段訓(xùn)練集上收斂時(shí)再依次加入新的 bucket 一起訓(xùn)練，直至最終所有數(shù)據(jù)都加入了累計(jì)訓(xùn)練集。最后模型在全集上進(jìn)一步訓(xùn)練至收斂為止。

2.2.3 復(fù)習(xí)模塊 (review module)?

前面我們提到，復(fù)習(xí)是人類學(xué)習(xí)過(guò)程中的重要一環(huán)，所謂溫故而知新，學(xué)習(xí)完重要的知識(shí)點(diǎn)后需要立即鞏固練習(xí)，針對(duì)薄弱的環(huán)節(jié)加強(qiáng)訓(xùn)練。?

落實(shí)到我們具體的 SaCLog 中的復(fù)習(xí)模塊里，我們采取的方式是基于 schema 信息的數(shù)據(jù)增強(qiáng)方法，由于 schema 中已經(jīng)預(yù)定義好了所有的槽和值，因此我們可以通過(guò)字符串匹配的方式盡可能地從對(duì)話語(yǔ)句中將相應(yīng)位置的槽值找出來(lái)進(jìn)行不同槽值的替換或者同義詞替換，以擴(kuò)充對(duì)話訓(xùn)練數(shù)據(jù)。

我們?cè)谡n程學(xué)習(xí)時(shí)，采取每次迭代的 epoch 結(jié)尾都將模型預(yù)測(cè)出錯(cuò)的 loss 前 10% 的訓(xùn)練數(shù)據(jù)送入復(fù)習(xí)模塊，通過(guò)槽替換、值替換和對(duì)話重組三種規(guī)則方式進(jìn)行數(shù)據(jù)的擴(kuò)充，將新增數(shù)據(jù)并入訓(xùn)練集一起參與下一輪訓(xùn)練。其中，對(duì)話重組是將和當(dāng)前輪對(duì)話數(shù)據(jù)帶有相同對(duì)話狀態(tài)標(biāo)簽的其他對(duì)話數(shù)據(jù)進(jìn)行歷史對(duì)話和后續(xù)對(duì)話進(jìn)行重新組合。

2.3 “預(yù)習(xí)-上課-復(fù)習(xí)”方案的實(shí)驗(yàn)結(jié)果

我們?cè)?MultiWOZ2.1 和 WOZ2.0 兩個(gè)經(jīng)典的多輪對(duì)話數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)。首先，我們將 SaCLog 框架應(yīng)用到目前最好的 transformer-based DST 模型TripPy [10] 上，利用預(yù)習(xí)模塊對(duì) BERT 基座進(jìn)行預(yù)訓(xùn)練，再利用上課模塊和復(fù)習(xí)模塊對(duì) TripPy 進(jìn)行 DST 任務(wù)的 fine-tune，實(shí)驗(yàn)結(jié)果如下圖所示：

可以看到應(yīng)用我們的框架后，TripPy 模型在兩個(gè)數(shù)據(jù)集上性能都有很大提升，取得到了目前最佳結(jié)果，同時(shí)在 MultiWOZ2.1 上我們也進(jìn)行了一個(gè) ablation study，發(fā)現(xiàn)利用預(yù)習(xí)模塊和復(fù)習(xí)模塊能夠帶來(lái)最大的提升。

里為了驗(yàn)證我們框架的通用性，我們也在目前最好的 RNN-based DST 模型 TRADE [11] 上進(jìn)行驗(yàn)證，發(fā)現(xiàn)同樣也能帶來(lái)提升。

整體總結(jié)

本文主要介紹了如何通過(guò)模仿人類“預(yù)習(xí)-上課-復(fù)習(xí)”的三階段學(xué)習(xí)范式，設(shè)計(jì)出一個(gè)適用于對(duì)話狀態(tài)跟蹤任務(wù)的通用優(yōu)化框架。具體來(lái)看我們采用了預(yù)習(xí)、上課、復(fù)習(xí)三個(gè)模塊，通過(guò)充分利用對(duì)話數(shù)據(jù)中的 schema structure 和 curriculum structure 以提升模型的性能。實(shí)驗(yàn)表明，我們?cè)诶昧?SaCLog 優(yōu)化框架后，在多個(gè)多輪對(duì)話數(shù)據(jù)集上都取得了目前最好效果。

新學(xué)習(xí)范式的未來(lái)展望

在未來(lái)，我們希望能將“預(yù)習(xí)-上課-復(fù)習(xí)”三階段學(xué)習(xí)范式擴(kuò)展到更多的任務(wù)中，例如對(duì)話生成、端到端對(duì)話系統(tǒng)，以及其他的 NLP 任務(wù)。希望這樣的新范式能夠帶來(lái)更多的訓(xùn)練優(yōu)化方法上的變革，同時(shí)也準(zhǔn)備在對(duì)話系統(tǒng)的業(yè)務(wù)落地上開展更多的實(shí)踐應(yīng)用。?

智能對(duì)話系統(tǒng)是個(gè)極具前景和挑戰(zhàn)性的方向，達(dá)摩院 Conversational AI 團(tuán)隊(duì)將不斷地探索推進(jìn)在這個(gè)領(lǐng)域的技術(shù)進(jìn)步和落地，敬請(qǐng)期待我們后續(xù)的工作！

參考文獻(xiàn)

[1]?Bengio Y, et al. Curriculum learning. ICML19.?

[2] Yinpei Dai, et al. Preview, Attend and Review: Schema-Aware Curriculum Learning for Multi-Domain Dialog State Tracking.ACL21.?

[3] https://www.educationcorner.com/the-study-cycle.html?

[4] Eric M et al. MultiWOZ 2.1: A consolidated multi-domain dialogue dataset with state corrections and state tracking baselines.LERC, 2020.?

[5] Zhu Q, Huang K, Zhang Z, et al. Crosswoz: A large-scale chinese cross-domain task-oriented dialogue dataset. TACL, 2020.?

[6] Yu T, Zhang R, Polozov O, et al. SCORE: PRE-TRAINING FOR CONTEXT REPRESENTA-TION IN CONVERSATIONAL SEMANTIC PARSING. ICLR 2021.?

[7] Xin Wang, Yudong Chen and Wenwu Zhu. A Survey on Curriculum Learning. PAMI 2021.?

[8] Bengio Y. Evolving culture versus local minima. Growing Adaptive Machines, 2014.?

[9] Spitkovsky V I, Alshawi H, Jurafsky D. From baby steps to leapfrog: How “l(fā)ess is more” in unsupervised dependency parsing. NAACL 2010.?

[10] Heck M, van Niekerk C, Lubis N, et al. Trippy: A triple copy strategy for value independent neural dialog state tracking. SIGDIAL, 2020.?

[11] Wu C S, Madotto A, Hosseini-Asl E, et al. Transferable multi-domain state generator for task-oriented dialogue systems. ACL, 2019.

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

團(tuán)隊(duì)招聘

阿里巴巴-達(dá)摩院-對(duì)話智能技術(shù)團(tuán)隊(duì)招聘：

招聘對(duì)象：實(shí)習(xí)生、應(yīng)屆畢業(yè)生、社招，統(tǒng)統(tǒng)都要~~

工作地點(diǎn)：北京-望京

研究方向（包括但不限于）：?

1. 對(duì)話的核心技術(shù)，包括語(yǔ)言理解、對(duì)話管理和語(yǔ)言生成；?

2. 知識(shí)的結(jié)構(gòu)化挖掘，從文檔中自動(dòng)抽取各類結(jié)構(gòu)化知識(shí)；?

3. 多模態(tài)對(duì)話技術(shù)，包括語(yǔ)言+語(yǔ)音+視覺等；?

4. 數(shù)據(jù)知識(shí)雙驅(qū)動(dòng)的大規(guī)模預(yù)訓(xùn)練對(duì)話模型；?

5. Few-shot Learning/Lifelong Learning 等前沿技術(shù)研究；?

如果你愿意和我們一起創(chuàng)造對(duì)話智能的未來(lái)，熱烈歡迎加入我們！?

關(guān)于我們：?

達(dá)摩院對(duì)話智能（Conversational AI）團(tuán)隊(duì)，專注于 Conversational AI 的前沿研究和大規(guī)模應(yīng)用，打造了任務(wù)型對(duì)話開發(fā)平臺(tái) Dialog Studio，以及 KBQA、TableQA、FAQs、Doc2bot 等智能問(wèn)答技術(shù)，在 ACL/EMNLP/AAAI/IJCAI/WWW/CIKM 等頂會(huì)發(fā)表多篇論文。基于上述技術(shù)打造的阿里云智能客服（即云小蜜），是國(guó)內(nèi)智能客服領(lǐng)域的領(lǐng)導(dǎo)者，在中國(guó)移動(dòng)、中國(guó)人壽、政務(wù) 12345 熱線等企業(yè)或組織大規(guī)模應(yīng)用。?

聯(lián)系方式

簡(jiǎn)歷內(nèi)推：yinpei.dyp@alibaba-inc.com

?

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的预习-上课-复习：让机器像人一样学习对话的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。