在阿里巴巴智能服務(wù)事業(yè)部的X蜂會(huì)上，小蜜北京團(tuán)隊(duì)的高級(jí)算法專(zhuān)家李永彬（水德）分享了小蜜智能對(duì)話(huà)開(kāi)發(fā)平臺(tái)的構(gòu)建，圍繞平臺(tái)來(lái)源、設(shè)計(jì)理念、核心技術(shù)、業(yè)務(wù)落地情況四大維度講述了一個(gè)較為完整的智能任務(wù)型對(duì)話(huà)開(kāi)發(fā)平臺(tái)的全景。以下為演講具體內(nèi)容。

?

平臺(tái)由來(lái)

? ? ? ? 為什么要做一個(gè)平臺(tái)？我覺(jué)得還是從一個(gè)具體的任務(wù)型對(duì)話(huà)的例子說(shuō)起，在我們?nèi)粘９ぷ髦?#xff0c;一個(gè)很高頻的場(chǎng)景就是要約一個(gè)會(huì)議，看一下我們內(nèi)部的辦公助理是怎么來(lái)實(shí)現(xiàn)約會(huì)議的：我說(shuō)“幫我約一個(gè)會(huì)議”，然后它問(wèn)“你是哪一天開(kāi)會(huì)？”，跟它說(shuō)是“后天下午三點(diǎn)”，接下來(lái)它又會(huì)問(wèn)“你跟誰(shuí)一起開(kāi)會(huì)啊？”，我會(huì)把我想約的人告訴它，這個(gè)時(shí)候它在后臺(tái)發(fā)起一次服務(wù)調(diào)用，因?yàn)樗ズ笈_(tái)拿到所有參會(huì)者的日程安排，看一下在我說(shuō)的這個(gè)時(shí)間有沒(méi)有共同的空閑時(shí)間，如果沒(méi)有的話(huà)它會(huì)給我推薦幾個(gè)時(shí)間段，我看了一下我說(shuō)的那個(gè)時(shí)間段大家沒(méi)有共同的空閑時(shí)間，所以我就會(huì)改一個(gè)時(shí)間。我說(shuō)“上午十一點(diǎn)吧”，然后它會(huì)接著問(wèn)，“你會(huì)持續(xù)多長(zhǎng)時(shí)間”，我會(huì)告訴它“一個(gè)小時(shí)”，然后它接著問(wèn)“會(huì)議的主題是什么”，然后我跟它說(shuō)“我們討論一下下周的上線(xiàn)計(jì)劃”，到此為止它把所有的信息收集全了，然后它會(huì)給我一個(gè) summary，讓我確認(rèn)是不是要發(fā)送會(huì)議邀約，我回復(fù)確認(rèn)以后，它在后臺(tái)就會(huì)調(diào)用我們的郵件系統(tǒng)，把整個(gè)會(huì)議邀約發(fā)出來(lái)。

? ? ? ? 這是一個(gè)非常典型的任務(wù)型的對(duì)話(huà)，它滿(mǎn)足兩個(gè)條件，第一，它有一個(gè)明確的目標(biāo)；第二，它通過(guò)多輪對(duì)話(huà)交互來(lái)達(dá)成這個(gè)目標(biāo)。像這樣的任務(wù)型對(duì)話(huà)在整個(gè)辦公行業(yè)里面，除了約會(huì)議以外還有查考勤、請(qǐng)假、定會(huì)議室或者日程安排等等。

? ? ? ? 如果我們把視野再放大一點(diǎn)的話(huà)，再看一下電商行業(yè)，電商行業(yè)里面就會(huì)涉及到開(kāi)發(fā)票、催發(fā)貨、查物流、改地址、收快遞等等，也會(huì)涉及到很多很多的這樣的任務(wù)型對(duì)話(huà)場(chǎng)景；視野再放大一下，我們?cè)倏匆幌码娦判袠I(yè)或者整個(gè)運(yùn)營(yíng)商的行業(yè)里面，會(huì)有查話(huà)費(fèi)、查流量、買(mǎi)套餐、報(bào)故障或者是進(jìn)行密碼的更改服務(wù)等，也會(huì)有大量的這種任務(wù)型的對(duì)話(huà)場(chǎng)景。如果我們?cè)僖徊饺タ吹脑?huà)，像政務(wù)、金融、教育、文娛、健康、旅游等，在各行各業(yè)的各種場(chǎng)景里面我們都會(huì)發(fā)現(xiàn)這種任務(wù)型的對(duì)話(huà)，它是一種剛需，是一種普遍性的存在。

? ? ? ? 所有的這些場(chǎng)景落地到我們小蜜家族的時(shí)候，是通過(guò)剛剛介紹過(guò)的三大小蜜來(lái)承載：阿里小蜜、店小蜜和云小蜜。我們不可能給每一個(gè)行業(yè)里面的每一個(gè)場(chǎng)景去定制一個(gè)對(duì)話(huà)流程，所以我們就沿用了阿里巴巴一貫做平臺(tái)的思路，這也是我們整個(gè)智能對(duì)話(huà)開(kāi)發(fā)平臺(tái)的由來(lái)。這款產(chǎn)品在內(nèi)部的名字叫對(duì)話(huà)工廠(chǎng)（Dialog Studio）。

? ? ? ? 以上主要是給大家介紹我們?yōu)槭裁匆鲋悄軐?duì)話(huà)開(kāi)發(fā)平臺(tái)，總結(jié)起來(lái)就是我們目前面臨的業(yè)務(wù)，面臨的場(chǎng)景太寬泛了，不可能鋪那么多人去把所有的場(chǎng)景都定制化，所以我們需要有一個(gè)平臺(tái)來(lái)讓開(kāi)發(fā)者進(jìn)來(lái)開(kāi)發(fā)各行各業(yè)的各種場(chǎng)景對(duì)話(huà)。

?

設(shè)計(jì)理念

? ? ? ? 再看第二部分，對(duì)話(huà)工廠(chǎng)的一些核心設(shè)計(jì)理念。整個(gè)設(shè)計(jì)理念這塊我覺(jué)得概括起來(lái)就是“一個(gè)中心，三個(gè)原則”。一個(gè)中心就是以對(duì)話(huà)為中心，這句話(huà)大家可能覺(jué)得有點(diǎn)莫名其妙，你做對(duì)話(huà)的，為何還要強(qiáng)調(diào)以對(duì)話(huà)為中心呢？這是有來(lái)源的，因?yàn)樵谶^(guò)去幾年全世界范圍的技術(shù)實(shí)踐以及直到今天很多巨頭的對(duì)話(huà)平臺(tái)里面，我們能看到的基本還是以意圖為中心的設(shè)計(jì)模式，它把意圖平鋪在這里，比如你想完成音樂(lè)領(lǐng)域的一些事情，可是你看到的其實(shí)是一堆平鋪的意圖列表，完全看不出對(duì)話(huà)在哪里。

? ? ? ? 我們?cè)谶@次對(duì)話(huà)工廠(chǎng)的設(shè)計(jì)中徹底把它扭轉(zhuǎn)回來(lái)，對(duì)話(huà)就是要以對(duì)話(huà)為中心，你在我們的產(chǎn)品界面里面看到的不再是一個(gè)個(gè)孤立的意圖，而是關(guān)聯(lián)在一起的、有業(yè)務(wù)邏輯關(guān)系的對(duì)話(huà)流程。以意圖為中心的設(shè)計(jì)中，你看到的其實(shí)是一個(gè)局部視角，就只能實(shí)現(xiàn)一些簡(jiǎn)單的任務(wù)，比如控制一個(gè)燈，講個(gè)笑話(huà)，或者查個(gè)天氣，如果你想實(shí)現(xiàn)一個(gè)復(fù)雜的任務(wù)，比如開(kāi)一個(gè)發(fā)票，或者去 10086 里開(kāi)通一個(gè)套餐，它其實(shí)是較難實(shí)現(xiàn)，很難維護(hù)的。我們把整個(gè)理念轉(zhuǎn)換一下，回到以對(duì)話(huà)為中心以后，就會(huì)看到全局視野，可以去做復(fù)雜的任務(wù)，可以去做無(wú)限的場(chǎng)景。

? ? ? ? 整個(gè)對(duì)話(huà)工廠(chǎng)剛剛也說(shuō)過(guò)了，它是一個(gè)平臺(tái)，要做一個(gè)平臺(tái)就會(huì)遇到很多挑戰(zhàn)：第一個(gè)挑戰(zhàn)就是對(duì)用戶(hù)來(lái)說(shuō)，希望使用門(mén)檻越低越好；第二個(gè)挑戰(zhàn)是要面對(duì)各行各業(yè)的各種場(chǎng)景，就要求能做到靈活定制；第三個(gè)挑戰(zhàn)是上線(xiàn)以后所有的用戶(hù)肯定都希望你的機(jī)器人，你的對(duì)話(huà)系統(tǒng)能夠越用越好，而不是停留在某一個(gè)水平就不動(dòng)了。這就是我們平臺(tái)所面臨的三大挑戰(zhàn)。

? ? ? ? 為了應(yīng)對(duì)這三個(gè)挑戰(zhàn)，我們提出了在整個(gè)平臺(tái)的設(shè)計(jì)以及實(shí)現(xiàn)過(guò)程中始終要遵循三個(gè)原則。

? ? ? ? 第一個(gè)原則是冷啟動(dòng)要快，其實(shí)就是要讓用戶(hù)的使用門(mén)檻低一點(diǎn)；第二個(gè)原則是要有靈活定制的能力，只有這樣才能滿(mǎn)足各行各業(yè)的各種場(chǎng)景需求；第三個(gè)是要有魯棒進(jìn)化的能力，就是模型上線(xiàn)以后，隨著時(shí)間的變化，隨著各種數(shù)據(jù)的不斷回流，模型效果要不斷提升。

冷啟動(dòng)，就是要把用戶(hù)用到的各種能力和各種數(shù)據(jù)都盡量變成一種預(yù)置的能力，簡(jiǎn)單來(lái)說(shuō)就是平臺(tái)方做得越多，用戶(hù)就做得越少；

靈活定制，就要求我們把整個(gè)對(duì)話(huà)平臺(tái)的基礎(chǔ)元素進(jìn)行高度抽象，你抽象的越好就意味著你平臺(tái)的適應(yīng)能力越好，就像是經(jīng)典力學(xué)只要三條定律就夠了；

魯棒進(jìn)化，這一塊就是要在模型和算法上做深度了，語(yǔ)言理解的模型，對(duì)話(huà)管理的模型，數(shù)據(jù)閉環(huán)，主動(dòng)學(xué)習(xí)，在這些方面能夠做出深度來(lái)。

? ? ? ? 以上說(shuō)的都是一些理念和原則，接下來(lái)給大家介紹一下具體在實(shí)現(xiàn)過(guò)程中是怎么來(lái)做的。

?

核心技術(shù)

? ? ? ? 講到技術(shù)這塊的話(huà)，因?yàn)槲覀冏龅氖且粋€(gè)平臺(tái)，涉及到的技術(shù)非常廣，是全棧的技術(shù)，從算法到工程到前端到交互所有的技術(shù)都會(huì)涉及到。我摘取里面算法的核心部分來(lái)給大家做一個(gè)介紹。

? ? ? ? 對(duì)話(huà)工廠(chǎng)首先是用來(lái)做對(duì)話(huà)的，人機(jī)對(duì)話(huà)有兩個(gè)主體，一個(gè)是人，一個(gè)是機(jī)器，人有人的邏輯，人的邏輯使用什么來(lái)表達(dá)呢？到今天為止主要還是通過(guò)語(yǔ)言，所以我們需要有一個(gè)語(yǔ)言理解的服務(wù)來(lái)承載這一塊；機(jī)器有機(jī)器的邏輯，機(jī)器的邏輯到今天為止還是通過(guò)代碼來(lái)表達(dá)的，所以我們需要一個(gè)函數(shù)計(jì)算的服務(wù)；在人和機(jī)器對(duì)話(huà)的過(guò)程中，這種對(duì)話(huà)過(guò)程需要有效的管理，所以我們需要一個(gè)對(duì)話(huà)管理模塊。整個(gè)對(duì)話(huà)工廠(chǎng)最核心的三個(gè)模塊就是語(yǔ)言理解、對(duì)話(huà)管理和函數(shù)計(jì)算。

? ? ? ? 第一個(gè)模塊是語(yǔ)言理解。

? ? ? ? 我們先看一下這個(gè)圖，在整個(gè)這個(gè)圖里面，橫軸是意圖的多樣性，縱軸是頻次，這樣說(shuō)有點(diǎn)抽象，我舉一個(gè)具體的例子，比如說(shuō)我要開(kāi)發(fā)票，這是一個(gè)意圖，如果去采樣十萬(wàn)條這個(gè)意圖的用戶(hù)說(shuō)法作為樣本，把這些說(shuō)法做一個(gè)頻率統(tǒng)計(jì)，可能排在第一位的就是三個(gè)字“開(kāi)發(fā)票”，它可能出現(xiàn)了兩萬(wàn)次，另外排在第二位可能是“開(kāi)張發(fā)票”，它可能出現(xiàn)了八千次，這些都是一些高頻的說(shuō)法，還有一些說(shuō)法說(shuō)的很長(zhǎng)，比如“昨天我在你們商鋪買(mǎi)了一條紅色的裙子，你幫我開(kāi)個(gè)發(fā)票唄”，這種帶著前因后果的句式，在整個(gè)說(shuō)法里面是比較長(zhǎng)尾的，可能只出現(xiàn)了一次或兩次。

? ? ? ? 我們統(tǒng)計(jì)完以后，整個(gè)意圖的說(shuō)法的多樣性分布符合冪律分布。這種特征可以讓我們?cè)诩夹g(shù)上進(jìn)行有效的針對(duì)性設(shè)計(jì)，首先針對(duì)這種高頻的部分，我們可以上一些規(guī)則，比如上下文無(wú)關(guān)文法，可以比較好的 cover 這一塊，但是基于規(guī)則的方法，大家也知道，規(guī)則是沒(méi)有泛化能力的，所以這時(shí)候要上一個(gè)匹配模型，計(jì)算一個(gè)相似度來(lái)輔助規(guī)則，這兩塊結(jié)合在一起就可以把我們高頻確定性的部分解決的比較好；對(duì)于長(zhǎng)尾的多樣性的這一部分，基本到今天為止還是上有監(jiān)督的分類(lèi)模型，去收集或者去標(biāo)注很多數(shù)據(jù)，把這一塊做好；在規(guī)則和分類(lèi)模型之間，我們又做了一部分工作，就是遷移學(xué)習(xí)模型，為什么要引入這個(gè)模型呢？我們看下一張圖。

? ? ? ? 在冷啟動(dòng)階段，用戶(hù)在錄入樣本的時(shí)候，不會(huì)錄入太多，可能錄入十幾條幾十條就已經(jīng)很多了，這個(gè)時(shí)候按照剛才那個(gè)冪律分布，二八原則的話(huà)，它的效果的話(huà)可能也就是 70% 多，它不可能再高了。但對(duì)于用戶(hù)的期望來(lái)說(shuō)，如果想要上線(xiàn)，想要很好的滿(mǎn)足他的用戶(hù)需求，其實(shí)是想要模型效果在 90% 以上，如果想要達(dá)到這個(gè)效果，就需要復(fù)雜的模型，需要標(biāo)注大量數(shù)據(jù)。所以其實(shí)是存在一個(gè) gap 的，我們引入了遷移學(xué)習(xí)模型。

? ? ? ? 具體來(lái)說(shuō)，我們把膠囊網(wǎng)絡(luò)引進(jìn)來(lái)和 few-shot learning 結(jié)合在一起，提出了一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)叫 Induction Network，就是歸納網(wǎng)絡(luò)。整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)有三層，一層是 Encoder層，第二層是 Induction，歸納層，第三層是 Relation 層。

第一層負(fù)責(zé)將每一個(gè)類(lèi)的每一個(gè)樣本進(jìn)行編碼，編碼成一個(gè)向量；第二層是最核心的一層，也就是歸納層，這里面利用膠囊網(wǎng)絡(luò)的一些方法，把同一個(gè)類(lèi)的多個(gè)向量歸納成一個(gè)向量；然后第三層 Relation 層把用戶(hù)新來(lái)的一句話(huà)和每一個(gè)類(lèi)的歸納向量進(jìn)行關(guān)系計(jì)算，輸出他們的相似性打分。如果我們想要一個(gè)分類(lèi)結(jié)果就輸出一個(gè) One-hot，如果不想要 One-hot，就輸出一個(gè)關(guān)系的 Relation score，這是整個(gè) Induction network 的網(wǎng)絡(luò)結(jié)構(gòu)。

? ? ? ? 這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)提出來(lái)以后，在學(xué)術(shù)圈里面關(guān)于 few-shot learning 的數(shù)據(jù)集上，我們以比較大的提升幅度做到了 state-of-the-art 的效果，目前是最好的，同時(shí)我們將整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)上線(xiàn)到了我們的產(chǎn)品里面，這是語(yǔ)言理解。

?

? ? ? ? 第二塊我們看對(duì)話(huà)管理。

? ? ? ? 對(duì)話(huà)管理其實(shí)我剛剛也說(shuō)過(guò)了，如果想要讓平臺(tái)有足夠的適應(yīng)性的話(huà)，那么它的抽象能力一定要好。

? ? ? ? 對(duì)話(huà)管理是做什么的？對(duì)話(huà)管理就是管理對(duì)話(huà)的，那么對(duì)話(huà)是什么呢？對(duì)話(huà)的最小單位就是一輪，一個(gè) turn，我們進(jìn)去看的話(huà)，一個(gè) turn 又分為兩部分，一個(gè)叫對(duì)話(huà)輸入，一個(gè)叫對(duì)話(huà)輸出；在輸入和輸出中間，有一個(gè)對(duì)話(huà)處理的過(guò)程，就像兩個(gè)人互相交流一樣，我問(wèn)你答，但其實(shí)你在答之前是有一個(gè)思考過(guò)程的，如果你不思考就回答，那你的答案就是沒(méi)有質(zhì)量的，所以就會(huì)有一個(gè)中間的對(duì)話(huà)處理過(guò)程。我們把對(duì)話(huà)抽象到這種程度以后，整個(gè)平臺(tái)就三個(gè)節(jié)點(diǎn)，一個(gè)叫觸發(fā)節(jié)點(diǎn)，一個(gè)叫函數(shù)節(jié)點(diǎn)，一個(gè)叫回復(fù)節(jié)點(diǎn)。

觸發(fā)節(jié)點(diǎn)是和用戶(hù)的對(duì)話(huà)輸入對(duì)著的，函數(shù)節(jié)點(diǎn)是和對(duì)話(huà)處理對(duì)著的，回復(fù)節(jié)點(diǎn)是和對(duì)話(huà)輸出對(duì)著的。有了這一層抽象以后，無(wú)論你是什么行業(yè)的什么場(chǎng)景，什么樣的對(duì)話(huà)流程，都可以通過(guò)這三個(gè)節(jié)點(diǎn)通過(guò)連線(xiàn)把你的業(yè)務(wù)流畫(huà)出來(lái)。

? ? ? ? 舉兩個(gè)例子，先看一個(gè)簡(jiǎn)單的，你要查一個(gè)天氣，很簡(jiǎn)單，先來(lái)一個(gè)觸發(fā)節(jié)點(diǎn)，把天氣流程觸發(fā)起來(lái)，中間有兩個(gè)函數(shù)節(jié)點(diǎn)，一個(gè)是調(diào)中央氣象臺(tái)的接口，把結(jié)果拿過(guò)來(lái)，另一個(gè)是對(duì)結(jié)果進(jìn)行一次解析和封裝，以一個(gè)用戶(hù)可讀的形式通過(guò)回復(fù)節(jié)點(diǎn)回復(fù)給用戶(hù)。這里面稍微解釋一下就是增加了一個(gè)填槽節(jié)點(diǎn)，填槽節(jié)點(diǎn)是什么意思呢？就是在任務(wù)型對(duì)話(huà)里面，幾乎所有的任務(wù)都需要收集用戶(hù)的信息，比如你要查天氣，就需要問(wèn)時(shí)間是哪一天的，地點(diǎn)是什么地方的，這樣就叫做填槽，填槽因?yàn)樘Ｓ锰毡榱?#xff0c;就符合我們冷啟動(dòng)快里面做預(yù)置的思想，所以通過(guò)三個(gè)基礎(chǔ)節(jié)點(diǎn)，我們自己把它搭建成填槽的一個(gè)模板，需要填槽的時(shí)候從頁(yè)面上拖一個(gè)填槽節(jié)點(diǎn)出來(lái)就可以了。

? ? ? ? 我們?cè)倏匆粋€(gè)復(fù)雜的場(chǎng)景，這是在線(xiàn)教育里面的一個(gè)外呼場(chǎng)景，家里有小孩的可能知道，這種在線(xiàn)教育特別火，在上課之前半小時(shí)，機(jī)器人就會(huì)主動(dòng)給用戶(hù)打電話(huà)，指導(dǎo)軟件下載，指導(dǎo)怎么登陸，登陸進(jìn)去以后怎么進(jìn)入教室，所有的這些流程都可以通過(guò)機(jī)器人進(jìn)行引導(dǎo)。

? ? ? ? 通過(guò)這兩個(gè)例子我們就可以看到，無(wú)論是簡(jiǎn)單還是復(fù)雜的場(chǎng)景，通過(guò)這三種抽象節(jié)點(diǎn)的連線(xiàn)都可以實(shí)現(xiàn)。有時(shí)候我們開(kāi)玩笑就會(huì)說(shuō)，整個(gè)這種連線(xiàn)就叫一生二，二生三，三生萬(wàn)千對(duì)話(huà)。

? ? ? ? 講了抽象以后，再看一下具體的對(duì)話(huà)管理技術(shù)。從實(shí)現(xiàn)上來(lái)說(shuō)，這張圖和大家剛才看到的語(yǔ)言理解那張是一模一樣的，因?yàn)楹芏鄸|西的分布其實(shí)是遵循著共同規(guī)律的，區(qū)別在與把意圖換成了對(duì)話(huà)。

? ? ? ? 舉一個(gè)例子，比如像查天氣這樣的，如果采集十萬(wàn)個(gè)查天氣的樣本，對(duì)這些用戶(hù)的說(shuō)法進(jìn)行一個(gè)頻率統(tǒng)計(jì)的話(huà)，大概就是這樣一個(gè)曲線(xiàn)，用兩步能夠完成的，比如說(shuō)查天氣，先填槽一個(gè)時(shí)間再填槽一個(gè)地點(diǎn)，然后返回一個(gè)結(jié)果，通過(guò)這種流程來(lái)完成的，可能有兩萬(wàn)次；中間可能會(huì)引入一些問(wèn) A 答 B 的情況，這樣的 B 可能有各種各樣的，就跑到長(zhǎng)尾上來(lái)了，這樣整個(gè)對(duì)話(huà)其實(shí)也遵循一個(gè)冪律分布。

? ? ? ? 對(duì)于高頻確定的部分，可以用狀態(tài)機(jī)進(jìn)行解決，但狀態(tài)機(jī)同樣面臨一個(gè)問(wèn)題，它沒(méi)有一個(gè)很好的容錯(cuò)能力，當(dāng)問(wèn) A 答 B 的時(shí)候，機(jī)器不知道下面怎么接了。在這種情況下，需要引入一個(gè)類(lèi)人能力，對(duì)狀態(tài)機(jī)的能力進(jìn)行補(bǔ)充，狀態(tài)機(jī)加上類(lèi)人能力以后，基本上可以把高頻的對(duì)話(huà)比較好的解決了。對(duì)于長(zhǎng)尾上的對(duì)話(huà)，目前對(duì)于整個(gè)學(xué)術(shù)界或者工業(yè)界都是一個(gè)難題，比較好的解決方式就是上線(xiàn)以后引入在線(xiàn)交互學(xué)習(xí)，不斷跟用戶(hù)在對(duì)話(huà)過(guò)程中學(xué)習(xí)對(duì)話(huà)。在狀態(tài)機(jī)和在線(xiàn)交互學(xué)習(xí)之間其實(shí)是有 gap 的，因?yàn)闋顟B(tài)機(jī)自己沒(méi)有學(xué)習(xí)能力，所以需要引入增強(qiáng)學(xué)習(xí)。接下來(lái)我會(huì)介紹在類(lèi)人能力以及增強(qiáng)學(xué)習(xí)方面的一些工作。

? ? ? ? 先看一下類(lèi)人能力。我們把人說(shuō)的話(huà)，做一下分類(lèi)大概可以分為三種：第一種就是用戶(hù)說(shuō)的話(huà)清晰明了只有一個(gè)意思，這種其實(shí)對(duì)機(jī)器來(lái)說(shuō)是可理解的；第二種機(jī)器壓根兒不知道在說(shuō)啥，也就是 unknown 的；還有一種就是用戶(hù)表達(dá)的意思可以理解，但是有歧義，有可能包含著兩個(gè)意圖、三個(gè)意圖，就是uncertain，不確定的。確定性的，狀態(tài)機(jī)其實(shí)是可以很好地捕捉和描述的，類(lèi)人能力主要關(guān)注拒識(shí)的和不確定性的。

? ? ? ? 對(duì)于拒識(shí)這塊，比如還是在線(xiàn)英語(yǔ)的這個(gè)例子，機(jī)器人打來(lái)一個(gè)電話(huà)，問(wèn)現(xiàn)在方不方便調(diào)試設(shè)備，這個(gè)時(shí)候從設(shè)計(jì)的角度來(lái)說(shuō)希望用戶(hù)回答方便或者不方便就OK了，但是一旦這個(gè)用戶(hù)回答了一個(gè)比較個(gè)性化的話(huà)，比如，“呃，我剛掃完地，過(guò)會(huì)兒可能有人要來(lái)”，這時(shí)候我們的語(yǔ)言理解模塊很難捕捉到這是什么語(yǔ)義，這時(shí)候需要引入一個(gè)個(gè)性化的拒識(shí)，比如說(shuō)，“您好，不好意思，剛才沒(méi)聽(tīng)明白，請(qǐng)問(wèn)您現(xiàn)在是否方便調(diào)試，如果您不方便，我過(guò)會(huì)兒再給您打過(guò)來(lái)”，這個(gè)就是對(duì)話(huà)的兜底，是對(duì) unknown 的處理。

? ? ? ? 第二個(gè)我們看一下澄清，用戶(hù)說(shuō)的一句話(huà)里面，如果是模糊不清的怎么辦？我們通過(guò)大量的數(shù)據(jù)分析發(fā)現(xiàn)這種模糊不清主要出現(xiàn)在兩種情況下，一種是用戶(hù)把多個(gè)意圖雜糅在一段話(huà)里來(lái)表達(dá)；第二種是用戶(hù)在表達(dá)一個(gè)意圖之前做了很長(zhǎng)的鋪墊，對(duì)于這兩種長(zhǎng)句子現(xiàn)在的語(yǔ)言理解給出的是意圖的概率分布，我們把這個(gè)概率分布放到對(duì)話(huà)管理模塊以后就需要讓用戶(hù)進(jìn)行一輪澄清。比如這個(gè)例子，這是移動(dòng)領(lǐng)域的一個(gè)例子，這句話(huà)理解有三種意圖，到底是想問(wèn)花費(fèi)明細(xì)，還是套餐的事情還是想問(wèn)合約的低保，把這三個(gè)問(wèn)題拋給用戶(hù)進(jìn)行澄清就可以了。

? ? ? ? 從技術(shù)上來(lái)說(shuō)是怎么實(shí)現(xiàn)的呢，我們看一下這個(gè)圖，開(kāi)發(fā)者負(fù)責(zé)把對(duì)話(huà)流程用流程圖清晰描述出來(lái)，然后像澄清這種其實(shí)是我們系統(tǒng)的一種內(nèi)置能力，什么時(shí)候澄清是通過(guò)下端的這兩個(gè)引擎里面的能力來(lái)決定的，第一塊是 Error Detection，它用來(lái)檢測(cè)用戶(hù)當(dāng)前說(shuō)的這句話(huà)是否需要觸發(fā)澄清，一旦它覺(jué)得要觸發(fā)澄清，就會(huì)交給下一個(gè)模塊，究竟用什么樣的方式澄清以及怎么生成澄清的話(huà)術(shù)，這是目前我們整個(gè)智能澄清這塊做的工作。

? ? ? ? 再看一下我們?cè)谠鰪?qiáng)學(xué)習(xí)方面的工作。在對(duì)話(huà)管理模型里面，經(jīng)典的分成兩個(gè)模塊，一個(gè)是 neural belief tracker，用來(lái)做對(duì)話(huà)狀態(tài)追蹤的，另一個(gè)是 policy network，用來(lái)做行為決策的。在整個(gè)框架下，要去訓(xùn)練這個(gè)網(wǎng)絡(luò)的時(shí)候，有兩種訓(xùn)練方式，一種是端到端的去訓(xùn)練，用增強(qiáng)學(xué)習(xí)去訓(xùn)練，但這種方式一般它的收斂速度會(huì)比較慢，訓(xùn)練出的結(jié)果也不好；另外一種方式是先分別做預(yù)訓(xùn)練，這個(gè)時(shí)候用監(jiān)督學(xué)習(xí)訓(xùn)練就好了，不用增強(qiáng)學(xué)習(xí)訓(xùn)練，訓(xùn)練完以后再用增強(qiáng)學(xué)習(xí)對(duì)監(jiān)督學(xué)習(xí)預(yù)訓(xùn)練的模型進(jìn)行調(diào)優(yōu)就可以了。

? ? ? ? 無(wú)論是端到端的一步訓(xùn)練還是先預(yù)訓(xùn)練再調(diào)優(yōu)，只要涉及增強(qiáng)學(xué)習(xí)這一塊，都需要有一個(gè)外部環(huán)境，所以在我們的實(shí)現(xiàn)架構(gòu)里面，引入了模擬器的概念，就是user simulator。模擬器這主要分為三大塊，一個(gè)是 user model，用來(lái)模擬人的行為的；第二個(gè)是 error model，模擬完人的行為以后經(jīng)過(guò) error model 引入一個(gè)錯(cuò)誤擾動(dòng)，用 user model 產(chǎn)出的只是一個(gè)概率為 1 的東西，它對(duì)網(wǎng)絡(luò)訓(xùn)練是不夠好的，error model 會(huì)對(duì)這個(gè)結(jié)果進(jìn)行擾動(dòng)并給他引進(jìn)幾個(gè)其他的結(jié)果，并且把概率分布進(jìn)行重新計(jì)算一下，這樣訓(xùn)練出的模型在擴(kuò)展能力或者泛化能力上會(huì)更好一些；第三個(gè)模塊是 reward model，用來(lái)提供 reward 值。這是我們今天在整個(gè)增強(qiáng)學(xué)習(xí)的對(duì)話(huà)管理這塊的一些工作。

? ? ? ?

? ? ? ? 最后看一下函數(shù)計(jì)算。

? ? ? ? 函數(shù)計(jì)算是什么東西呢？還是舉一個(gè)例子吧，比如說(shuō)，10086 里面用戶(hù)說(shuō)要查一下話(huà)費(fèi)，10086 那邊的機(jī)器人就會(huì)回復(fù)一句是發(fā)短信還是播放語(yǔ)音，表面看來(lái)就是簡(jiǎn)單的一入一出，其實(shí)在這背后要經(jīng)過(guò)多輪的服務(wù)查詢(xún)，才能完成這個(gè)結(jié)果，因?yàn)楫?dāng)要查話(huà)費(fèi)的時(shí)候，先要經(jīng)過(guò)函數(shù)計(jì)算查一下現(xiàn)在是哪一天，如果是下賬期的話(huà)是不能查話(huà)費(fèi)的，就是每個(gè)月的最后一天不能查話(huà)費(fèi)，如果可以查話(huà)費(fèi)的話(huà)，先看一下用戶(hù)是否存在話(huà)費(fèi)，如果存在花費(fèi)的話(huà)第三步調(diào)用的服務(wù)看是不是停機(jī)了，因?yàn)橥C(jī)了的話(huà)只能語(yǔ)音播報(bào)不能接收短信。所以看一下在一個(gè)簡(jiǎn)單的一入一出的對(duì)話(huà)背后，是走了一個(gè)復(fù)雜的流程的，這些流程今天都是在機(jī)器端用代碼來(lái)實(shí)現(xiàn)的。函數(shù)計(jì)算的引入，使對(duì)話(huà)工廠(chǎng)可以去處理復(fù)雜的任務(wù)。

?

業(yè)務(wù)應(yīng)用

? ? ? ? 最后我們看一下對(duì)話(huà)工廠(chǎng)的業(yè)務(wù)應(yīng)用情況。這是我們?cè)谡憬暇€(xiàn)的 114 移車(chē)，當(dāng)有市民舉報(bào)違規(guī)停車(chē)擋路后，就會(huì)自動(dòng)打一個(gè)電話(huà)讓他移車(chē)。第二個(gè)是在金融領(lǐng)域里面關(guān)于貸款催收的例子。在剛剛過(guò)去的雙十一里面，對(duì)話(huà)工廠(chǎng)在整個(gè)電商里面也有大量應(yīng)用，主要是在店小蜜和阿里小蜜里面。店小蜜主要是一些開(kāi)發(fā)票、催發(fā)貨、改地址這樣的流程，這里是一個(gè)開(kāi)發(fā)票的例子，用戶(hù)可能會(huì)先說(shuō)一個(gè)開(kāi)發(fā)票，進(jìn)來(lái)以后要進(jìn)行復(fù)雜的流程，一種是在說(shuō)的時(shí)候其實(shí)他已經(jīng)把它的訂單號(hào)送進(jìn)來(lái)了，如果沒(méi)有說(shuō)訂單號(hào)的話(huà)需要去后臺(tái)系統(tǒng)查訂單號(hào)，查出來(lái)以后彈一個(gè)訂單選擇器選擇訂單，接下來(lái)如果是個(gè)人發(fā)票就走這個(gè)流程，如果是公司發(fā)票走另一個(gè)流程，接下來(lái)會(huì)問(wèn)是普通發(fā)票還是增值稅發(fā)票，如果是普通發(fā)票接著往這兒走，如果是增值稅發(fā)票需要獲取企業(yè)增值稅的稅號(hào)，最后匯總到一個(gè)節(jié)點(diǎn)，調(diào)用后臺(tái)開(kāi)發(fā)票的系統(tǒng)，把發(fā)票開(kāi)出來(lái)。這是這次雙十一里面用到的開(kāi)發(fā)票的一個(gè)例子。

? ? ? ? 最后看一下我們整體的落地情況。整個(gè)對(duì)話(huà)工廠(chǎng)在店小蜜里面主要是做像開(kāi)發(fā)票這樣的售后流程的處理。在云小蜜，公有云是一大塊；私有云現(xiàn)在有很多家客戶(hù)了，主要有銀行、電信運(yùn)營(yíng)商還有金融等；釘釘是我們另一個(gè)重要的端，釘釘上也有幾百萬(wàn)的企業(yè)；內(nèi)外小蜜是我們集團(tuán)用小蜜實(shí)現(xiàn)的一個(gè)辦公助理；另外兩個(gè)巨大的客戶(hù)，一個(gè)是浙江省的政務(wù)，第二個(gè)是中國(guó)移動(dòng)，這也是是云小蜜的業(yè)務(wù)。阿里小蜜主要是負(fù)責(zé)阿里巴巴集團(tuán)內(nèi)部各個(gè) BU 的業(yè)務(wù)，手淘是一個(gè)最大的業(yè)務(wù)，進(jìn)入手機(jī)淘寶以后，進(jìn)入“我的”里面有一個(gè)客服小蜜，就是阿里小蜜；上個(gè)月我們剛剛在優(yōu)酷上線(xiàn)了優(yōu)酷小蜜，星巴克是 9 月份上的，是屬于新零售的一個(gè)最大的嘗試點(diǎn)，還有很多其他的場(chǎng)景。

?

總結(jié)

? ? ? ? 小蜜智能對(duì)話(huà)開(kāi)發(fā)平臺(tái)，即對(duì)話(huà)工廠(chǎng)（Dialog Studio），以對(duì)話(huà)為中心來(lái)設(shè)計(jì)，使得對(duì)話(huà)開(kāi)發(fā)者能夠看到全局視野，可以去做復(fù)雜的任務(wù)，可以去做無(wú)限的場(chǎng)景。同時(shí)，作為一個(gè)平臺(tái)性產(chǎn)品，為了能夠?qū)崿F(xiàn)低門(mén)檻、適用于各行各業(yè)以及具備效果持續(xù)提升能力，在整個(gè)設(shè)計(jì)實(shí)現(xiàn)中，遵循冷啟動(dòng)快、靈活定制、魯棒進(jìn)化三大原則。技術(shù)方面，我們?cè)谡Z(yǔ)言理解、對(duì)話(huà)管理、遷移學(xué)習(xí)、增強(qiáng)學(xué)習(xí)以及模仿學(xué)習(xí)等各方面做了深入探索，部分成果做到了學(xué)術(shù)界state-of-the-art。業(yè)務(wù)方面，對(duì)話(huà)工廠(chǎng)在小蜜家族的大量業(yè)務(wù)中落地應(yīng)用，帶來(lái)了良好的業(yè)務(wù)價(jià)值。

? ? ? ? 對(duì)話(huà)工廠(chǎng)，“讓人和機(jī)器自由對(duì)話(huà)”！

?

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的四大维度全景揭秘阿里巴巴智能对话开发平台的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。