人一样自然流畅地说话，下一代智能对话系统还有多长的路要走？
為了推動 AI 技術的應用創新，促進人工智能領域的學術交流、人才培養，打造人工智能的人才交流平臺與產業生態圈，中國人工智能學會聯合杭州市余杭區人民政府聯合發起了首屆全球人工智能技術創新大賽，并得到了阿里云、OPPO 等頭部科技企業的積極參與和支持。阿里云天池平臺為本次大賽提供平臺和算力支撐。
AI青年說是大賽主辦方為提升青年開發者對 AI 的認識而主辦的系列活動，該活動邀請知名青年學者，探討理論研究與應用實踐中的熱點話題。本文對AI青年說系列活動第二期「如何摘取 AI 皇冠上的 NLP 明珠」核心內容進行了總結回顧。
作為人工智能的一個子領域，自然語言處理（NLP）指的是機器理解并解釋人類書面語和口語的能力，目的在于使計算機像人類一樣智能地理解語言和用語言表達，彌補人類交流（自然語言）和計算機理解（機器語言）之間的差距。目前，NLP 已經具有了廣泛的應用領域，如信息提取、文本生成、機器翻譯、情感分析、知識圖譜、智能問答、對話系統等。
其中，對話系統在最近幾年發展非常迅速，特別在 NLP 頂會上的論文數量逐步增多。如果說，自然語言處理是 AI 皇冠上的明珠，那么對話系統就是「NLP 皇冠上的明珠」，并且以蘋果 Siri 等為代表的的任務型對話和以微軟小冰為代表的非任務型（聊天型）對話尤為受到學界和業界關注。
所謂智能對話系統，就是在各種智能算法的支撐下，使機器理解人類語言的意圖并通過有效的人機交互執行特定任務或做出回答。隨著技術的不斷發展，任務型對話系統在虛擬個人助理、智能家居、智能汽車（車載語音）等領域有了廣泛應用。聊天型對話系統也在娛樂和情感陪護領域找到了應用場景。
但我們應看到，這些傳統對話系統存在著一些問題，如語義理解不準確造成答非所問，對話中展示的身份與個性不一致而難以獲得用戶信任，以及對話交互中可能存在的道德倫理風險等。所以，如何規避解決這些問題并開發交互效果更好的下一代對話系統逐漸成為了業內的熱門研究課題。研究人員也基于各自不同的視角提出了對下一代對話系統的暢想。
在首屆全球人工智能技術創新大賽「AI 青年說」系列活動的第二期直播分享中，自然語言處理領域的兩位專家——清華大學計算機系長聘副教授、博士生導師黃民烈和西湖大學終身副教授張岳，分別帶來了《下一代對話系統》和《關于開放域對話挑戰的思索》的主題分享，并以「關于讓機器說人話這件事」 展開圓桌討論。
在本期分享中，清華大學副教授黃民烈為我們詳細介紹了任務導向型和開放域兩種主要的對話系統，并勾勒了下一代有知識、有個性和有情感的智能對話系統愿景。西湖大學副教授張岳則向我們介紹了開放領域對話的挑戰思索，并從三個方面進行介紹，分別是跨領域可拓展性、社會常識推理和邏輯推理（又分為機器閱讀理解和文本蘊含問題）。
在下文中，機器之心在不改變原意的基礎上對兩位專家的分享進行了整理。
黃民烈：
有知識、有個性和有情感的下一代對話系統
大家好，我是來自清華大學的黃民烈，今天非常高興能跟各位老師和同學做這樣的一個交流和分享。我的分享主題是《下一代對話系統》。
我們知道，對話系統的歷史非常悠久，最早可以追溯到 1966 年 MIT 的 Eliza，這是一個以心理咨詢為代表的對話系統，在過去幾十年以及今天都產生了非常廣泛的影響。2011 年，蘋果推出了語音助手 Siri，使得這一類的對話系統在工業界引起了廣泛關注。2014 年微軟推出了第一款社交機器人微軟小冰，使得用戶可以跟對話系統進行聊天互動。2020 年又出現了很多超大規模的預訓練模型，包括 Google 的 Meena、 FAIR 的 Blender 和百度的 PLATO。這些預訓練模型將對話系統的研究推向了一個新的高潮，也就是說在開放域的聊天里，我們可以生成非常好的、自然的對話。
在對話系統的發展歷程中，我認為有一些比較重要的事件，比如 Alexa 大獎賽，2017 年第一屆、2018 年第二屆以及 2019 年第三屆。大獎賽對于對話系統的技術研究和推動具有非常顯著的作用。我們可以看到在這幾屆大獎賽上，最好的對話系統能達到什么樣的水平呢？它們能夠通過人工評價的分數大概是 3.1 分，能夠跟用戶持續地聊上十分鐘。應該來說，這是一個非常了不起的成就。
剛才我們所說的 Google Meena 對話系統，它是一個超大規模的模型，使用了約 26 億的參數，約 400 億詞的對話數據去訓練，并且在 TPU 上訓練了約 30 天的時間。Meena 對話系統的效果怎么樣呢？它可以生成非常自然的對話，比如說在下面一個例子里，Meena 說「牛很聰明，都去 Hayvard 了」。通過 Harvard 和 Hayvard 這個諧音雙關，現在的這種大規模對話模型可以產生比較自然，甚至讓用戶代入感很強的、類似笑話的對話。
我們再來看 2020 年 FAIR 推出的 Blender，它的參數規模最大的版本約是 94 億，使用的數據也相當驚人。它用了約 8880 億個文本 token 訓練這樣一個模型，同時綜合了各種技能，比方個性的嵌入、知識的賦值以及共情。所以，Blender 是一個具有混合技能的對話系統，也可以產生非常自然的對話。
當前兩種主要的對話系統
當前對話系統可以總結為以下兩種類型，第一種叫任務導向型的對話系統，也就是通常意義上所說的手機助理；第二種叫開放域的對話系統，也就是我們通常意義上所說的聊天機器人。
在第一種任務型的對話系統中，我們通常會有一些流水線的處理方法。如上圖（左）所示，用戶講了一句話「你能不能幫我找一個中餐館」，這個時候我們就要經過自然語言處理模塊，把這句話分析成一個結構化的意圖，這里的意圖應當是為說話人提供信息，這里需要一些語義理解能力。接下來要做的是對話狀態跟蹤和對話策略學習，這個模塊是為了管理對話過程中的一些對話狀態和相應的一些變量，使得我們這個系統能夠知道當前所處的是什么狀態，以及接下來應該往哪個方向去走。在對話策略模塊，我們會預測出來它相應的結構化意圖，它會通過自然語言生成模塊轉換為一個自然語句，這里就是「Where do you want to eat?」這樣一句話，然后進行用戶的交互。經過反復的交互和迭代，我們的對話系統就能夠完成相應的任務和功能。
另一種就是所謂的開放域對話系統。在這類對話系統中，我們通常采用一種端到端架構，就是說我們開始是有對話的上文，如上圖（右）給了三句話，其中用戶說了一句話，然后機器說了一句話，用戶又說了一句話，這個時候我們要決定機器到底該說什么。經過編碼器之后，我們會再經過解碼器，它可以把機器生成的一句話，一個詞一個詞地解碼出來。我們可以采用一些常用的神經網絡架構，比方說循環神經網絡（RNN）以及基于 Transformer 的神經網絡架構，去做這種端到端的神經模型。
挑戰和不足
從上文講述的 Google Meena 和 FAIR Blender 這種對話系統中，我們可以看到基于現代大模型的對話系統已經取得了令人驚嘆的效果，但依然面臨很多的挑戰和不足。
首先是語義理解的問題，比如用戶講了一句「How large is your house？你家多大？」微軟小冰系統卻把它理解為「你多大？」一字之差，意義就差得非常遠。
其次是個性身份一致性的問題，比如用戶問「你幾歲了？」小冰回答說「我是 90 后」。用戶再問「你是哪一年出生的？」小冰回答說「75 年出生的」。所以，90 后、75 年這種前后個性和身份不一致，會產生比較重大的問題。
Google Meena 對話系統也存在類似的問題，比如用戶問「你最喜歡的樂隊是什么？」Meena 回答說「Avenged Sevenfold，七級煉獄」。接著用戶又問「你最不喜歡的樂隊是什么？」Meena 依然回答說「Avenged Sevenfold」。這就會給用戶造成非常大的困擾。
再來看 Meena 的另外一個例子。Meena 先說「新的一年想要學習廣東話和法語」，后面又說「已經基本熟悉廣東話并且已經在學校學習法語了」。這種前后不一致很容易給用戶造成困擾，也很難贏得用戶信任。
因此，與對話系統進行深入的交流和探討非常困難。
對話系統還可能會產生比較嚴重的社會倫理和道德問題。以蘋果語音助手 Siri 為例，用戶跟 Siri 說「I want to sleep and never wake up」，這大概是隱晦地表示自己想自殺。但 Siri 理解不了，它找到一些相應的賓館，給出了距離，并回答說「remind me to kill myself tomorrow」。Siri 以為是要給用戶設定一個提醒鬧鐘，那么這種情況就會產生非常嚴重的社會倫理問題。
總的來說，當前的對話系統面臨三個問題，第一個是語義性的問題，第二個是一致性的問題，第三個是交互性的問題。對于語義性問題，我們希望對話系統能夠理解內容（content）、文本（context）和場景（scene）；對于一致性問題，我們希望對話系統能夠產生與個性和身份一致的對話；對于交互性問題，我們希望對話系統與用戶進行情感、情緒上的交流，然后綜合運用這種行為策略，實現交互性很強的對話。
下一代對話系統——社交機器人
聊完了當前兩種主要的對話系統以及面臨的一些問題和不足，那么下一代對話系統應該具備什么樣的能力呢？我把它總結為社交機器人（social chatbot）。一方面要具有 IQ，即能夠幫助用戶做任務、做問答和做推薦。另一方面希望它具有 EQ，即所謂情商，比如能夠理解情感情緒，能夠共情，能夠實現深入的社交互動。
我們先來看兩個維度：完成任務的能力和社交連接（social connection）能力。與任務導向型和聊天機器人相比，任務導向型對話系統具有很強的任務完成能力，但是社交能力比較低；而對于聊天機器人來講，它的主要目標是社交，任務完成能力比較低。因此，下一代對話系統應該是同時具備很強的任務完成能力和社交連接能力。
不同對話系統的技術處理和實現思路也是不一樣的。任務導向型對話系統具有很強的語義能力，所以需要去做實體識別、意圖理解、語義分析以及填槽等能力。對于開放性的聊天機器人，我們注重弱語義處理的能力，包括利用數據驅動、端到端系統，更多是用當前的深度學習模型以及大規模神經網絡模型去做。因此，在未來構建下一代對話系統時，我們希望能夠把強語義對話系統和弱語義對話系統的方法結合起來。
信息、社交、情感需求缺一不可
總的來說，下一代對話系統應該具備兩方面的能力，其一滿足用戶的信息需求，其二滿足用戶的社交需求。我們需要綜合運用多種技能，并且在多種場景和領域中都能夠發揮作用。
我們可以用三句話來概括，第一句話「有知識，言之有物」，第二句「有個性，能夠實現擬人化」，第三句話「在情感上有情感、有溫度，能夠做一些精細的情感類任務」。
首先來看第一個方面——知識賦值。比如在這個對話示例中，我們討論的是一個關于歌手汪峰的主題。在這個主題里，我們涉及到汪峰的歌《飛得更高》，這首歌入選了中歌榜中國年度最受華人歡迎十大金曲以及它所發布的日期和作者。可以看到，在這樣的對話過程中，我們需要對應到一個嚴格的知識圖譜。知識圖譜使得我們的對話過程言之有物，而不是在那里空聊和閑聊。這實際上就是這個方向的代表性工作。
又比如下圖示例中，用戶說「I have asthma since three years old. 我從三歲起就得了哮喘」。如果我們能把 asthma 關聯到右邊的知識圖譜上，就可以把這個知識圖譜用圖嵌入（graph embedding）的方法，去做知識感知的編碼。接著在解碼階段，我們可以用圖注意力（graph attention），通過動態注意力機制，去做知識感知的解碼。經過這樣的處理，實現一定程度的理解，這樣我們生產的內容就能夠更加言之有物，更加有信息量。
第二個方面則希望對話系統能夠有個性，要有固定的人設和身份。從心理學的研究可以知道，個性（personality）是一個研究得非常深入的概念，在游戲、客服以及虛擬智能體上都有非常重要的作用。如果一個智能系統能夠體現一致的個性，則這個系統更值得信任，能夠進行有效的社交交互。
個性又可以分成兩種，一種叫外在的 persona，另一種叫內在的 personality。上文的 90 后、75 年這樣的示例，就是在對話的過程中缺乏一致的身份和個性，使得對話系統在對話的過程中難以取得用戶的信任，因此也就難以進行有效的社交互動。
如下圖（左）的微博對話示例，涉及到 Speaker A 和 Speaker B，它們都被賦予了固定的身份。Speaker A 是男性，地址北京，他有一些個人的偏好；Speaker B 是女性，地址哈爾濱，她也有自己的個人興趣等特定的標簽。我們可以看到在對話過程中，Speaker A 是會很自然地、隱式地把自己的個性身份帶出來，比如「Beijing is really hot today. 北京今天很熱」，Speaker B 也說了「come to Harbin. 來哈爾濱」這樣的一些描述。
不僅如此，個性身份還有更高級的，比如一個人說話的風格，這也是個性的一方面。在說話風格的研究中，我們發現對話可以實現正式與非正式互相之間的轉換，以及禮貌和非禮貌之間的轉換。更有趣的是，我們可以從現代文對話轉換到金庸風格對話，比如輸入「好久沒吃火鍋了」，現代風回答「我也想吃了」，金庸風回答則是「不錯，大俠餓了一天，現下先吃飯吧」。所以，如果我們能夠做出來這種智能對話系統的話，在一些特定的應用場景中是非常有趣的，而且非常有價值。
第三個方面是如何實現對話系統中的共情和情感支持。我們知道在人類的智能行為里，情緒智能是一個非常重要的特點。如果對話系統能夠很好地去理解情感和情緒，不僅能提升用戶表現和用戶滿意度，還能更少地使對話陷入了僵局。
1997 年，MIT 教授 Picard 提出了情感計算的概念，指出「情感感知和情緒表達是人類智能行為中的重要特征」。我們組在很早就開始了這方面的研究，希望能夠讓對話系統能夠表達喜怒哀樂。具體而言，我們做了一個所謂的情緒化聊天機器人（Emotional Chatting Machine, ECM）系統。這個系統希望解決的是，當指定一個情緒類別時，對話系統能不能生成對應情緒類別的內容。
但是這個工作還是比較簡單，我們希望能夠做得更復雜一點，比如用對話系統能不能夠幫助解決一些精神健康問題。2019 年世界衛生組織曾經披露了一些數據：「全球有 3.5 億抑郁癥患者，其中每年 80 萬人因自殺死亡。中國有 9500 萬抑郁癥患者。」這個數字非常驚人。2017 年，中國社科院發布了一份《中國國民心理健康發展報告（2018-2018）》，其中 11~15% 的國民心理健康狀況較差，35.2% 公務員處于中高等心理焦慮水平。我們可以看到，國人的心理健康問題是非常嚴重的。
所以我們就想，對話系統到底能不能幫我們實現情緒的疏導或者心理的疏導呢？我們借鑒心理咨詢的共情對話系統，研究出了一個三階段理論模型。第一階段先確認用戶到底有怎樣的情緒問題，第二階段我們希望給予用戶足夠的支持，第三個階段我們希望能夠提供一個解決方案。
在每一個階段我們都可以提供豐富的策略，比如第三個階段，我們可以提供信息，直接指導，也可以挑戰他，給他解釋。通過這些策略，我們就能夠很好地去實現一定程度上的情緒疏導和心理疏導，這樣才能幫助到更多的人。
我們今年做了一個工作，核心是試圖去回答用戶到底處于什么狀態，以及使用哪一個策略去疏導和幫助用戶，這就是我們希望去解決的科學問題。我們通過網絡眾包的方式收集了大量的數據，并且建立了相應的模型。最后我們驗證表明，現有的對話系統能夠在一定程度上去做這種情緒支持和情緒疏導的工作。
比如下圖示例中，用戶有很強的壓力感，處于情緒（emotion）焦慮的狀態「他現在的學校關閉了，沒有辦法上學了」。在這個過程中，怎么樣幫用戶去疏導情緒緊張的狀態呢？我們會有不同的階段，然后在每一個階段有豐富的策略。
我們再來思考這樣一個問題——emotional sophisticated ，這個詞實際上是有很深的意義的。我的理解是，在外在上，我們需要對用戶和情感進行精細和準確的檢測；在內在上，我們需要對用戶情感的內部狀態進行建模。尤其是在第二點，現在的研究還非常欠缺。
強語義方法和端到端方法的結合至關重要
最后，我們來看當前預訓練模型的發展趨勢，這個趨勢對我們今天的對話系統的研究有非常深的啟示。從最早的 1.1 億參數量的 BERT 到 1750 億參數量的 GPT-3。從數據層面看，BERT 最早用了 33 億的詞來訓練數據，GPT-3 用了 5000 億的詞來訓練模型。無論是模型和數據，它們在大小上都是幾何倍數的增長。
Google Meena 和 FAIR Blender 也都是幾十億級別的參數規模。那么接下來對話系統的研究應該往哪個方向走，這是值得我們深入思考的一個問題。
總結來說，當前的大模型和大數據肯定是一個無法逆轉的研究趨勢和潮流，但是僅僅有數據驅動的方法還不夠，尤其是構建有知識、有個性和有情感的下一代對話系統，更是遠遠不夠。
所以，我的研究思想就是，要將強語義的方法和端到端對話系統和模型結合起來，這是實現下一代對話系統的一條核心路徑，通過這樣方法，我們才能讓對話系統「理解」意圖、話題、情感和實體等等——這里的「理解」之所以打引號，是因為我們知道理解是分不同層次的，同時也有不同的定義。
這就是我今天的演講內容。最近我們也寫了一本新書《現代自然語言生成》，感興趣的老師和同學可以看一看。謝謝大家。
張岳：開放領域對話的挑戰思索
大家好，我是西湖大學的張岳。在這期演講里，我會繼續黃民烈老師的話題，談論人機對話系統。
黃老師已經討論了人機對話系統的發展歷史和光明的前景。那么在這一期我想給大家分享一些挑戰的思考，分享主題是《開放領域對話的挑戰思索》。
大家都知道現在的對話系統雖然有很多應用了，但是在許多場景下還有令人不滿意的地方，那這些令人不滿意的地方的原因是什么呢？具體的挑戰有哪些呢？
在本次演講中，我主要為大家梳理了以下三個方面的挑戰，包括跨領域可拓展性、社會常識推理和邏輯推理。
我們也是通過西湖大學文本智能實驗室的一些研究來給大家展現。
跨領域可拓展性
首先第一個挑戰在于開放領域任務型對話的一些挑戰。
大家請看下面這張幻燈片，對于任務型對話來說，我們首先需要理解用戶的意圖。比如說用戶在訂餐的時候，我們用戶的意圖是預定某家餐館。它的具體意圖可能還有很多的選項，比如說我要預定的人數是多少？我要預定的時間是多少？
主要意圖和選項就構成了一種結構，我們叫做對話狀態結構。在人機自動客服里面，這種對話狀態結構的理解和追蹤，就成為了一個非常重要的任務。
現在大家可能有所了解，深度學習對人機對話系統是非常重要的手段。
如果我們要做用戶的意圖理解，就需要人工對可能用戶意圖先進行標注。就拿上面舉的例子來講，如果用戶說我想定今晚 6 點三個人的晚餐的話，可能我們需要標注人員首先在這句話上標出來：下午 6 點是時間，三個人的晚餐是人數。
對于訂餐我們需要這樣標注，對于機票預定、家裝、建材和教育各個領域也需要這樣的標注。
在我們學術界，已有的研究都是在這些標注的數據集上進行的。我們首先拿出一個對話記錄，人工進行標注，從人工標注的基礎上去訓練一個模型，然后再用這樣的模型去對新的類似任務的對話進行預測。這樣做的好處是對于某一個任務的準確率是非常高的。事實上對話系統已經幫助人們去做機票預訂等這樣垂直領域的任務了。
但是我們也看到，這樣的操作模式還是存在一定的局限。
首先一個局限就是人工標注成本昂貴，而且非常容易出錯。事實上這個領域有一個非常重要的數據集叫 MultiWOZ，通過一種特定的方式讓人來標注對話的狀態。在這個數據集的演變過程中，很多個版本都存在著大量的錯誤。新的版本對舊的版本的迭代，也包含了對錯誤的修正的過程。
事實上需要自動人機對話的領域是非常多的，所以另外一個非常重要的局限就是我們很難對每一個領域都進行人工標注。除了大家能日常用到的網購、預定、客服退換貨，還能想到很多其他的領域。那么這樣的領域可能成千上萬，如果手工標注各個領域大量的這種數據是不現實的。
那么怎么做呢？我們實驗室嘗試了一個非常簡單的探索：看能不能從大量沒人工標注的客服記錄里面，讓算法自動探索常見的客戶問題，讓系統自動推理出特定領域的用戶需求。我們把這個任務叫對話狀態推理。
對話狀態推理和對話狀態跟蹤，這兩個任務是非常不一樣的。
在推理任務里，我們不需要人的參與。不需要人告訴你預定一個餐館需要確定人數與時間。而如果大量的客戶都問了類似的問題，也許我們的系統就可以知道預定餐館需要人數和時間了。
我們做這個算法的原理也非常簡單，就是把用戶經常提到的短語語義共性進行簡單的聚類，或者把它們變成某一個層次，歸結為一項具體的用戶意圖。
作為初步的探索，我們嘗試了一些深度隱變量模型，比如變分自編碼器。由于時間關系，在這次報告里，我沒有時間展開給大家講。但基本原理就是通過一個預訓練語言模型，對可能存在的命名實體和可能跟用戶意圖相關的短語進行表示，之后把這些表示放在一起，進行變分自編碼器的訓練。訓練以后，對這些隱含變量的表示進行適當聚類，得到大概用戶意圖類別和層次化的用戶意圖。
下表是一些實驗結果，這是兩個非常標準的數據集。
我們把這兩個標準數據集里面的人工標注給去掉，然后觀察我們的模型是不是能自動的推斷出來用戶的意圖。
第一行是一些隨機的結果，數值比較差。第二行和第三行是深度隱變量模型的不同變體，其中 DSI-base 模型是基線 VAE 模型，DSI-GM 模型是高斯混合模型的延展。
大家可以看到，如果在開放領域對用戶意圖進行推斷的話，還是非常有挑戰的。每一步的推斷模型和多步聯合的 joint 模型，都比百分之八九十有監督訓練的結果差得很遠。如果我們能從大量的客服記錄里推斷出用戶意圖，也許它能夠幫助我們更好地與用戶進行對話。
下面這一張幻燈片就展示了加入推斷的用戶意圖以后，客服對話的回復質量有明顯的提高。
其中假如我們的模型不加入推斷出來的用戶意圖，這些精度值可能是十幾，加入了黃金標準的推斷可能提高到二十一點幾。但是大家注意，經過自動的推斷，也可以達到 20 多，這就證明推斷對話狀態結構比沒有對話狀態結構產生的回復質量更高。
這項工作我們實際上是探討了開放領域情境下算法如何理解用戶意圖以及具體的一些標準。下一步我們也在探索如何把有限的人工標注或者用自然語言所產生的人工標注，加到完全無監督訓練里，真正實現在任何領域里更好地理解客戶意圖。我們也期待大家一起去探索。
社會常識推理
如果上面這一項工作是在解決任務型對話挑戰，那么下面幾個挑戰存在于更普遍的對話之中。
我們知道人和人的交流，很多東西是在不言之中。因為我們交流的一個基本假設是交流的雙方具有共同的知識，共同的背景。比如我們聊天的時候談論天氣，我并不需要告訴你，天上有云彩、太陽和月亮這些事實，我會默認你理解這些事實。
再舉一個例子，比如我們交談的時候，一個人說我現在很渴，另一個人說前面有個超市。實際上雙方是有很多假設的。第一個人可以理解第二個人說的話，第二個人實際上是在試圖給第一個人解決問題。為什么呢？因為雙方都知道喝水可以解渴、超市可以買水。經過這樣邏輯鏈條的推理過程，我們就知道第二個人的意圖是給第一個人解決口渴的問題。
大家可以看看下圖的例子，這是一個餐館里發生的對話。這個餐廳的人員說，「你是不是很享受我們今天的晚餐？」顧客說，「很難將所有的家人帶過來，但是你們的餐廳很棒，同時 Johnny 也有地方玩。」當你聽到這句話的時候，你一定知道 Johnny 大概是這個人的小孩，并且下一步的對話很可能建立在這些常識和推理的理解之上。
這些是在不言之中，文字之外的內容。如果想讓機器自然、合理的理解人類的這些對話，需要機器也具有這些對話之外的常識和推理。
我們制作了一個這樣的數據集，這個數據集很多來源于高考聽力題。我們發現這樣的數據，它含有大量的社會常識和推理。
我們把高考聽力題轉錄下來，然后把標準答案通過自動圖像識別的方式識別出來，最后將其變成人機對話里面的對話場景。給定一個對話上下文，我們會讓機器去選擇在這樣一個對話上下文的情況下，下一個合理的回復是什么？
這套數據集一共有不到 9000 個對話，實際上考察了幾大類型的社會常識和推理問題。
第一個類型是人類的態度、情感因素的推理。比如有這樣一類對話。
對話里面一個人提到「我不能在這待很久了，因為我要去倫敦舉辦一個音樂會。」那么另外一個人就說「我很期待你的音樂會。我可不可以問一下，你第一次當眾表演的時候感受是什么呢？」然后第一個人就說「我第一次上臺，我的腿不停的發抖，我都快站不住了。」那么第二個人會說什么呢？
當你聽到腿發抖這件事的時候，你會明白他的心理狀態到底是緊張、高興、還是失望。實際上對話里面下一個選項就包含了這些不同的情感因素。如果機器能夠正確地理解背后的情感，就能夠做出正確的選擇，也就是「實際上是我能想象你當時有多緊張。」
第二類問題是關于數學演算的推理問題，比如時差問題。
我知道北京時間，知道紐約和北京相差幾個小時，我能不能推理紐約是什么時間？這對于開國際線上會議是非常重要的，我需要知道我的時間和對方的時間，才能正確的預判這個時間是不是對雙方都合適。
另外在日常生活對話中，還有很多關于價格的預判，關于人數、比分的預判。比如說我買了一個蘋果和三個梨：一個蘋果兩塊錢，一個梨一塊錢，那么我大概花多少錢？你需要找給我多少錢？這些都是日常生活對話中所必不可少的數學常識問題。
第三類問題是關于生活中決策所需要的常識。
比如說對于一個學生來講，他苦于沒有獎學金，可能不能繼續學業了。如下面這個對話。
當我知道下一步你有了獎學金以后，正常的人會做出什么樣的選擇呢？我相信絕大多數人都會繼續學業。
當然也有少數人會輟學去創業，但是你需要知道有怎樣的常識，才能推斷出「你退學創業了，你會很有勇氣」。
下面這個例子是對雙方對話場景需要做社會常識判斷。
在這個例子里面，顧客說我想要一個吸煙的桌子。這個時候客服人員說對不起，我們這兒沒有能吸煙的桌子了。為了正確做下一步答復，我應該去判斷對話的場景可能發生的地方，可能發生在公共汽車、醫院里等。在下一步對話里，就包含了這些場景。大家都知道在公共交通，包括乘坐高鐵、飛機、公交的時候都是不能吸煙的，所以要有吸煙的桌子，很可能是在餐廳里面。那么正確的下一步回復也許就是說「 OK，請把你的菜單拿給我好了。」
還有一些綜合了很多社會常識的論斷，我們稱為多事實綜合決策推斷。
比如說一個人參觀博物館，他站在博物館一個館藏面前，這時候博物館的管理員跟他說，「我們當時買館藏的時候只花了 3000 塊錢，但是現在館藏卻值 200 萬了。」這時候顧客很高興說，「我花了 30 美元買了這個票，我能夠參觀到這么價值不菲的展品。」這個時候博物館的管理員可能就會繼續對話去恭維一下顧客。大家知道，在博物館這樣的服務行業，當顧客光臨的時候都會說謝謝您的參觀。這里博物館管理員的答復用了一個非常委婉的方式，「hey 你看我們這價值 200 萬的館藏，也很高興您的到來。」
它通過這樣語言的幽默或者間接的方式，既恭維了顧客，又把話題引到了感謝的話題上。
此外，這個數據集還選錄了我們認為很有意義但卻不能歸為上述類別的一些推斷。比如說雨天要帶傘、坐交通工具要付錢等等這些常識，被我們歸為其他類別。
在這樣一套數據集上，人類是可以做到很高水平的：90% 以上甚至超過 95% 的準確率。但是，對于模型來講還存在一些挑戰。
上表中的 BERT 和 RoBERTa 是自然語言處理領域兩個非常經典的預訓練模型。它們之所以非常成功，是因為這些模型先在大規模的文本上做了完形填空或者句子補全任務。通過這些任務，這些深層神經網絡就能學到很多語言學知識，然后再根據具體的某一個問題，進行類似題海戰術的死記硬背，最后這些模型就能夠達到接近或者超過人類的效果。這就是神經網絡之所以在自然語言處理領域取得成功的原因。
但是大家也可以看到，這些模型召回率（R@1）只能達到 70% 多。這證明為了完成這些常識類型的對話，當今的模型還存在很多的挑戰。
下圖是一些在具體不同社會常識類型方面的挑戰。
對于做數學題，我們這些模型還是存在問題的。另外模型估計語言文字之外的場景的能力還是有一定的欠缺的。
事實上，模型之所以能工作，很大程度上還是從上下文里進行簡單的模式判斷。
在研究模式判斷之外，我們也受到很大的啟發。我們發現這些記憶型神經網絡，對文字之外的知識還有缺陷。除了數學這樣的知識之外還有什么呢？邏輯推理，這也是人類所掌握而模型欠缺的一類能力。
說起邏輯推理，實際人工智能領域關注且研究了很長歷史了。
大家知道，在上世紀五六十年代，計算機科學方興未艾，這時候人工智能也剛剛受到關注，那個時候有一些學者就提到了語言推理。
所謂語言推理實際上就是在人類語言的理解中，需要進行很多背后的邏輯推理問題。比如剛才提到的口渴需要喝水，我知道超市有水，形成一個推理鏈條。這樣的推理過程在人工智能領域是不可或缺的一種能力。機器如果想具有人類的智能，是必須能夠完成這樣的推理任務的。
在人工智能發展的早期，人們研究了這種語言推理的問題。但是很遺憾當時自然語言處理的水平還比較弱，人類無法從自然語言里抽象出這種邏輯關系。
于是在六七十年代人工智能發展的繁榮時期，人們把對自然語言推理研究的注意力，逐漸轉向了比較抽象的形式邏輯的推理問題。
當時大家研究比較多的是 Prolog、Lisp 這樣的產生式系統，這種符號化的研究占據了當時人工智能研究的很大比重。
我相信在當今自然語言處理發展取得了長足進步的情況下，語言推理應該受到更多的關注。
所以我們也想放出這個挑戰，看看 BERT、RoBERTa 等這類自然語言處理領域最成功的模型，能夠在自然語言推理上取得怎么樣的成績。
邏輯推理
邏輯推理挑戰主要圍繞自然語言處理研究最多的兩類數據進行，其中一類叫做機器閱讀理解問題，另一類叫做文本推理或者文本蘊涵問題。
機器閱讀理解問題
首先是機器閱讀理解問題。
所謂閱讀理解就是給定篇章與問題，機器能不能回答這類問題？這個任務在新一代搜索引擎上有很大的幫助。因為現在的搜索引擎是理解了文章以后，根據用戶檢索短語，反饋最相關的文章。但將來的機器搜索引擎很可能是在讀懂了文章以后，根據一個開放式的問題，直接給用戶一個答案，而不是反饋一個文章。
在自然語言處理領域，很多閱讀理解工作都是在考慮篇章的事實整合問題，比如一個足球，之前在臥室里，后來被小男孩拿到花園，然后被拿到餐廳，最后問足球在哪里的問題。
那么機器在邏輯推理問題上的表現如何呢？比如下面這個例子，最后你能推出什么樣的事實。
我們從中國公務員考試網題庫搜集了 8000 多個問題，制作了 logiQA 數據集，與以往的機器閱讀理解問題不同，該數據集專注于 5 類邏輯推理問題：
第一類叫做范疇推理問題。比如說蠟筆具有什么樣的特征？我需要機器去歸結所有的這些特點，給定一個定義的范疇，然后進行推理。
第二類推理是充分條件推理。比如有一個人說如果明天不下雨，那么我就去爬山，然后我看到他爬山了，是不是一定就沒有下雨？這是屬于一種充要條件。
第三個是必要條件推理問題。為了達到某個結論，必須具備某些條件，在這些條件下，去進行推理、論斷、選擇。
第四個是選言推理。所謂選言推理就是說當 a 或者 b 成立的時候，c 就可以成立；比如說當我吃了漢堡或者吃了面條以后，我都可能解決饑餓問題，這是選言推理。
第五個是聯言推理。所謂聯言推理就是說我必須及時的到了考場，而且我必須好好的復習了，才能夠順利的成功的進行考試。是兩個條件都必須具備。
在這套推理題上，最成功的模型 BERT、 RoBERTa 表現可以說是一敗涂地。
一個受過高等教育的人，做這類邏輯推理題可以說是駕輕就熟，拿到 90% 以上的精確度。然而看這些模型，在隨機選擇選擇都有 25% 的準確度下，模型確只有 30% 多的準確度。
在所有的這些問題里面，從上圖可以發現范疇推理模型的表現最好。這是因為范疇推理在文字層面上還有很多線索可循，但是其他的推理問題真正需要你腦洞大開，拿出草稿紙，在文字之外進行演算，這樣的模型還是表現非常差的。
文本蘊涵問題
下面簡要地介紹文本蘊涵問題。這個問題在進行事實檢測、文本總結等推斷問題上都有很大的幫助。
如上圖，左邊例子是傳統的文本蘊涵問題。比如一個人在演講，那么他一定是在說話，演講可以蘊涵說話，但是可能不能蘊涵其他的問題，比如這個人是否健談。
右邊是關于邏輯推理的問題。假如有 10 個 TV 節目在播放，經過一段時間以后，有 3 個節目下線了，還剩 7 個在播放，7 個里面 5 個是同外節目，文另外會不會有其他節目還在播放？這類似雞兔同籠問題的推理，就可以推斷哪些是對的，哪些是錯的，哪些是你不知道的。
我們通過美國的很多邏輯考試整理出 ConTRoL 數據集，與現有的文本蘊涵數據集，有顯著的差別。如首先數據集段落比較長，其次我們關注了邏輯推理的問題。
這套數據集包含諸多的推理類型：上下文推斷的類型、時間推斷的類型、邏輯推斷的類型、信息整合的類型、事實性分析的類型。
由上圖可以看出，在我們的數據集上 BERT、BART 這類模型跟人類，還有顯著的差距。
上圖是不同的邏輯推理文本蘊涵數據集，可以看到有的模型表現在一些數據集上已經超過了人類表現。但對于 ConTRoL 數據集，SOTA 模型跟人類還有很大差距，還有很大的工作空間。
這個圖體現了在不同的推理類型中，邏輯推理還是最具有挑戰的問題類型。
后面是幾個例子，因為時間關系我不展開介紹了。但是大家可以觀察到，現在最流行的模型之所以成功，還是從字面上找原因，并沒有分析文字之外的原因。
而且大家也可以看到我們的對話模型雖然取得了很大的成功，但是在開放領域還存在很多的挑戰，期待參賽選手和所有的同學們多思考，大家一起努力，繼續的提高對話系統的水平。
謝謝。
圓桌論壇：
智能機器人未來面臨技術 & 倫理雙重難點
Q1：兩位老師認為讓機器像人一樣自然流暢地說話聊天可能嗎？
黃民烈：我認為在一定的條件下應該是可能的。這個問題非常好，讓機器就像人一樣說話，我認為有三個不同的層次。
第一個層次是能夠像人一樣正常地說話，能夠保持在一個正常的話題下，不要牛頭不對馬嘴。這樣的話，我們就要要求機器能夠真正地理解對方講的是什么，然后做出合適的答復。至少在內容上和意圖上正常，這是第一個層次。
第二個層次我們講得更復雜一點。如果機器像人那樣充滿技巧且能夠體現高情商的，則可能需要專注于情感支持和心理疏導。在這種場景下，我們需要一些類人能力，這是第二個層次。
第三個層次機器還要能夠體現一定的個性和風格。比如，我們能不能模擬出外向的人和內向的人分別怎么說話的，教授和學生分別怎么說話的。這就體現了個性和風格，甚至是心理學層面的建模。
很顯然，我認為第一個層次在不遠的未來應該是能夠預期達到的。第二個層次的話，我們可能需要更多的努力。第三個層次肯定是最難的。
我認為，下一代的對話系統在類人的水平上進行所謂的擬人化特征的表達，真正從人的特征和行為上借鑒更多的這種特點，然后能夠去刻畫機器的行為。所以這也是我們下一代做這種自然語言處理研究，尤其是對話系統研究的一個很重要方面。
張岳：我非常同意黃老師的看法。我覺得人類對話事實上是一個非常綜合的語言過程。我們可以想象，人類最開始交流的時候沒有文字，那么交流實際上也是從對話開始的。比如說「樹上有三個果子你可以去吃」，這一過程可能包含心理、認知以及我們對世界的理解等諸多方面的內容。
所以如果讓機器能夠和人類非常自然地交流和對話，真的需要各個方面的知識和技能。
總的來說，機器能否學會跟人這樣非常自然的、密切的交流呢？我認為還是非常有可能、非常有前景的。不過，對于現在的機器學習還存在挑戰，因為我們現在的機器學習，至少主流的機器學習方法還是以記憶為主。我們通過大量的神經網絡在大規模的文本上進行完形填空，句子補全等訓練，能夠讓神經網絡在一定程度上獲得文本里面至少表面上的句法語義和常識等知識。
但我覺得，如果讓機器徹底地能夠跟人類交流且無障礙溝通的話，可能還需要讓機器能夠主動地學習，至少能夠挖掘對話過程中可能存在的問題，或者說對話過程中所需要的各方面知識。
我相信能夠主動去學習的機器，可能會像一個主動學習的人一樣，通過對話中的經驗，甚至對話之外的經驗來獲得自己的一套知識體系以及對語義信息、嘗試信息的理解。機器主動地分析問題，發現自己的不足，并且積累相關的能力。
因此，我覺得如果機器能夠進行這樣的主動學習，也許在將來每一個機器都是一個個性化的專家，每一個機器都能夠以自己的方式去跟人交流，就像每一個人一樣。到那一天，也許我們的機器就能夠更自然地跟人對話了，并能夠解決現在對話中存在的很多問題了。
Q2：看來兩位老師對實現像人一樣說話的機器都是充滿期望的。那么接下來的問題就是，如果我們真的做出來了能夠跟人自然交流說話的機器，它有哪些重大的價值和意義呢？
張岳：我覺得這樣的機器如果能夠實現的話，對我們來講是一件非常值得期待的事情，這是因為我覺得語言是人類進行交流的非常自然、非常簡單的一種方式。
首先，如果機器能夠跟人這樣交流的話，會省去人類和機器打交道的諸多麻煩。我能想象在古代或者工業革命時代，人可能會和齒輪打交道，會和基本的操作桿打交道。在我們的互聯網時代，人可能是和鍵盤鼠標打交道，從不同的文本框、按鈕、多選框里選擇，去和機器去交流。或者在我們開車的時候，我們事實上還在和方向盤和踏板在打交道。
但是，如果說機器能夠理解人類語言的話，我相信人類與機器、人工智能之間打交道的途徑就會變得非常的簡單。在將來的 5G 時代甚至 6G 時代，我覺得物聯網也興起了，那么任何的機器可能都具備一定的智能，那么就可以很容易地跟我的冰箱進行對話，看看我今天晚飯的飯桌上會有什么東西。我也可以很方便地和我的室溫控制系統打交道，去看看今天濕度和溫度的調節。我甚至可以和門禁系統打交道，也就是說各個設備可以更人性化地為我服務，我和機器打交道的方式也可以變得更簡便。實際上，這種交流的方式在現在的智能音箱上也有了一定的初步體驗。
此外，在我們的娛樂系統上，我相信可能也會有更大的進步。比如說我們在真正的游戲場景里面，會不會對各個游戲角色賦予更人性化的一面以及更靈活的能力。也許我們可以和柳樹下的老頭進行更人性化的交流，在街道上和任何一個 AI 進行更多這種互動。
總之，如果機器能以人的方式跟人交流的話，我們可以期待很多可以想象的前景，還是非常激動人心的。
黃民烈：我的觀點是：這樣的研究是非常重要的。我們可以設想一下，當前人口老齡化很嚴重，人口越來越少，然后機器越來越多，所以未來社會一定是人機共融的社會。
但是，人機共融的時候，我們希望這樣的機器，能夠在未來社會里扮演更重要的社會角色。這就要求它們不僅具備機器的功能，同時更重要的要具備類人的能力。類人的能力就是既要有知識，又有情感和個性。比如說，對于大量的獨居老人而言，如果他（她）們能有親人很好地進行情感交流和陪伴的話，對未來社會一定是非常好的一件事情。所以就是說，如果我們真的做出了有思想、有情感，有各種綜合能力的機器人，很顯然對我們未來的社會進步和發展都有巨大的意義。
但是另一方面，我們還得深入地思考這個問題，做出來有思想的機器人還是非常難的，我們需要什么呢？我們需要很好地處理機器人的一些內部情感狀態。比如，有研究者在做人工心理，那么需要對機器內部的情感心理進行很好的建模。與此同時，我們也需要在各種技術上實現能力突破，比如靈巧地抓取以及各種細節動作的執行。有了這些東西之后，我們就能夠實現更美好的人機共融的社會愿景。
第三方面，我們還要注意社會倫理問題。想象一下，如果人跟機器人談戀愛的話，那可能就不跟人談戀愛了，可能會對人類社會的繁衍造成一定的威脅。現在并不是沒有這樣的考慮，比如日本可能就出現了這樣的爭論。他們做出了很多機器人女友或者機器人男友，但實際上這樣可能會在一定程度上影響社會中人的發展。
所以，其實無論是在科學技術上，還是在社會倫理道德上，我們還要去做很多深入的探索和思考。這就是我的觀點。
Q3：本屆大賽有兩道賽題都與自然語言處理有關，其中賽題一是醫學影像報告異常檢測，要求參賽隊伍根據醫生對 CT 影像描述文本數據，判斷身體的若干區域目標是否有異常，以及異常的類型是什么；賽題三則是小步助手的對話短文本語義匹配。小步助手是為 OPPO、OnePlus 和 Realme 三品牌手機和 IoT 設備自研的語音助手。這道題考的是短文本語義匹配，要求參賽隊伍根據脫敏后的短文本 query pair 預測它們是否屬于同一語義。請兩位老師發表一下對我們大賽以及賽題的一些看法。
黃民烈：我覺得組織這樣的比賽是非常好的一件事情，因為現在大家都知道研究工作和論文非常的多，然后各種模型也都是層出不窮。那么我們通過這種賽題，一方面可以去鍛煉工程實現能力，另一方面則有很好的實際科研問題去做。
比如說，現在的大部分模型和算法都是不可復現的，作為學生的話，我們拿到這樣的題目，第一選擇肯定就是先去復現一些現有的最強的模型，看看在這個任務上能達到多少。這里涉及到很多精細的工程，比如說調參、數據預處理和數據后處理，這樣才可能在這些題目上取得比較好的成績。
所以我覺得，一方面來講，對一個學生的鍛煉和培養應該是綜合的，就是不僅僅去做一個模型或者一個算法，還要把這個模型和算法能夠實現地非常好，性能能夠達到很高的標準。
另外，剛才我聽一個賽題是關于 OPPO 的，它涉及短文本匹配，這是一個很有挑戰性的問題，在科學上有很多研究的意義和價值。對于短文沒匹配而言，你可能要用更多的知識和更多的背景信息才能把它做好。所以，我們不僅有算法和模型上的訓練，也有科學問題上的探索。與此同時，我們還要有工程技術上的鍛煉。
這樣的話，我覺得未來學生能夠適應更加綜合和更加高的社會就業要求，而且在他們走上社會的時候，他們面臨的挑戰可能就會更小一些。比如在我的研究所，我也是要求學生們一定是不能只是寫論文。你只寫論文，然后發論文，這是絕對不行的，你還得有很強的工程實現能力，包括現在大模型、大數據的處理能力，然后能把它從一個研究的問題做到一個最后系統的問題，進而變成整個鏈條上的培養。
張岳：我非常同意黃老師的說法。我覺得這個大賽可以在實際的應用場景和學生的經驗之間構筑一個比較不錯的橋梁。
首先，它是一個很特定的問題，另外這樣的問題具有比較小的范圍和比較應用的驅動性。這樣對于研究生來講，他可以看到研究任務在實際場景中發揮的作用。
另外，我覺得這個大賽也可以對更多對人工智能感興趣的本科生，還有其他學生產生影響。以這個大賽契機，大家可以看到我們人工智能試圖解決的主要典型應用問題是什么，通過自己建立一個模型去解決這樣的問題，然后看到現在的模型能夠做到什么程度。對于培養大家對人工智能的興趣而言，這些都可能是有幫助的。
最后，大家也可以通過動手看到我們現在人工智能模型存在的缺陷，對于更多朋友們能夠涉獵到這個領域、產生更多的想法以及試圖解決這些問題，大賽和賽題都是非常好的途徑。
Q4：都說語言是思想的載體，那一臺能夠像人一樣說話的機器，是否意味著有思想能跟人做朋友甚至談戀愛呢？
黃民烈：我覺得這個問題在當下面臨兩個方面的難點。一個是技術上的難點，即我們到底是不是能夠構建一個足夠聰明并且有一定情緒理解和思想表達能力的機器人。另一個難點是面臨的倫理道德風險，即我們到底是不是應該鼓勵人跟機器人進行深入的情感交流，甚至肢體交流行為，以及在未來的十年、二十年甚至五十年里，這樣做對人類社會的發展會產生哪些潛在的影響。這是需要我們去做評估的。
一方面，在技術層面上，我們知道現在已經有一定程度上的技術突破，但其實我們今天的這種大規模對話系統和對話模型依然面臨很大的類人不足的問題，比如說缺乏個性和情感，然后僅僅是數據驅動的這種做法是不足以構建出這樣的智能體的。
在社會倫理層面，我認為現在其實已經有了一些這樣的思考和討論。比如說， AI 的倫理和道德應該往哪個方向走？應該有什么樣的規范？就拿我舉的例子來說，AI 到底能不能理解自己的說話、行為和動作，這些意味著什么呢？再比如我剛才講的例子，「我想去跳橋」，AI 就給你找一個橋，它并不能夠理解「跳橋」這個行為可能帶來的潛在后果和行為是什么？
如果這一問題不解決的話，那么就很難避免「亂說亂講」的問題，因為它不知道自己的話語和行為會面臨什么樣的社會倫理和道德風險。這種風險其實需要從研究上和社會規范上一起去做探討，所以我覺得這個方向的路還是非常遙遠的，需要廣大研究者，包括自然科學和社會科學的研究者，一起去努力解決這樣的難題。
張岳：我覺得這個問題主要是從功能層面討論，就是說，機器它到底能不能和人進行情感的交流？也許我們無法完全地去探究。從機器內部來講，它的意識是否存在？從功能的角度講，機器也許可以幫助我們去進行這種情感陪伴，去進行更多的這種人文方面的交流。
那么這樣的交流會產生很多的社會影響，這也是黃老師提出的倫理問題。首先，我覺得機器如果能夠從功能上和人交流的話，它會起到正面的作用。像人口老齡化和人的陪伴需求等，這樣的交流可能會在這些方面起到正面的作用。同時，我們也要避免一些負面的作用。
此外，除了機器和人在交流的時候，人可能因為機器的陪伴所產生的負面影響之外，機器如果具備了和人交流的能力，那么也許就具備了互相交流的能力。在這個方面，我們可能也會設想會不會有一些道德倫理，甚至對人類的生存問題造成的影響。比如說，如果機器在交流的過程之中進行演化，產生了一種機器可以理解，人類卻不可以理解的交流方式，那么也許具有目的性的機器，可以通過這種交流方式去試圖影響社會的發展。
那么如果有目的性的機器能夠通過學習知道人類語言交流手段的話，也許機器還可以在人類的社交媒體和人類的交流之中，對人類產生影響。
所以我覺得要從兩方面講。從人類本身來講，我們要避免這種能夠進行情感交流的機器對我們產生的負面作用。從人類對機器的防范角度來講，我們是不是也應該在人工智能將來的設計中設計一些規范，或者制定一些人工智能設計的準則和法則，從而最大程度地讓機器和人能夠對社會發展有促進作用，能夠避免一些可能對社會產生的不利影響。
及本屆大賽進行技術解讀與圓桌討論。點擊閱讀原文，收藏直播間，持續關注「AI青年說」系列活動。
總結
以上是生活随笔為你收集整理的人一样自然流畅地说话，下一代智能对话系统还有多长的路要走？的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： sklearn-GridSearchCV
- 下一篇： Invalid packaging fo