作者｜Sebastian Ruder

?來源｜機器之心編輯部

去年有哪些機器學習重要進展是你必須關注的？聽聽 DeepMind 研究科學家怎么說。

2020 年因為新冠疫情，很多人不得不在家工作和學習，大量人工智能學術會議也轉為線上。不過在去年我們仍然看到了很多 AI 技術領域的進展。DeepMind 研究科學家 Sebastian Ruder 近日幫我們對去年的機器學習社區進行了一番總結。

首先你必須了解的是：這些重點的選擇基于作者個人熟悉的領域，所選主題偏向于表示學習、遷移學習，面向自然語言處理（NLP）。如果讀者有不同的見解，可以留下自己的評論。

Sebastian Ruder 列出的 2020 年十大機器學習研究進展是：

大模型和高效模型

語言模型從 2018 年到 2020 年的發展（圖片來自 State of AI Report 2020）。

2020 年發生了什么？

在過去的一年，我們看到了很多前所未有的巨型語言和語音模型，如 Meena（Adiwardana et al., 2020）、Turing-NLG、BST（Roller et al., 2020）和 GPT-3（Brown et al., 2020）。與此同時，研究人員們也早已意識到訓練這樣的模型要耗費過量的能源（Strubell et al., 2019），并轉而探索體量更小、效果仍然不錯的模型：最近的一些進展方向來自于裁剪（(Sajjad et al., 2020、Sanh et al., 2020、）、量化（Fan et al., 2020b）、蒸餾（Sanh et al., 2019、Sun et al., 2020）和壓縮（Xu et al., 2020）。

另有一些研究關注如何讓 Transformer 架構本身變得更高效。其中的模型包括 Performer（Choromanski et al., 2020）和 Big Bird（Zaheer et al., 2020），如本文第一張圖所示。該圖顯示了在 Long Range Arena 基準測試中不同模型的性能（y 軸）、速度（x 軸）和內存占用量（圓圈大小）（Tay et al., 2020）。

像 experiment-impact-tracker 這樣的工具（Henderson et al., 2020）已讓我們對于模型的能耗效率更為了解。其研究者還推動了評估效率的競賽和基準測試，如 EMNLP 2020 上的 SustaiNLP 研討會，NeurIPS 2020 上的 Efficient QA 競賽和 HULK（Zhou et al., 2020。

模型體量的擴大可以讓我們不斷突破深度學習能力的極限。而為了在現實世界部署它們，模型必須高效。這兩個方向也是相輔相成的：壓縮大號模型可以兼顧效率和性能（Li et al., 2020），而效率更高的方法也可以推動更強、更大的模型（Clark et al., 2020）。

鑒于對效率和可用性的考慮，我認為未來研究的重點不僅僅是模型的表現和參數數量，也會有能耗效率。這會有助于人們對于新方法進行更全面的評估，從而縮小機器學習研究與實際應用之間的差距。

檢索增強

使用 REALM 進行無監督預訓練，檢索器和編碼器經過了聯合預訓練。

大規模模型可以利用預訓練數據學習出令人驚訝的全局知識，這使得它們可以重建事實（Jiang et al., 2020）并在不接觸外界上下文的情況下回答問題（Roberts et al., 2020）。然而，把這些知識隱式地存儲在模型參數中效率很低，需要極大的模型來存儲足量的信息。與之不同的是，最近的一些方法選擇同時訓練檢索模型和大規模語言模型，在知識密集型 NLP 任務上獲得了強大的結果，如開放域問答（Guu et al., 2020、Lewis et al., 2020）和語言建模（Khandelwal et al., 2020）。

這些方法的主要優點是將檢索直接集成到語言模型的預訓練中，從而讓語言模型效率更高，專注于學習自然語言理解中更具挑戰性的概念。因此在 NeurIPS 2020 EfficientQA 競賽中的最佳系統依賴于檢索（Min et al., 2020）。

檢索是很多生成任務的標準方法，例如文本摘要和對話此前已大量被摘要生成所替代 (Allahyari et al., 2017)。檢索增強生成可以將兩個方面的優點結合在一起：檢索段的事實正確性、真實性以及所生成文本的相關性和構成。

檢索增強生成對于處理過去困擾生成神經模型的失敗案例尤其有用，尤其是在處理幻覺（hallucination）上（Nie et al., 2019）。它也可以通過直接提供預測依據來幫助使系統更易于解釋。

少樣本學習

Prompt-based 微調使用模板化的提示和演示（Gao et al., 2020）。

在過去幾年中，由于預訓練的進步，給定任務的訓練樣本數量持續減少（Peters et al., 2018、Howard et al., 2018）。我們現在正處在可以使用數十個示例來完成給定任務的階段（Bansal et al., 2020）。自然地，人們想到了少樣本學習變革語言建模的范式，其中最為突出的例子就是 GPT-3 中上下文學習的方法。它可以根據一些輸入 - 輸出對和一個提示進行預測。無需進行梯度更新。

不過這種方式仍然有其限制：它需要一個巨大的模型——模型需要依賴現有的知識——這個模型能夠使用的知識量受到其上下文窗口的限制，同時提示需要手工完成。

最近的一些工作試圖通過使用小模型，集成微調和自動生成自然語言提示（Schick and Schütze, 2020、Gao et al., 2020、Shin et al., 2020）讓少樣本學習變得更加有效。這些研究與可控神經文本生成的更廣泛領域緊密相關，后者試圖廣泛地利用預訓練模型的生成能力。

有關這一方面，可以參閱 Lilian Weng 的一篇博客：

https://lilianweng.github.io/lil-log/2021/01/02/controllable-neural-text-generation.html

少樣本學習可以使一個模型快速承接各種任務。但是為每個任務更新整個模型的權重是很浪費的。我們最好進行局部更新，讓更改集中在一小部分參數里。有一些方法讓這些微調變得更加有效和實用，包括使用 adapter（Houlsby et al., 2019、Pfeiffer et al., 2020a、üstün et al., 2020），加入稀疏參數向量（Guo et al., 2020），以及僅修改偏差值（Ben-Zaken et al., 2020）。

能夠僅基于幾個范例就可以讓模型學會完成任務的方法，大幅度降低了機器學習、NLP 模型應用的門檻。這讓模型可以適應新領域，在數據昂貴的情況下為應用的可能性開辟了道路。

對于現實世界的情況，我們可以收集上千個訓練樣本。模型同樣也應該可以在少樣本學習和大訓練集學習之間無縫切換，不應受到例如文本長度這樣的限制。在整個訓練集上微調過的模型已經在 SuperGLUE 等很多流行任務中實現了超越人類的性能，但如何增強其少樣本學習能力是改進的關鍵所在。

對比學習

實例判別從同一個圖像的不同轉換之間比較特征（Caron et al., 2020）。

對比學習是一種為 ML 模型描述相似和不同事物的任務的方法。利用這種方法，可以訓練機器學習模型來區分相似和不同的圖像。

最近，對比學習在計算機視覺和語音的自監督表征學習（van den Oord, 2018; Hénaff et al., 2019）中越來越受歡迎。用于視覺表征學習的新一代自監督強大方法依賴于使用實例判別任務的對比學習：將不同圖像視為 negative pairs，相同圖像的多個視圖視為 positive pairs。最近的方法進一步改善了這種通用框架：SimCLR（Chen et al., 2020）定義了增強型實例的對比損失；Momentum Contrast（He et al., 2020）試圖確保大量且一致的樣本對集合；SwAV（Caron et al., 2020）利用在線聚類；而 BYOL 僅使用 positive pairs（Grill et al., 2020）。Chen 和 He (2020) 進一步提出了一種與先前方法有關的更簡單的表述。

最近，Zhao et al. (2020)發現數據增強對于對比學習至關重要。這可能表明為什么在數據增強不那么普遍的 NLP 中使用大型預訓練模型進行無監督對比學習并不成功。他們還假設，實例判別比計算機視覺中的有監督預訓練更好的原因是：它不會試圖讓一個類中所有實例的特征相似，而是保留每個實例的信息。在 NLP 中，Gunel et al. (2020)無監督的預訓練涉及對成千上萬個單詞類型進行分類的問題不大。在 NLP 中，Gunel et al. (2020)最近采用對比學習進行有監督的微調。

語言建模中常用的 one-hot 標簽與模型輸出的 logit 之間的交叉熵目標存在一些局限性，例如在不平衡的類中泛化效果較差（Cao et al., 2019）。對比學習是一種可選擇的補充范式，可以幫助緩解其中的一些問題。

對比學習與 masked 語言建模相結合能夠讓我們學習更豐富、更魯棒的表征。它可以幫助解決模型異常值以及罕見的句法和語義現象帶來的問題，這對當前的 NLP 模型是一個挑戰。

要評估的不只是準確率

用于探索情感分析中否定性的理解的 CheckList 模板和測試（Ribeiro et al., 2020）。

NLP 中的 SOTA 模型已在許多任務上實現了超越人類的表現，但我們能否相信這樣的模型可以實現真正的自然語言理解（Yogatama et al., 2019; Bender and Koller, 2020）？其實，當前的模型離這個目標還很遠。但矛盾的是，現有的簡單性能指標無法體現這些模型的局限性。該領域有兩個關鍵主題：a）精選當前模型難以處理的樣例；b）不只是選擇準確率等簡單指標，而是進行更細粒度的評估。

關于前者，常用的方法是在數據集創建過程中使用對抗過濾（Zellers et al., 2018），過濾出由當前模型正確預測的樣例。最近的研究提出了更有效的對抗過濾方法（Sakaguchi et al., 2020; Le Bras et al., 2020）和一種迭代數據集創建處理方法（Nie et al., 2020; Bartolo et al., 2020），其中樣例經過過濾，模型經過了多輪的重新訓練。Dynabench 提供了此類不斷變化的基準的子集。

針對第二點的方法在本質上也是相似的。該領域通常會創建 minimal pairs（也稱為反事實樣例或對比集）（Kaushik et al., 2020; Gardner et al., 2020; Warstadt et al., 2020），這些 minimal pairs 以最小的方式干擾了樣例，并且經常更改 gold label。Ribeiro et al. (2020) 在 CheckList 框架中形式化了一些基本的直覺，從而可以半自動地創建此類測試用例。此外，基于不同的屬性來描述樣例可以對模型的優缺點進行更細粒度的分析（Fu et al., 2020）

為了構建功能更強大的機器學習模型，我們不僅需要了解模型是否優于先前的系統，還需要了解它會導致哪種錯誤以及還有哪些問題沒被反映出來。通過提供對模型行為的細粒度診斷，我們可以更輕松地識別模型的缺陷并提出解決方案。同樣，利用細粒度的評估可以更細致地比較不同方法的優缺點。

語言模型的現實應用問題

模型會根據看似無害的提示，生成有害的結果(Gehman et al., 2020)。

與 2019 年語言模型 (LMs) 分析側重于此類模型所捕獲的語法、語義和世界認知的氛圍相比，最近一年的分析揭示了許多實際問題。

比如經過預訓練的 LM 容易生成「有毒」的語言 (Gehman et al., 2020)」、泄露信息 (Song & Raghunathan, 2020)。還存在微調后易受到攻擊的問題，以致攻擊者可以操縱模型預測結果 (Kurita et al., 2020; Wallace et al., 2020)，以及容易受到模型的影響(Krishna et al., 2020; Carlini et al., 2020）。

眾所周知，預訓練模型可以捕獲關于受保護屬性（例如性別）的偏見（Bolukbasi et al., 2016; Webster et al., 2020），Sun et al., 2019 的研究給出了一份減輕性別偏見的調查。

大公司推出的大型預訓練模型往往在實際場景中會有積極的部署，所以我們更應該意識到這些模型存在什么偏見，又會產生什么有害的后果。

隨著更大模型的開發和推出，從一開始就將這些偏見和公平問題納入開發過程是很重要的。?

Multilinguality

全球標記 / 未標記語言數據的不均衡分布情況(Joshi et al., 2020)。

2020 年，多語言 NLP 有諸多亮點。旨在加強非洲語種 NLP 研究的 Masakhane 機構在第五屆機器翻譯會議 (WMT20) 上發表的主題演講，是去年最令人鼓舞的演講之一。此外，這一年還出現了其他語言的新通用基準，包括 XTREME (Hu et al., 2020)、XGLUE (Liang et al., 2020)、IndoNLU (Wilie et al., 2020)、IndicGLUE (Kakwani et al., 2020)?，F有的數據集也拓展到了其他語言中，比如：

• SQuAD: XQuAD (Artetxe et al., 2020), MLQA (Lewis et al., 2020), FQuAD (d'Hoffschmidt et al., 2020);

• Natural Questions: TyDiQA (Clark et al., 2020), MKQA (Longpre et al., 2020);

• MNLI: OCNLI (Hu et al., 2020), FarsTail (Amirkhani et al., 2020);

• the CoNLL-09 dataset: X-SRL (Daza and Frank, 2020);

• the CNN/Daily Mail dataset: MLSUM (Scialom et al., 2020)。

通過 Hugging Face 數據集可以訪問其中的大部分數據集，以及許多其他語言的數據。涵蓋 100 種語言的強大模型也就應運而生了，包括 XML-R (Conneau et al., 2020)、RemBERT (Chung et al., 2020)、InfoXLM (Chi et al., 2020)等，具體可參見 XTREME 排行榜。大量特定語言的 BERT 模型已經針對英語以外的語言進行了訓練，例如 AraBERT (Antoun et al., 2020)和 IndoBERT (Wilie et al., 2020)，查看 Nozza et al., 2020; Rust et al., 2020 的研究可以了解更多信息。借助高效的多語言框架，比如 AdapterHub (Pfeiffer et al., 2020)、Stanza (Qi et al., 2020)和 Trankit (Nguyen et al., 2020) ，世界上許多語種的建模和應用工作都變得輕松了許多。

此外，還有兩篇很有啟發的研究，《The State and Fate of Linguistic Diversity(Joshi et al., 2020)》和《Decolonising Speech and Language Technology (Bird, 2020)》。第一篇文章強調了使用英語之外語言的緊迫性，第二篇文章指出了不要將語言社區及數據視為商品。

拓展到英語之外的 NLP 研究有很多好處，對人類社會能產生實實在在的影響。考慮到不同語言中數據和模型的可用性，英語之外的 NLP 模型將大有作為。同時，開發能夠應對最具挑戰性設置的模型并確定哪些情況會造成當前模型的基礎假設失敗，仍然是一項激動人心的工作。

圖像Transformers

Vision Transformer 的論文中，研究者將 Transformer 編碼器應用于平坦圖像塊。

Transformer 在 NLP 領域取得了巨大的成功，但它在卷積神經網絡 CNN 占據主導地位的計算機視覺領域卻沒那么成功。2020 年初的 DETR (Carion et al., 2020) 將 CNN 用于計算圖像特征，但后來的模型完全是無卷積的。Image GPT (Chen et al., 2020)采用了 GPT-2 的方法，直接從像素進行預訓練，其性能優于有監督的 Wide ResNet，后來的模型是將圖像重塑為被視為「token」的補丁。Vision Transformer (ViT，Dosovitskiy et al., 2020)在數百萬個標記好的圖像上進行了訓練，每一個圖像都包含此類補丁，模型效果優于現有最新的 CNN。Image Processing Transformer（IPT，Chen et al., 2020）在被破壞的 ImageNet 示例上進行對比損失預訓練，在 low-level 圖像任務上實現了新的 SOTA。Data-efficient image Transformer (DeiT，Touvron et al., 2020) 以蒸餾方法在 ImageNet 上進行了預訓練。

有趣的是，研究者們發現了 CNN 是更好的教師，這一發現類似于蒸餾歸納偏置（inductive bias）應用于 BERT (Kuncoro et al., 2020)。相比之下在語音領域，Transformer 并未直接應用于音頻信號，而通常是將 CNN 等編碼器的輸出作為輸入(Moritz et al., 2020; Gulati et al., 2020; Conneau et al., 2020)。

與 CNN 和 RNN 相比，Transformer 的歸納偏置更少。盡管在理論上，它不如 RNN (Weiss et al., 2018; Hahn et al., 2020)強大，但如果基于充足的數據和規模，Transformer 會超越其他競爭對手的表現。

未來，我們可能會看到 Transformer 在 CV 領域越來越流行，它們特別適用于有足夠計算和數據用于無監督預訓練的情況。在小規模配置的情況下，CNN 應該仍是首選方法和基線。

自然科學與機器學習

基于自注意力的 AlphaFold 架構。

去年，DeepMind 的 AlphaFold 在 CASP 蛋白質折疊挑戰賽中實現了突破性的表現，除此之外，將機器學習應用于自然科學還有一些顯著的進展。MetNet (S?nderby et al., 2020)證明機器學習在降水預測方面優于數值天氣預報；Lample 和 Charton（2020）采用神經網絡求解微分方程，比商用計算機系統效果更好；Bellemare et al. （2020）使用強化學習為平流層的熱氣球導航。

此外，ML 現已被廣泛應用于 COVID-19，例如 Kapoor 等人利用 ML 預測 COVID-19 的傳播，并預測與 COVID-19 相關的結構，Anastasopoulos 等人將相關數據翻譯成 35 種不同的語言，Lee 等人的研究可以實時回答有關 COVID-19 的問題。

有關 COVID-19 相關的 NLP 應用程序的概述，請參閱第一期 COVID-19 NLP 研討會的會議記錄：《Proceedings of the 1st Workshop on NLP for COVID-19 (Part 2) at EMNLP 2020》。

自然科學可以說是 ML 最具影響力的應用領域。它的改進涉及到生活的許多方面，可以對世界產生深遠的影響。隨著蛋白質折疊等核心領域的進展，ML 在自然科學中的應用速度只會加快。期待更多促進世界進步的研究出現。

強化學習

與最先進的智能體相比，Agent57 和 MuZero 整個訓練過程中在雅達利游戲中的表現優于人類基準(Badia et al., 2020)。

單個深度強化學習智能體 Agent57(Badia et al., 2020)首次在 57 款 Atari 游戲上超過人類，這也是深度強化學習領域中的一個長期基準。智能體的多功能性來自于神經網絡，該網絡允許在探索性策略和利用性策略之間切換。

強化學習在游戲方面的另一個里程碑是 Schrittwieser 等人開發的 MuZero，它能預測環境各個方面，而環境對精確的規劃非常重要。在沒有任何游戲動態知識的情況下，MuZero 在雅達利上達到了 SOTA 性能，在圍棋、國際象棋和日本象棋上表現也很出色。

最后是 Munchausen RL 智能體(Vieillard et al., 2020)，其通過一個簡單的、理論上成立的修改，提高了 SOTA 水平。

強化學習算法有許多實際意義 (Bellemare et al., 2020)。研究人員對這一領域的基本算法進行改進，通過更好的規劃、環境建模和行動預測產生很大的實際影響。

隨著經典基準（如 Atari）的基本解決，研究人員可能會尋找更具挑戰性的設置來測試他們的算法，如推廣到外分布任務、提高樣本效率、多任務學習等。

參考內容：https://ruder.io/research-highlights-2020/

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的2020年这10大机器学习研究最具影响力：为什么？接下来如何发展？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。