NeurIPS 會議在提交的大量論文和1903年被接受的論文中，有3篇被授予。今年獲獎的論文有：

• 語言模型是學習者很少

• 廣義形式相關平衡的無悔學習動力學

• 列子集選擇和Nystrom方法的改進保證和多重下降曲線

該NeurIPS委員會由一些指導準則。最好的論文必須具有革命性，創造力并具有一定的優雅度，但它也具有可行性，現實性和可復制性。它也不應過于復雜和低效。

語言模型是學習者很少

說GPT-3今年炸毀了我們，真是一件小事。已經看到了許多利用本文介紹的概念的應用程序。總的來說可以說GPT-3是今年看到的最大中斷，因此毫無疑問為什么這篇論文在今年的會議上獲勝。由Open AI的研究人員發布的這篇引人入勝的論文的背景在于，遷移學習在NLP中變得占主導地位。這意味著該行業正在大量使用經過大量文本預訓練的模型，然后根據特定任務對其進行微調。

微調本身可能會很耗時。另一方面，人類可以僅通過幾個示例來執行新的語言任務，這是NLP模型正在嘗試實現的目標(即使距離還很遙遠)。為了改進它并生成更多的不可知解決方案，OpenAI訓練了具有1750億個參數的GPT-3模型，并對其性能進行了微調。正如預期的那樣，取得了一些驚人的結果。為了進行比較，去年的GPT-2具有15億個參數，而微軟本月(到目前為止)推出了最大的基于Transform的語言模型，該模型具有170億個參數。因此，是的GPT-3是一個巨大的自回歸模型，它經過無監督學習和少拍學習訓練。

從架構上來講，GPT-2模型沒有任何變化。修改后的初始化，預標準化和可逆標記化等所有細節都相同。唯一的不同是，這次作者在transformer的各層中使用了交替的密集和局部帶狀的稀疏注意模式。同樣，這個大型GPT-3模型并不是本文所訓練的唯一模型。有8個模型，參數在1.25億到1,750億之間變化：

在此表中，還可以看到用于模型訓練的批次的大小。這些模型在以下數據集中進行訓練：

所有類別的結果令人難以置信。例如，對于傳統語言建模任務，GPT-3基于零擊的困惑，在Penn Tree Bank數據集上以15點的邊距設置了新的SOTA。GPT-3在答題測試中顯示了驚人的結果。通常這些測試分為開卷測試和閉卷測試。由于可能出現的查詢數量眾多，因此，開卷考試使用信息檢索系統來查找相關文本，然后模型學習從問題和檢索到的文本中生成答案。閉卷考試沒有此檢索系統。

在TriviaQA數據集上，GPT-3在零鏡頭設置下達到64.3％，在單鏡頭設置下達到68.0％，在少鏡頭設置下的閉卷測試中達到71.2％。在零鏡頭設置下，它的性能比經過微調的T5-11B高出14.2％。請注意，T5-11B是微調的，而GPT-3不是。有趣的是，在翻譯任務上，GPT-3在翻譯成英語時還設置了新的SOTA。它優于5 BLEU以前的無人監督NMT工作。對于其他任務，例如Winograd樣式任務，常識推理和閱讀理解，GPT-3也證明了它的優越性。在本文中閱讀有關它的更多信息。

由于GPT-3專注于與任務無關的性能，因此未對其進行微調。這意味著還有更多的改進空間，我們很快就會在該領域看到一些成果。

NeurIPS提交人評論：

語言模型構成了解決自然語言處理中一系列問題的現代技術的骨干。本文表明，當將這樣的語言模型擴展到前所未有的參數數量時，該語言模型本身可以用作幾次學習的工具，無需任何額外的培訓就可以在許多此類問題上取得非常有競爭力的表現。這是一個非常令人驚訝的結果，有望在實地產生重大影響，并且很可能經受時間的考驗。除了工作的科學貢獻外，本文還對工作的更廣泛影響進行了非常廣泛和深思熟慮的闡述，這可以作為NeurIPS社區關于如何考慮產品實際影響的一個示例。社區進行的研究。

在這里閱讀完整的論文。

https://arxiv.org/pdf/2005.14165.pdf

廣義形式相關平衡的無悔學習動力學

本文解決與博弈論，計算機科學甚至經濟學有關的問題。對我而言，它更始于納什均衡理論。納什均衡是一種概念，其中游戲的最佳結果是沒有任何玩家在考慮了對手的選擇后便有動機偏離其策略。例如，考慮選擇策略S1和S2的兩個玩家P1和P2。如果P1沒有其他響應P2選擇S2的策略提供比S1更好的回報的策略，則策略組(S1，S2)是Nash均衡。。在另一方面，P2沒有其他策略優于確實P2的響應，最大限度地提高收益P1選擇S1。

但是，該理論假設參與者之間的互動是分散的，這得出結論：納什均衡是不相關策略空間上的分布。該理論的變體-相關平衡假設聯合行動圖的總體分布是通過外部介體建模的。該調解員私下建議每個玩家下一個最佳動作。該理論的擴展被稱為廣泛形式相關均衡(EFCE)，在順序戰略互動中特別有用。根據此理論，在交互開始時，調解員會為順序交互的每個步驟收集所有可能的建議?？墒撬斖婕业竭_腳步時，逐漸顯示相關的個人動作。在每個步驟中，玩家都可以接受或不考慮調解員的推薦，但是這樣做不再為她提供推薦。

作者專注于特定的環境-任意數量的玩家進行的一般和式綜合游戲。實際上，對于這種設置，沒有有效的方法來解決EFCE。因此，作者從本質上表明，有可能設計出導致可行的EFCE的簡單動力學。他們通過引入幾個概念來做到這一點。第一個概念是觸發代理。玩家i的觸發代理是承擔玩家角色并承諾遵循所有建議的代理，除非她達到動作I并被推薦執行動作a。如果發生這種情況，玩家將停止承諾并按照計劃進行比賽，直到比賽結束。基于觸發器的這一概念，定義了遺憾。觸發后悔可衡量每個觸發代理對未發揮最佳后視策略的遺憾。這是內部遺憾，因為它表示直到迭代T為止玩家的累積內部遺憾。

最后，作者提供了一種稱為ICFR的算法。這是后悔最小化算法，通過在每個信息集上局部地對這些遺憾進行分解，從而使觸發代理程序的遺憾最小化。該算法如下所示：

NeurIPS提交人評論：

相關平衡(CE)易于計算，并且可以獲得比眾所周知的納什平衡要高得多的社會福利。在普通形式的游戲中，CE的一個令人驚訝的功能是可以通過簡單且分散的算法找到特定的遺憾(所謂的內部遺憾)概念，從而找到它們。本文說明了在大型游戲(即擴展型(或樹型)游戲)中收斂到CE的后悔最小化算法的存在。該結果解決了博弈論，計算機科學和經濟學界的一個長期存在的開放性問題，并且可能對涉及調解員的游戲產生重大影響，例如，通過導航應用程序對有效的交通路線產生影響。

在這里閱讀完整的論文。

https://arxiv.org/pdf/2004.00603.pdf

列子集選擇和Nystrom方法的改進保證和多重下降曲線

即使本文的數學意義更大，它還是探索了機器學習中廣泛采用的近似技術。來自加利福尼亞大學伯克利分校的研究人員利用了利用數據矩陣光譜特性的技術來獲得改進的近似保證。這一成就可能會對內核方法，特征選擇和神經網絡產生巨大影響。從本質上講，它依賴于列子集選擇問題(CSSP)。

CSSP是組合優化任務，其目的是從矩陣中選擇一個小的但有代表性的列向量樣本。CSSP的一種變體稱為Nystr?m方法。這是生成低秩矩陣近似的有效技術。這是通過對列進行自適應采樣來實現的，該采樣在選擇一組列與更新所有列的分布之間交替進行。

CSSP和Nystr?m方法都旨在通過使用目標矩陣的子矩陣來構建準確的低秩近似，并以此將誤差最小化：

一個自然的問題出現了：“我們能達到最佳等級k逼近誤差有多接近？”，或者在數學上：

目標是找到大小為k的子集S，其Er 與OPT之 比較小。為了創建一種解決CSSP的算法，進行了許多論文和研究。最好的方法(Deshpande et al。2006)給出了一種隨機方法，該方法返回大小為k的集合S，使得：

本文的作者為CSSP近似因子提供了更好的保證，它超出了最壞的情況。他們的貢獻可以分為幾個部分：

新的上限–使用頻譜衰減，作者開發了CSSP近似因子的上限系列。

新的下界–如果無法改善最壞情況的上限，作者將提供新的下界構造。

多次下降曲線–作者證明CSSP逼近因子可以表現出峰和谷，這實際上是CSSP的固有屬性

當全部放在一起時，建議的CSSP / Nystrom近似因子的上限和下限顯示出一種現象-多次下降曲線。該方法經過經驗評估，可以在實際數據集上輕松觀察到。

NeurIPS提交人評論：

從大矩陣中選擇列向量的一個小但有代表性的子集是一個困難的組合問題，并且已知一種基于基數受限的確定點過程的方法可以提供一種實用的近似解決方案。本文針對最佳可能的低秩近似推導了近似解的近似因子的新上限和下限，該上限甚至可以捕獲子集大小的多次下降行為。本文進一步將分析擴展到獲得Nystr?m方法的保證。由于這些逼近技術已在機器學習中得到廣泛應用，因此有望對本文產生重大影響，并為例如核方法，特征選擇和神經網絡的雙下降行為提供新的見解。

在這里閱讀完整的論文。

https://arxiv.org/pdf/2002.09073.pdf

結論

在本文中，探討了NeurIPS Conference上最有趣的論文。它們將在未來幾年動搖機器學習的世界。

推薦閱讀

年終收藏! 一文看盡2020年度最「出圈」AI論文合集

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的机器学习 监督学习论文_NeurIPS 2020最佳机器学习论文奖的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。