來源：AI科技評論??

作者：維克多

Transformer的提出距離我們已經有5年的時間，隨著模型規模的不斷增長，性能提升也逐漸出現邊際效益遞減的情況。如何訓練出最優性能的大模型？

最近，DeepMind做了一項調查，想弄清AI語言模型的規模和token之間的關系。這個小組訓練了超過400個模型，規模從7000萬參數到160億參數不等，token數量從50億到5000億不等。

該小組發現，模型參數大小和token的數量成正相關，換句話說，當模型規模加倍的時候，token也應該加倍。

1

如何得到這種關系？

目前確實是大模型時代，自從1750億參數的GPT-3橫空出世時，勾起了研究員的興趣。近兩年的時間，業界陸續推出了好幾個模型，且一個比一個大，并且在多數任務上獲得了令人令人深刻的性能。

但這種超越認知的性能表現，是以巨大的計算和能源消耗為代價，業界也一直在討論這種代價是否值得。例如前谷歌研究員Timnit Gebru就曾撰寫論文討論“AI 語言模型是否太大以及科技公司在降低潛在風險方面做得是否足夠。”她也因為該論文被谷歌解雇。

大模型的訓練預算一般是提前計劃好的，畢竟訓練一次成本太大。因此，在給定預算的條件下，準確估計最佳模型超參數變得非常關鍵。之前，也有學者已經證明參數的數量和自回歸語言模型（autoregressive language model）的性能之間存在冪律關系。

例如先前的研究表明，10倍計算預算對應增加5.5倍模型規模，以及1.8倍的token數量。但這項研究表明：模型大小和token的數量應該成等比例增長。

此外，研究員還預測，對于訓練Gopher（2800億個參數的語言模型），最佳模型應該小4倍，并且應該在大4倍的token上進行訓練。這一預測，在包含1.4萬億個token的 Chinchilla中的訓練得到驗證。Chincilla的性能優于Gopher，由于模型規模減小，推理成本也更低。

?

2

如何讓大模型更加高效？

大模型只有在大數據集上才能發揮最大的效力，同時，DeepMind也注意到，處理大數據集時需要格外小心，訓練集和測試集的合理劃分，才能最小化語言建模損失以及最優賦能下游任務。

研究界必須考慮與此類大型模型相關的倫理和隱私問題。正如過去所討論：從網絡上收集的大型數據集包含有毒的語言、偏見和私人信息。

關于大模型如何更高效的問題，近日，清華大學劉知遠從模型架構層面也提出了看法《清華劉知遠：大模型「十問」，尋找新范式下的研究方向》，他表示：

隨著大模型越變越大，對計算和存儲成本的消耗自然也越來越大。最近有人提出GreenAI的概念，即需要考慮計算能耗的情況來綜合設計和訓練人工智能模型。面向這個問題，我們認為，隨著模型變大，AI會越來越需要跟計算機系統進行結合，從而提出一個更高效面向大模型的支持體系。一方面，我們需要去建設更加高效分布式訓練的算法，在這方面國內外都有非常多的相關探索，包括國際上比較有名的DeepSpeed 以及悟道團隊在開發的一些加速算法。

另一個方面，大模型一旦訓練好去使用時，模型的“大”會讓推理過程變得十分緩慢，因此另外一個前沿方向就是如何高效將模型進行盡可能的壓縮，在加速推理的同時保持它的效果。這方面的主要技術路線包括剪枝、蒸餾、量化等等。同時最近我們發現，大模型里面具有非常強的稀疏發放的現象，這對于模型的高效壓縮和計算有著非常大的幫助，這方面需要一些專門算法的支持。

未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）大腦研究計劃，構建互聯網（城市）大腦技術和企業圖譜，為提升企業，行業與城市的智能水平服務。每日推薦范圍未來科技發展趨勢的學習型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。

??如果您對實驗室的研究感興趣，歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”

總結

以上是生活随笔為你收集整理的DeepMind最新研究：如何将「大语言模型」 训练到最优？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。