2018年以來預訓練模型技術成功將深度學習框架應用于海量無標注數據，在大數據和大算力的支持下，「大模型」一定程度上具備了通用的語言能力，可以非常方便地通過微調技術適配到廣泛下游任務，任務性能得到普遍顯著提升，成為自然語言處理等領域的最新學習范式，前沿動態日新月異。

「Big Model Meetup」系列活動是由智源研究院悟道團隊、青源會、清華大學計算機科學與技術系博碩論壇、中國中文信息學會青年工作委員會共同組織，智源社區提供社區支持，PaperWeekly提供媒體支持。該系列活動旨在建設“大模型”研究和應用的“技術社區”，推動國內大模型技術的交流與發展，打造相關專家學者、愛好者深度的交流分享平臺。

BMMeetup第二期以大模型加速計算技術為主題，于2021年10月31日上午在線上召開，邀請了清華大學翟季冬老師和陳鍵飛老師為特邀講者做引導發言介紹模型并行方法和量化方法的前沿動態，七位青年學者做技術報告。歡迎報名參加。

時間和直播

會議時間：2021年10月31日（周日）09:00-12:00

直播通道：https://live.bilibili.com/14884511（或點擊閱讀原文）

會議流程

議題詳情

- 特邀報告 -

題目：基于國產超級計算機的百萬億參數超大預訓練模型的訓練

報告摘要：大規模預訓練模型已經在一系列重要應用中顯示出其先進性。隨著預訓練模型規模的急劇增長，訓練此類模型需要海量的計算和存儲能力。為此，我們在國產新一代高性能計算機上訓練了一個130萬億參數的超大規模預訓練模型，模型參數與人腦中的突觸數量相媲美。本報告中，介紹我們在加速這一模型中遇到的挑戰以及相應的解決方法。

講者：翟季冬 清華大學計算機系長聘副教授，智源青年科學家

講者簡介：翟季冬，清華大學計算機系長聘副教授，博士生導師。現為清華大學計算機系高性能所副所長，ACM中國高性能計算專家委員會秘書長、北京智源青年科學家。主要研究方向包括高性能計算、性能評測和編譯優化等。研究成果發表在相關領域頂級學術會議和期刊——SC、ICS、PPOPP、ASPLOS、MICRO、OSDI、ATC、IEEE TC、IEEE TPDS等。研究成果獲ACM ICS 2021最佳學生論文獎、SC 2014 Best Paper Finalist、ICDCS 2020 Best Paper Honorable Mention獎。擔任NPC 2018程序委員會主席、IEEE Cluster 2021領域主席、SC 2022領域副主席，SC、ICS、PPOPP等國際學術會議程序委員會委員。目前擔任《IEEE Transactions on Computers》、《IEEE Transactions on Parallel and Distributed Systems》、《IEEE Transactions on Cloud Computing》等多個國際學術期刊編委。擔任清華大學學生超算團隊教練，指導的團隊十一次獲得世界冠軍。獲教育部科技進步一等獎、中國電子學會科學技術一等獎、中國計算機學會優秀博士學位論文獎、IEEE TPDS杰出編委獎、國家自然科學基金優秀青年科學基金（2017）、CCF-IEEE CS青年科學家獎。

---

題目：基于隨機量化的高效神經網絡訓練理論及算法

報告摘要：深度學習模型的規模與日俱增，訓練神經網絡的計算和內存需求快速增長。量化神經網絡降低了神經網絡計算中的數值精度，是加速神經網絡訓練、節省內存開銷的有效手段。本次報告將介紹量化神經網絡的理論研究現狀，并介紹量化神經網絡理論保證方面的一些最新工作。

講者：陳鍵飛 清華大學計算機系助理教授

講者簡介：陳鍵飛，清華大學計算機系助理教授。分別于2014、2019年在清華大學計算機系取得工學學士、博士學位。主要從事機器學習的高效算法研究，特別是量化神經網絡、隨機優化算法、概率推理、主題模型等。在NeurIPS、ICML等國際會議發表論文20余篇，研究成果獲CCF優秀博士學位論文獎。

---

- 技術報告-

題目：FastMoE: 開源大規模分布式 MoE 訓練框架

報告摘要：MoE 已經成為通往超大規模預訓練模型的重要工具。報告將回顧 MoE 的發展歷史和它在 Google 的千億參數模型 GShard 和萬億參數模型 Switch-Transformer 中的應用。并介紹一個我們開發的大規模分布式 MoE 訓練框架 FastMoE，著重介紹最新的 FastMoE v0.2 的一些新特性。包括（1）全新的負載均衡模塊，支持 NoisyGate、GShard、Switch Transformer 等負載均衡策略；（2）同時支持英偉達 GPU 平臺 和 神威國產超算平臺；（3）在神威國產超算上1.75萬億模型訓練實戰 ?。?

講者：裘捷中 清華大學計算機系博士生

講者簡介：裘捷中，清華大學計算機科學與技術系六年級博士生，導師為唐杰教授，曾獲得 2018 MSRA 微軟學者提名獎，和 2020 世界人工智能大會 WAIC 青年優秀論文入圍獎。他的研究興趣主要包括圖表示學習和大規模預訓練。

---

題目：MoEfication：超大規模預訓練語言模型稀疏化技術

報告摘要：基于Transformer的預訓練語言模型受益于大模型容量，在眾多NLP任務上取得優異的性能，同時也需要巨大的計算成本。我們觀察到在模型推理過程中，大多數輸入只激活了模型中極小比例的神經元。因此，我們提出將一個大模型轉化為其具有相同模型大小的MoE版本，加速大模型的推理。實驗結果表明，MoE模型可以大大降低計算成本，在多個 ?下游任務中，只激活模型的20%的FFN參數不會顯著影響性能。

講者：張正彥 清華大學計算機系博士生

講者簡介：張正彥：清華大學計算機系2019級博士生，導師為劉知遠副教授，研究方向為預訓練語言模型及相關加速。相關工作發表在ACL、EMNLP、TKDE等會議及期刊上。

---

題目：ELUE高效模型評測與彈性BERT

報告摘要：近期超大規模預訓練模型將很多NLP任務的準確率提升到了前所未有的高度，相比于訓練更大的模型去進一步刷新SOTA，越來越多的工作開始追求模型的多維度提升，比如保持一定準確率的同時提升模型推理效率，即追求Pareto SOTA。然而，這些高效推理模型大多仍然在以準確率為中心的評測基準（如GLUE）上評測，這造成了對比不全面、結果不開源、評測不標準、提交不便捷等問題。對此，我們發布了ELUE（http://eluebenchmark.fastnlp.top/），一個針對高效NLP模型的標準化評測平臺，它采用性能、參數量、FLOPs等指標對模型進行多維評測，采用ELUE Score對模型進行排序并形成Leaderboard。同時，我們還為高效NLP模型預訓練了一個強大的基線模型——ElasticBERT，它既可以直接截取前幾層來靜態地使用，也可以作為動態早退模型的Backbone來動態地使用，實驗表明ElasticBERT在兩種使用場景下都取得了極具競爭力的結果。

講者：孫天祥 復旦大學博士生

講者簡介：孫天祥：復旦大學2019級博士生，導師為邱錫鵬教授和黃萱菁教授，主要關注自然語言處理中的多任務學習、知識融入、高效推理等方向，研究成果發表于AAAI, COLING, ACL, NAACL等會議，擔任相關會議審稿人。

---

題目：CogView及其稀疏注意力加速

報告摘要：非限定領域文本到圖像的生成一直是一個開放的問題，這需要一個強大的生成模型和跨模態的理解的能力。我們提出了CogView，一個帶有VQ-VAE標記器的40億參數Transformer來解決這個問題。我們還演示了各種下游任務的微調策略，例如風格學習、超分辨率、文本圖像相關性排序等，以及穩定預訓練的方法，例如消除NaN損失。CogView在MS COCO數據集上實現了最先進的FID，優于以前基于GAN的模型和最近的類似工作DALL-E。由于生成高分辨率圖像的序列長度遠長于文本數據，本次演講著重講解CogView中的稀疏注意力機制。
講者：丁銘 清華大學計算機系博士生

---

---

講者簡介：丁銘，清華大學計算機系博士生， 導師為唐杰教授。主要研究方向為認知智能與大規模預訓練，曾在KDD、ACL、NeurIPS等會議上發表多篇一作文章。

---

題目：CPM-2中的大模型高效計算技術

報告摘要：近年來預訓練語言模型的規模不斷變大，在性能提升的同時，也帶來了計算效率問題。我們在訓練CPM-2時構建了一套高效的計算框架，緩解大模型預訓練、微調以及推理中的效率問題，訓練出具有110億稠密參數的CPM-2，以及其具有1980億參數的MoE版本。本次演講著重講解訓練CPM-2過程中涉及到的大模型高效計算技術，具體包括（1）稠密模型的3D并行加速（2）MoE模型的計算調度加速（3）大模型初始化及微調技巧。

講者：韓旭 清華大學計算機系博士生

講者簡介：韓旭：清華大學計算機系2017級博士生，導師為劉知遠副教授，研究方向為自然語言處理、信息抽取、預訓練語言模型，在自然語言處理領域國際會議ACL、EMNLP、COLING、NAACL上發表多篇論文。

---

題目：預訓練語言模型的知識繼承技術

報告摘要：最近對大規模預訓練語言模型 (PLM) 的探索（例如GPT-3）展示了具有大量參數的PLM的強大功能，然而，訓練大規模PLM 需要大量的計算資源，這既耗時又昂貴。此外，現有的大規模PLM主要是從頭開始訓練，忽略了許多現有的PLM的可復用性。為此，我們探討了如何基于已訓練的PLM，訓練更大的PLM的問題，我們將其命名為“知識繼承”。具體而言，我們會從兩個方向探討該問題：（1）如何利用“反向蒸餾”的方法，將小模型的知識傳授給大模型以及（2）如何通過小模型參數復用，提升大模型的訓練速度。實驗證明，兩種方法均可以高效提升大模型的訓練收斂速度，節省大量算力資源。

講者：秦禹嘉 清華大學計算機系博士生

?

講者簡介：秦禹嘉：清華大學計算機系2020級博士生，導師為劉知遠副教授，研究方向為預訓練語言模型、知識遷移等。相關工作發表在ICLR、ACL、TASLP等會議及期刊上。

---

題目：BMInf低資源大模型推理技術與工具包

報告摘要：隨著人們對大規模預訓練語言模型的探索，以GPT-3為代表的一系列預訓練語言模型以其強大的能力，促進了新一代人工智能應用的發展，在巨大參數量的加持下，人工智能可以完成語言的理解和推理也可以完成廣告的創作。但是，在大模型巨大的參數量下，往往隱藏著巨大的算力需求。僅僅是硬件門檻的成本，就已經讓很多應用開發者、研究人員望而卻步。為了讓更多人能在低成本的硬件上運行大模型，我們推出了BMInf工具包，讓擁有110億參數的CPM-2模型也能以不錯的效率運行在GTX 1060這樣普通的硬件設備上。

講者：曾國洋 BMInf工具包作者，OpenBMB聯合發起人

講者簡介：清華大學2016級本科畢業生，BMInf工具包作者，OpenBMB聯合發起人之一，在CPM團隊中負責底層訓練框架編寫和優化。

總結

以上是生活随笔為你收集整理的直播丨BMMeetup第2期：大模型计算加速技术，2场特邀和7位青年学者技术报告联袂上演...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。