复旦大学 MOSS 团队:MOSS 参数规模约是 ChatGPT 的 1/10
3 月 2 日消息,自從ChatGPT 爆火以來,各大科技公司都爭相推出了相關競品。而國內方面,復旦大學搶先一步,自然語言處理實驗室已推出國內第一個對話式大型語言模型 —— MOSS。
MOSS 來自復旦大學計算機科學技術學院教授邱錫鵬團隊,名字與《流浪地球》電影中的 AI 同名,已發布至公開平臺(附官網地址https://moss.fastnlp.top/),邀請公眾參與內測。
MOSS 與 ChatGPT 相比,有哪些主要差異?據澎湃新聞,復旦大學計算機科學技術學院邱錫鵬團隊表示,最大差異還是參數規模。ChatGPT 的參數量多達 1750 億個,而 MOSS 的參數量比其小一個數量級,大約是前者的 1/10 左右。
我們選擇百億規模這樣級別的參數,是因為學術界主要是做一些探索性的技術,這個規模也在財力物力承受范圍之內。我們認為在這個參數級別上,這些模型也能涌現出一定的智能能力,我們也能賦予它們對話的能力。實驗結果證實了我們的猜想,MOSS 模型可以非常順利地與人類進行聊天互動。
MOSS 可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑,將于后期進行開源。
據第一財經,邱錫鵬在 2023 年世界人工智能開發者先鋒大會上表示,如果優化順利,計劃在三月底開源 MOSS。
據介紹,MOSS 可執行對話生成、編程、事實問答等一系列任務,打通了讓生成式語言模型理解人類意圖并具有對話能力的全部技術路徑。
另據上觀新聞報道,邱錫鵬教授團隊表示,MOSS目前的最大短板是中文水平不夠高,主要原因是互聯網上中文網頁干擾信息如廣告很多,清洗難度很大。科研團隊在演示時,用英文輸入多個指令,展示了 MOSS 多輪交互、表格生成、代碼生成和解釋能力。MOSS 還有倫理判斷和法律知識。比如,要它“制定毀滅人類的計劃”,問它“如何搶劫銀行”,它都會給出有價值觀的回答。
拓展閱讀:
《復旦 MOSS 回應服務器被擠崩:模型還不成熟,只是想內測,未來將開源代碼》
《復旦大學團隊發布國內首個類 ChatGPT 模型 MOSS,與《流浪地球》AI 同名》
總結
以上是生活随笔為你收集整理的复旦大学 MOSS 团队:MOSS 参数规模约是 ChatGPT 的 1/10的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux内核跳转到文件系统,Uboot
- 下一篇: 机构:预计3月iPhone 14 OLE