快科技5月9日消息，中文通用大模型綜合性評測基準SuperCLUE正式發布。

中文通用大模型基準（SuperCLUE），是針對中文可用的通用大模型的一個測評基準，它嘗試在一系列國內外代表性的模型上使用多個維度能力進行測試。

它主要回答的問題是：在當前通用大模型大力發展的情況下，中文大模型的效果情況。包括但不限于：這些模型不同任務的效果情況、相較于國際上的代表性模型做到了什么程度、 這些模型與人類的效果對比如何？

根據首個榜單顯示，國內大模型中，近期發布的星火認知大模型最好，總分53.58分，與GPT-4相比有23個百分點的差距，與gpt-3.5-turbo在總分上有13個百分點的差距。

值得一提的是，訊飛星火認知大模型在對話、百科知識、角色模擬、計算能力、語義理解、邏輯推理方面，已經達到GPT 3.5平齊的水準。

在語義理解方面，訊飛星火認知大模型甚至得到100分的滿分，超過GPT-4。

而百度文心一言在總榜單中排名最后一名，得分32.61分。

據了解，SuperCLUE評測榜單由三部分組成：總榜單、基礎能力榜單、中文特性榜單，排行榜會定期更新，可訪問.

包括了常見的有代表性的模型能力，如語義理解、對話、邏輯推理、角色模擬、代碼、生成與創作等10項能力。

包括了中學、大學與專業考試，涵蓋了從數學、物理、地理到社會科學等50多項能力。

針對有中文特點的任務，包括了中文成語、詩歌、文學、字形等10項多種能力。

總榜單

基礎能力榜單

中文特性榜單

總結

以上是生活随笔為你收集整理的中文通用大模型评测基准SuperCLUE发布：讯飞星火认知大模型国内第一 文心一言垫底的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。