【網(wǎng)易科技5月22日報道】近日，以"大模型實際應用與場景化落地"為主題的研討沙龍和產(chǎn)品發(fā)布會在甲骨易第三空間舉行。發(fā)布會現(xiàn)場，甲骨易AI研究院推出了一款名為"超越"（Massive Multitask Chinese Understanding，簡稱MMCU）的高質(zhì)量中文評測數(shù)據(jù)集。據(jù)介紹，該數(shù)據(jù)集是一項大規(guī)模的多任務測試數(shù)據(jù)集，填補了中文大語言模型能力測試的空白。

據(jù)了解，"超越"MMCU數(shù)據(jù)集的推出是為了更好地評估大語言模型對中文的理解能力，并幫助提升中文大語言模型的技術(shù)水平。目前，國內(nèi)的大語言模型與國際水平仍有差距，而"超越"MMCU數(shù)據(jù)集的推出旨在幫助發(fā)現(xiàn)模型的缺陷并評價其能力。

發(fā)布會現(xiàn)場，產(chǎn)業(yè)界代表們強調(diào)，由于對大型語言模型的評估存在局限性和不足，導致了對各大廠商之間的差異性缺乏全面的了解，并且限制了國內(nèi)大型模型和人工智能產(chǎn)業(yè)的發(fā)展。因此，需要找到大型模型的缺陷并更好地理解包括中文在內(nèi)的人類語言文本。在評估中文大語言模型方面，國外在英文大語言模型上已經(jīng)有一些較為完善的評測方式，但對于中文大語言模型的評測仍然存在空白。

會上指出，數(shù)據(jù)量和數(shù)據(jù)分布對于訓練模型的配比方式非常重要，但是目前的數(shù)據(jù)集中，中文語料的比例較低，這導致中文模型的理解能力不足。為了提升中文能力，國內(nèi)的研究機構(gòu)和人工智能企業(yè)正在增補中文語料。與此同時，對中文大語言模型進行客觀公正的評價非常重要，以使其變得更加強大。目前國內(nèi)廠商仍然處于模仿和跟隨的階段，雖然未來有望超越國際水平，但目前沒有經(jīng)過實踐驗證。

據(jù)悉，"超越"MMCU數(shù)據(jù)集的推出正好滿足了這一需求，可以通過綜合評估模型在多個學科上的知識廣度和深度，幫助研究人員找出模型的缺陷，并對模型的能力進行評分。通過這樣的評價方法，可以更好地了解不同廠商之間的大模型技術(shù)能力的差異。(江淼)

總結(jié)

以上是生活随笔為你收集整理的国内首个大模型评测数据集（MMCU）发布 可提升大语言模型中文理解能力的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。