5月21日消息，5月18日，2023第七屆世界智能大會(huì)于國(guó)家會(huì)展中心（天津）正式開始。而天河新一代超級(jí)計(jì)算機(jī)是中國(guó)新一代百億億次超級(jí)計(jì)算機(jī)，也在此次展會(huì)迎來(lái)首次亮相。

同時(shí)，為充分發(fā)揮超算在算力方面的優(yōu)勢(shì)，推動(dòng)國(guó)產(chǎn)異構(gòu)超級(jí)計(jì)算機(jī)平臺(tái)在AI應(yīng)用開發(fā)和服務(wù)領(lǐng)域中的應(yīng)用。

據(jù)介紹，中文大語(yǔ)言模型的數(shù)據(jù)集非常稀缺。國(guó)家超算天津中心搜集整理了網(wǎng)頁(yè)數(shù)據(jù)、各種開源訓(xùn)練數(shù)據(jù)、中文小說(shuō)數(shù)據(jù)、古文數(shù)據(jù)、百科數(shù)據(jù)、新聞數(shù)據(jù)，以及專業(yè)領(lǐng)域的中醫(yī)、醫(yī)藥、問(wèn)診、法律等多種數(shù)據(jù)集。

訓(xùn)練數(shù)據(jù)集總token數(shù)達(dá)到350B，最終訓(xùn)練打造出了自己的中文語(yǔ)言大模型——天河天元大模型。

據(jù)悉，“天河E級(jí)智能計(jì)算開放創(chuàng)新平臺(tái)”將帶來(lái)突破百億億次的跨模態(tài)的超級(jí)計(jì)算算力，支撐傳統(tǒng)的科學(xué)工程計(jì)算，并服務(wù)智能混合計(jì)算，打造全方位的算力賦能創(chuàng)新和數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展載體。

總結(jié)

以上是生活随笔為你收集整理的国家队来了！国产中文大语言模型“天河天元”发布：由天河超算训练的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。