【網(wǎng)易科技7月11日報道】英特爾AI產(chǎn)品戰(zhàn)略暨Gaudi2新品發(fā)布會今日在京舉行。會上，英特爾正式于中國市場推出第二代Gaudi深度學(xué)習(xí)加速器——Habana Gaudi2。

據(jù)介紹，Gaudi2深度學(xué)習(xí)加速器暨Gaudi2夾層卡HL-225B，以第一代Gaudi高性能架構(gòu)為基礎(chǔ)，具備：24個可編程Tensor處理器核心（TPCs）， 21個100Gbps（RoCEv2）以太網(wǎng)接口， 96GB HBM2E內(nèi)存容量，2.4TB/秒的總內(nèi)存帶寬， 48MB片上SRAM，成多媒體處理引擎。

據(jù)悉，Gaudi2加速器的性能在6月公布的MLCommons MLPerf基準(zhǔn)測試1中得到了認(rèn)證。

此外，Gaudi2可為大規(guī)模的多模態(tài)和語言模型提供推理性能。在最近的Hugging Face評估中，其在大規(guī)模推理方面，可以支持運行Stable Diffusion2、70億以及1760億參數(shù)BLOOMz3模型。在Stable Diffusion訓(xùn)練上，Gaudi2展示了從1張卡至64張卡近線性99%的擴(kuò)展性。

據(jù)資料顯示，Gaudi2深度學(xué)習(xí)加速器的架構(gòu)旨在高效擴(kuò)展，以滿足大規(guī)模語言模型及生成式AI模型的需求。其每張芯片集成了21個專用于內(nèi)部互聯(lián)的100Gbps（RoCEv2 RDMA）以太網(wǎng)接口，從而實現(xiàn)低延遲服務(wù)器內(nèi)擴(kuò)展。

目前，英特爾正與浪潮信息合作，打造并發(fā)售基于Gaudi2深度學(xué)習(xí)加速器的浪潮信息AI服務(wù)器NF5698G7。該服務(wù)器集成了8顆Gaudi2加速卡HL-225B，同時包含雙路第四代英特爾至強可擴(kuò)展處理器。（李姝）

總結(jié)

以上是生活随笔為你收集整理的英特尔Gaudi2处理器发布，针对中国市场，可为大语言模型提供推理性能的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。