微软推出 ND H100 v5 虚拟机:采用英伟达 H100 GPU,满足企业 ChatGPT 生成式 AI 需求
生活随笔
收集整理的這篇文章主要介紹了
微软推出 ND H100 v5 虚拟机:采用英伟达 H100 GPU,满足企业 ChatGPT 生成式 AI 需求
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
3 月 14 日消息,微軟于今天宣布加強和英偉達的合作,將 GPU 從此前的 A100 升級到 H100,推出專門針對人工智能開發的全新的 ND H100 v5 虛擬機。
微軟表示該虛擬機主要面向需要整合或開發人工智能的企業,附該虛擬機配置如下:
-
8 塊英偉達 H100 Tensor Core GPU,通過下一代 NVSwitch 和 NVLink 4.0 互連
-
在非阻塞(non-blocking)的胖樹(Fat-Tree)架構網絡下,每塊 GPU 的 NVIDIA Quantum-2 CX7 InfiniBand 性能可以達到 400 Gb / s,每臺虛擬機可以達到 3.2Tb / s。
-
通過 NVSwitch 和 NVLink 4.0,每臺虛擬機內的 8 個本地 GPU 之間的對分帶寬為 3.6TB / s。
-
采用英特爾第 4 代 Xeon Scalable 處理器
-
使用 PCIe Gen5 連接 GPU,每個 GPU 帶寬為 64GB / s
-
16 通道 4800MHz DDR5 DIMM
微軟先前在 Azure OpenAI 服務中宣布了 ChatGPT 相關服務,而本次虛擬機是該服務的補充,它允許第三方通過 Azure 訪問聊天機器人技術。
總結
以上是生活随笔為你收集整理的微软推出 ND H100 v5 虚拟机:采用英伟达 H100 GPU,满足企业 ChatGPT 生成式 AI 需求的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一文带你学C语言,详细知识点思维导图!
- 下一篇: CMSIS-DAP和J-Link、ST-