11 月 21 日消息，微軟 Azure AI 基礎設施迎來升級，推出了 ND H100 v5 虛擬機系列，這款虛擬機配備了英偉達 H100 Tensor Core 圖形處理單元（GPU）和低延遲網絡。

據介紹，微軟全新發布 Azure ND H100 v5 虛擬機（VM）系列，現已在美國東部和美國中南部 Azure 區域提供。

該系列配備了最新的英偉達 H100 Tensor Core GPU 和英偉達 Quantum-2 InfiniBand 網絡，用于應對 AI 工作負載帶來的日益增加的復雜性。作為微軟在 AI 領域深入和持續投資的一部分，微軟正在利用一個 AI 優化的 4K GPU 集群，并將在明年將其擴展到數十萬個全新的 GPU。

匯總 ND H100 v5 VM 虛擬機系列的特性：

• AI 超級計算 GPU：配備了八個英偉達 H100 Tensor Core GPU。比起上一代虛擬機，該系列可讓 AI 模型顯著提速。

• 新一代計算機處理單元（CPU）：CPU 性能對于 AI 的訓練和推理至關重要，微軟選擇了第四代英特爾 Xeon Scalable 處理器。

• 低延遲網絡：采用英偉達 Quantum-2 ConnectX-7 InfiniBand，每個 GPU 擁有 400Gb / s、每個 VM 擁有 3.2 Tb / s 的跨節點帶寬。

• 優化主機到 GPU 的性能：通過 PCIe Gen5 提供每個 GPU 64GB/s 的帶寬。

• 大規模的內存和內存帶寬：DDR5 內存是該系列虛擬機的核心，提供更高的數據傳輸速度和效率。

微軟表示，該系列虛擬機使用新的 8 位 FP8 浮點數據類型進行矩陣乘法操作時，速度提升了六倍，比前一代的 FP16 更快。ND H100 v5 VM 幫助大型語言模型（如 BLOOM 175B 端到端模型）實現了最高兩倍的推理速度提升。

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的微软发布 Azure ND H100 v5 虚拟机，配备 8 个英伟达 H100 GPU的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。