NVIDIA深度架构
NVIDIA深度架構
本文介紹A100 GPU，NVIDIA Ampere架構GPU的重要新功能。
現代云數據中心中運行的計算密集型應用程序的多樣性推動了NVIDIA GPU加速的云計算的爆炸式增長。此類密集型應用程序包括AI深度學習（DL）訓練和推理，數據分析，科學計算，基因組學，邊緣視頻分析和5G服務，圖形渲染，云游戲等。從擴展的AI訓練和科學計算，到擴展的推理應用程序，再到支持實時對話式AI，NVIDIA GPU提供了必要的功能，加速當今云數據中心中運行的眾多復雜且不可預測的工作負載。
NVIDIA GPU是推動AI革命的領先計算引擎，為AI訓練和推理算力提供了極大的提速。此外，NVIDIA GPU加速了許多類型的HPC和數據分析應用程序和系統，能夠有效地分析，可視化數據并將其轉化為戰略分析。NVIDIA加速計算平臺對于許多世界上最重要，增長最快的行業至關重要。
推出NVIDIA A100 Tensor Core GPU
NVIDIA A100 Tensor Core GPU基于新的NVIDIA Ampere GPU架構，基于先前的NVIDIA Tesla V100 GPU的功能構建。增加了許多新功能，顯著提高了HPC，AI和數據分析工作負載的性能。
A100為在單GPU工作站和多GPU工作站，服務器，集群，云數據中心，邊緣系統和超級計算機中運行的GPU計算和DL應用程序提供了強大的擴展能力。A100 GPU支持構建彈性，多功能和高吞吐量的數據中心。
A100 GPU包括革命性的新型多實例GPU（MIG）虛擬化和GPU分區功能，特別有利于云服務提供商（CSP）。當配置為MIG操作時，A100允許CSP提高其GPU服務器的利用率，無需額外成本，即可提供多達7倍的GPU實例。強大的故障隔離功能使他們可以安全，安全地對單個A100 GPU進行分區。
A100添加了功能強大的新型第三代Tensor Core，可在V100之上提高吞吐量，增加了對DL和HPC數據類型的全面支持，以及新的Sparsity功能，將吞吐量進一步提高一倍。
A100中的新TensorFloat-32（TF32）Tensor Core操作提供了一條簡單的路徑，加速DL框架和HPC中的FP32輸入/輸出數據，運行速度比V100 FP32 FMA操作快10倍，具有稀疏性則快20倍。對于FP16 / FP32混合精度DL，A100 Tensor Core的性能是V100的2.5倍，而稀疏性則提高到5倍。
新的Bfloat16（BF16）/ FP32混合精度Tensor Core操作以與FP16 / FP32混合精度相同的速率運行。Tensor Core加速了INT8，INT4和二進制，全面支持DL推理，其中A100稀疏INT8的運行速度比V100 INT8快20倍。對于HPC，A100 Tensor Core包括新的符合IEEE標準的FP64處理，處理能力是V100的FP64的2.5倍。
NVIDIA A100 GPU的架構不僅可以加速大型復雜工作負載，可以有效地加速許多較小的工作負載。A100使建筑數據中心能夠適應無法預測的工作負載需求，提供細粒度的工作負載供應，更高的GPU利用率和改進的TCO。
NVIDIA A100 GPU提供了超過V100的超速提速，用于AI訓練和推理工作負載。
主要特征
基于NVIDIA Ampere架構的GA100 GPU在臺積電7nm N7制造工藝上制造，為A100提供動力，包括542億個晶體管，管芯尺寸為826 mm2。
A100 GPU流式多處理器
基于NVIDIA Ampere架構的A100 Tensor Core GPU中的新流式多處理器（SM）大大提高了性能，基于Volta和Turing SM架構中引入的功能，增加了許多新功能。
A100第三代Tensor內核增強了操作數共享，提高了效率，添加了功能強大的新數據類型，其中包括：
? TF32 Tensor Core指令可加速FP32數據的處理
? 適用于HPC的IEEE兼容FP64 Tensor Core指令
? BF16 Tensor Core指令的吞吐量與FP16相同
峰值FP64 9.7 TFLOPS
峰值FP64 Tensor Core 19.5 TFLOPS
峰值FP32 19.5 TFLOPS
峰值FP16 78 TFLOPS
高峰BF16 39 TFLOPS
峰值TF32 Tensor Core 156 TFLOPS | 312 TFLOPS
峰值FP16 Tensor Core 312 TFLOPS | 624 TFLOPS
峰值BF16張量核心 312 TFLOPS | 624 TFLOPS
峰值INT8張量核心 624 TOPS | 1,248 TOPS
峰值INT4張量核心 1,248 TOPS | 2,496 TOPS
表1. A100 Tensor Core GPU性能規格。
1）峰值速率基于GPU增強時鐘。
2）使用新的稀疏性功，能實現有效的TFLOPS / TOPS。
A100 Tensor Core中的新稀疏支持，可以利用DL網絡中的細粒度結構稀疏性來使Tensor Core操作的吞吐量增加一倍。
與V100相比，A100中更大，更快的L1高速緩存和共享內存單元提供了每SM聚合容量的1.5倍（192 KB對比每個SM 128 KB），從而為許多HPC和AI工作負載提供了額外的加速。
幾個新的SM功能提高了效率和可編程性，降低了軟件復雜性。
40 GB HBM2和40 MB L2緩存
為了滿足其巨大的計算吞吐量，NVIDIA A100 GPU擁有40 GB的高速HBM2內存，具有一流的1555 GB /秒的內存帶寬，與Tesla V100相比增加了73％。此外，A100 GPU擁有更多的片上內存，其中包括40 MB的2級（L2）緩存-比V100大7倍-以最大化計算性能。借助新的分區交叉開關結構，A100 L2緩存提供了V100的L2緩存讀取帶寬的2.3倍。
為了優化容量利用率，NVIDIA Ampere體系結構提供了L2緩存駐留控件，管理要保留或從緩存中逐出的數據。A100還增加了計算數據壓縮功能，使DRAM帶寬和L2帶寬最多增加4倍，L2容量最多增加2倍。
多實例GPU
全新的多實例GPU（MIG）功能，使A100 Tensor Core GPU可以安全地劃分為多達七個用于CUDA應用程序的獨立GPU實例，從而為多個用戶提供獨立的GPU資源以加速其應用程序。
使用MIG，每個實例的處理器都具有貫穿整個內存系統的單獨且隔離的路徑。片上交叉開關端口，L2緩存庫，存儲器控制器和DRAM地址總線，唯一地分配給單個實例。確保單個用戶的工作負載，預測吞吐量和延遲運行，具有相同的二級緩存分配和DRAM帶寬，即使其它任務正在破壞自己的緩存，或使DRAM接口飽和也一樣。
MIG在提供定義的QoS和在不同客戶端（例如VM，容器和進程）之間提供隔離的同時，提高了GPU硬件利用率。MIG對于具有多租戶用例的CSP尤其有利。除了提供增強的安全性，為客戶提供GPU利用率保證之外，確保一個客戶端不會影響其他客戶端的工作或日程安排。
第三代NVIDIA NVLink
在A100 GPU中實現的第三代NVIDIA高速NVLink互連和新的NVIDIA NVSwitch大大增強了多GPU的可擴展性，性能和可靠性。通過每個GPU和交換機的更多鏈接，新的NVLink提供了更高的GPU-GPU通信帶寬，改善了錯誤檢測和恢復功能。
第三代NVLink每對信號的數據速率為50 Gbit / sec，幾乎是V100中25.78 Gbit / sec速率的兩倍。單個A100 NVLink與V100相似，在每個方向上可提供25 GB /秒的帶寬，與V100相比，每個鏈接僅使用一半的信號對數量。A100中的鏈接總數從V100中的6條增加到12條，總帶寬為600 GB /秒，而V100為300 GB /秒。
支持NVIDIA Magnum IO和Mellanox互連解決方案
A100 Tensor Core GPU與NVIDIA Magnum IO和Mellanox最新的InfiniBand和以太網互連解決方案完全兼容，加速多節點連接。
Magnum IO API集成了計算，網絡，文件系統和存儲，可為多GPU，多節點加速系統最大化I / O性能。與CUDA-X庫接口，加速從AI和數據分析到可視化的各種工作負載的I / O。
具有SR-IOV的PCIe Gen 4
A100 GPU支持PCI Express Gen 4（PCIe Gen 4），通過提供31.5 GB /秒的速度（相對于x16連接的15.75 GB /秒），使PCIe 3.0 / 3.1的帶寬增加了一倍。更快的速度對于連接到支持PCIe 4.0的CPU的A100 GPU以及支持快速網絡接口（例如200 Gbit / sec InfiniBand）特別有利。
A100還支持單根輸入/輸出虛擬化（SR-IOV），從而可以為多個進程或VM共享和虛擬化單個PCIe連接。
改進的錯誤和故障檢測，隔離和控制
通過檢測，包含并經常糾正錯誤和故障，而不是強制GPU重置，最大化GPU的正常運行時間和可用性至關重要。在大型多GPU群集和單GPU多租戶環境（例如MIG配置）中尤其如此。A100 Tensor Core GPU包括改進錯誤/故障歸因，隔離和控制的新技術。
異步復制
A100 GPU包含一個新的異步復制指令，可將數據直接從全局內存加載到SM共享內存中，而無需使用中間寄存器文件（RF）。異步復制減少了寄存器文件的帶寬，更有效地使用了內存帶寬，降低了功耗。顧名思義，異步復制可以在SM執行其它計算時在后臺完成。
異步屏障
A100 GPU在共享內存中提供了硬件加速的障礙。這些屏障可使用CUDA 11以符合ISO C ++的屏障對象的形式使用。異步屏障將屏障到達和等待操作分開，可用于通過SM中的計算，將異步副本從全局內存重疊到共享內存中。可用于使用CUDA線程來實現生產者－消費者模型。屏障還提供了以不同的粒度（不僅僅是扭曲或塊級別）同步CUDA線程的機制。
任務圖加速
CUDA任務圖為將工作提交到GPU提供了更有效的模型。任務圖由依賴關系連接的一系列操作（例如內存副本和內核啟動）組成。任務圖啟用了一次定義和重復運行的執行流程。預定義的任務圖允許在一次操作中啟動任意數量的內核，從而大大提高了應用程序的效率和性能。A100添加了新的硬件功能，以使任務圖中的網格之間的路徑顯著加快。
A100 GPU硬件架構
NVIDIA GA100 GPU由多個GPU處理群集（GPC），紋理處理群集（TPC），流式多處理器（SM）和HBM2內存控制器組成。
GA100 GPU的完整實現包括以下單元：
? 每個完整GPU 8個GPC，8個TPC / GPC，2個SM / TPC，16個SM / GPC，128個SM
? 每個完整GPU 64個FP32 CUDA內核/ SM，8192個FP32 CUDA內核
? 每個完整GPU 4個第三代Tensor核心/ SM，512個第三代Tensor核心
? 6個HBM2堆棧，12個512位內存控制器
GA100 GPU的A100 Tensor Core GPU實現包括以下單元：
? 7個GPC，7個或8個TPC / GPC，2個SM / TPC，最多16個SM / GPC，108個SM
? 每個GPU 64個FP32 CUDA內核/ SM，6912個FP32 CUDA內核
? 每個GPU 4個第三代Tensor內核/ SM，432個第三代Tensor內核
? 5個HBM2堆棧，10個512位內存控制器
具有128個SM的完整GA100 GPU。A100基于GA100，具有108個SM。
A100 SM架構
新的A100 SM大大提高了性能，建立在Volta和Turing SM體系結構中引入的功能的基礎上，增加了許多新功能和增強功能。
A100 SM圖如圖5所示。Volta和Turing每個SM具有八個Tensor核心，每個Tensor核心每個時鐘執行64個FP16 / FP32混合精度融合乘加（FMA）操作。A100 SM包括新的第三代Tensor內核，每個內核每個時鐘執行256個FP16 / FP32 FMA操作。A100每個SM有四個Tensor內核，每個時鐘總共可提供1024個密集的FP16 / FP32 FMA操作，與Volta和Turing相比，每個SM的計算能力提高了2倍。
SM的主要功能在此處簡要描述：
? 第三代Tensor核心：
o 加速所有數據類型，包括FP16，BF16，TF32，FP64，INT8，INT4和二進制。
o 新的Tensor Core稀疏功能利用深度學習網絡中的細粒度結構稀疏性，使標準Tensor Core操作的性能提高了一倍。
o A100中的TF32 Tensor Core操作提供了一條簡單的路徑來加速DL框架和HPC中的FP32輸入/輸出數據，運行速度比V100 FP32 FMA操作快10倍，而具有稀疏性時則快20倍。
o FP16 / FP32混合精度Tensor Core操作為DL提供了空前的處理能力，運行速度比V100 Tensor Core操作快2.5倍，稀疏性提高到5倍。
o BF16 / FP32混合精度Tensor Core操作以與FP16 / FP32混合精度相同的速率運行。
o FP64 Tensor Core操作為HPC提供了前所未有的雙精度處理能力，運行速度是V100 FP64 DFMA操作的2.5倍。
o 具有稀疏性的INT8 Tensor Core操作為DL推理提供了空前的處理能力，運行速度比V100 INT8操作快20倍。
? 192 KB的共享共享內存和L1數據高速緩存，比V100 SM大1.5倍。
? 新的異步復制指令將數據直接從全局內存加載到共享內存中，可以選擇繞過L1緩存，不需要使用中間寄存器文件（RF）。
? 與新的異步復制指令一起使用的新的基于共享內存的屏障單元（異步屏障）。
? L2緩存管理和駐留控制的新說明。
? CUDA合作小組支持新的線程級減少指令。
? 許多可編程性方面的改進，以減少軟件的復雜性。
圖6比較了V100和A100 FP16 Tensor Core操作，還比較了V100 FP32，FP64和INT8標準操作與相應的A100 TF32，FP64和INT8 Tensor Core操作。吞吐量是每個GPU的總和，其中A100使用針對FP16，TF32和INT8的稀疏Tensor Core操作。左上方的圖顯示了兩個V100 FP16 Tensor核心，因為一個V100 SM每個SM分區有兩個Tensor核心，而A100 SM一個。
圖6.針對不同數據類型的A100 Tensor Core操作與V100 Tensor Core和標準操作的比較。
圖7. TensorFloat-32（TF32）為FP32的范圍提供了FP16的精度（左）。A100使用TF32加速張量數學運算，同時支持FP32輸入和輸出數據（右），從而可以輕松集成到DL和HPC程序中并自動加速DL框架。
用于AI訓練的默認數學是FP32，沒有張量核心加速。NVIDIA Ampere架構引入了對TF32的新支持，使AI訓練默認情況下可以使用張量內核，無需用戶方面的努力。非張量運算繼續使用FP32數據路徑，TF32張量內核讀取FP32數據并使用與FP32相同的范圍，內部精度降低，再生成標準IEEE FP32輸出。TF32包含一個8位指數（與FP32相同），10位尾數（與FP16相同的精度）和1個符號位。
與Volta一樣，自動混合精度（AMP）可以將FP16與混合精度一起用于AI訓練，只需幾行代碼更改即可。使用AMP，A100的Tensor Core性能比TF32快2倍。
總而言之，用于DL訓練的NVIDIA Ampere架構數學的用戶選擇如下：
? 默認情況下，使用TF32 Tensor Core，不調整用戶腳本。與A100上的FP32相比，吞吐量高達8倍，而與V100上的FP32相比，吞吐量高達10倍。
? FP16或BF16混合精度訓練應用于最大訓練速度。與TF32相比，吞吐量高達2倍，與A100上的FP32相比，吞吐量高達16倍，與V100上的FP32相比，吞吐量高達20倍。
A100 Tensor核心可加速HPC
HPC應用程序的性能需求正在迅速增長。眾多科學研究領域的許多應用程序都依賴于雙精度（FP64）計算。
為了滿足HPC計算的快速增長的計算需求，A100 GPU支持Tensor操作，加速符合IEEE的FP64計算，提供的FP64性能是NVIDIA Tesla V100 GPU的2.5倍。
A100上新的雙精度矩陣乘法加法指令，替換了V100上的八條DFMA指令，減少了指令提取，調度開銷，寄存器讀取，數據路徑功率和共享存儲器讀取帶寬。
A100中的每個SM總共計算64個FP64 FMA操作/時鐘（或128個FP64操作/時鐘），這是Tesla V100吞吐量的兩倍。具有108個SM的A100 Tensor Core GPU的FP64峰值吞吐量為19.5 TFLOPS，是Tesla V100的2.5倍。
借助對這些新格式的支持，A100 Tensor Core可用于加速HPC工作負載，迭代求解器和各種新的AI算法。
V100 A100 A100稀疏度1 A100加速 A100稀疏加速
A100 FP16和 V100 FP16 31.4 TFLOPS 78 TFLOPS 不適用 2.5倍 不適用
A100 FP16 TC和 V100 FP16 TC 125 TFLOPS 312 TFLOPS 624 TFLOPS 2.5倍 5倍
A100 BF16 TC和V100 FP16 TC 125 TFLOPS 312 TFLOPS 624 TFLOPS 2.5倍 5倍
A100 FP32和 V100 FP32 15.7 TFLOPS 19.5 TFLOPS 不適用 1.25倍 不適用
A100 TF32 TC和 V100 FP32 15.7 TFLOPS 156 TFLOPS 312 TFLOPS 10倍 20倍
A100 FP64和 V100 FP64 7.8 TFLOPS 9.7 TFLOPS 不適用 1.25倍 不適用
A100 FP64 TC和 V100 FP64 7.8 TFLOPS 19.5 TFLOPS 不適用 2.5倍 不適用
A100 INT8 TC與 V100 INT8 62 TOPS 624 TOPS 1248 TOPS 10倍 20倍
A100 INT4 TC 不適用 1248 TOPS 2496 TOPS 不適用 不適用
A100二進制TC 不適用 4992 TOPS 不適用 不適用 不適用
表2. A100在V100上的提速（TC = Tensor Core，GPU以各自的時鐘速度）。
1）使用新的稀疏功能實現有效的TOPS / TFLOPS
A100引入了細粒度的結構化稀疏性
借助A100 GPU，NVIDIA引入了細粒度的結構稀疏性，這是一種新穎的方法，可將深度神經網絡的計算吞吐量提高一倍。
深度學習中可能會出現稀疏性，各個權重的重要性會在學習過程中演變，網絡訓練結束時，只有權重的一個子集在確定學習的輸出時獲得了有意義的目的。不再需要其余的權重。
細粒度的結構化稀疏性，對允許的稀疏性模式施加了約束，使硬件更有效地執行輸入操作數的必要對齊。由于深度學習網絡能夠在訓練過程中根據訓練反饋調整權重，NVIDIA工程師通常發現結構約束不會影響訓練網絡進行推理的準確性，可以推斷出具有稀疏性的加速。
對于訓練加速，需要在過程的早期引入稀疏性，提供性能優勢，在不損失準確性的情況下，進行訓練加速的方法是一個活躍的研究領域。
稀疏矩陣定義
通過新的2：4稀疏矩陣定義強制執行結構，在每個四項向量中允許兩個非零值。A100在行上支持2：4的結構化稀疏性，如圖9所示。
由于矩陣的定義明確，可以對其進行有效壓縮，將內存存儲量和帶寬減少近2倍。
圖9. A100細粒度的結構化稀疏修剪訓練了權重，其中有2選4的非零模式，然后是用于微調非零權重的簡單通用配方。權重經過壓縮，可將數據占用空間和帶寬減少2倍，而A100稀疏Tensor Core通過跳過零，將數學吞吐量提高了一倍。
NVIDIA開發了一種簡單而通用的配方，用于使用這種2：4結構化的稀疏模式，稀疏深度神經網絡以進行推理。使用密集權重對網絡進行訓練，應用細粒度的結構化修剪，使用其它訓練步驟，對剩余的非零權重進行微調。基于跨視覺，對象檢測，分割，自然語言建模和翻譯的數十個網絡的評估，幾乎不會導致推理準確性的損失。
A100 Tensor Core GPU包括新的Sparse Tensor Core指令，跳過具有零值的條目的計算，從而使Tensor Core計算吞吐量翻倍。圖9示出了張量核心是如何使用壓縮元數據（非零索引），配合適當選擇激活壓縮權重，輸入到張量核心點積計算。
結合了L1數據緩存和共享內存
NVIDIA在L1數據高速緩存和共享內存子系統體系結構，首次引入NVIDIA Tesla V100，顯著提高性能的同時，簡化了編程并減少了達到或接近峰值應用程序性能所需的調整。將數據緩存和共享內存功能組合到單個內存塊中，可為兩種類型的內存訪問提供最佳的整體性能。
L1數據高速緩存和共享內存的總容量，在A100中為192 KB / SM，在V100中為128 KB / SM。
同時執行FP32和INT32操作
與V100和Turing GPU相似，A100 SM包括獨立的FP32和INT32內核，全吞吐量同時執行FP32和INT32操作，提高了指令發布的吞吐量。
許多應用程序具有執行指針算術（整數存儲器地址計算）和浮點計算相結合的內部循環，得益于同時執行FP32和INT32指令。流水線循環的每個迭代，都可以更新地址（INT32指針算術），并為下一個迭代加載數據，在FP32中處理當前迭代。
A100 HBM2 DRAM子系統
隨著HPC，AI和分析數據集的不斷增長，尋找解決方案的問題變得越來越復雜，必須具有更大的GPU內存容量和更高的內存帶寬。
Tesla P100是世界上第一個支持高帶寬HBM2內存技術的GPU架構， Tesla V100提供了更快，更高效和更高容量的HBM2實現。A100再次提高了HBM2的性能和容量標準。
HBM2內存由與GPU處于同一物理封裝上的內存堆棧組成，與傳統的GDDR5 / 6內存設計相比，可節省大量功率和面積，從而可在系統中安裝更多GPU。
A100 GPU的SXM4型電路板上包括40 GB的快速HBM2 DRAM內存。存儲器被組織為五個活動HBM2堆棧，每個堆棧具有八個內存管芯。A100 HBM2的數據速率為1215 MHz（DDR），提供1555 GB /秒的內存帶寬，比V100內存帶寬高1.7倍以上。
ECC內存彈性
A100 HBM2內存子系統，支持單錯誤糾正雙錯誤檢測（SECDED）錯誤糾正代碼（ECC），保護數據。ECC為對數據損壞敏感的計算應用程序，提供了更高的可靠性。在GPU處理大型數據集，或長時間運行應用程序的大規模集群計算環境中，這一點尤其重要。A100中的其它關鍵存儲器結構也受到SECDED ECC的保護，包括L2緩存和L1緩存以及所有SM內的寄存器文件。
A100 L2快取
A100 GPU包含40 MB的L2緩存，比V100 L2緩存大6.7倍.L2緩存分為兩個分區，實現更高的帶寬和更低的延遲內存訪問。每個L2分區都將本地化和緩存數據，供直接連接到該分區的GPC中的SM進行內存訪問。這種結構使A100的L2帶寬增加了V100的2.3倍。硬件緩存一致性在整個GPU上維護CUDA編程模型，應用程序會自動利用新L2緩存的帶寬和延遲優勢。
L2緩存是GPC和SM的共享資源，位于GPC之外。A100 L2緩存大小的大幅增加顯著改善了許多HPC和AI工作負載的性能，可以緩存數據集和模型的大部分并以比讀取和寫入HBM2內存更高的速度，重復訪問這些數據集和模型。受DRAM帶寬限制的某些工作負載，受益于更大的L2緩存，例如使用小批量的深度神經網絡。
為了優化容量利用率，NVIDIA Ampere體系結構提供了L2緩存駐留控件，管理要保留或從緩存中逐出的數據。可以預留一部分L2緩存用于持久性數據訪問。
例如，對于DL推理工作負載，乒乓緩沖區可以持久地緩存在L2中，實現更快的數據訪問，同時還避免了回寫到DRAM。對于生產者-消費者鏈，例如在DL訓練中發現的鏈，L2緩存控件可以優化跨寫到讀數據依賴項的緩存。在LSTM網絡中，循環權重可以優先在L2中緩存和重用。
NVIDIA Ampere體系結構增加了計算數據壓縮功能，加速非結構化稀疏性和其他可壓縮數據模式。L2中的壓縮功能使DRAM讀/寫帶寬提高了4倍，L2讀帶寬提高了4倍，L2容量提高了2倍。
數據中心GPU NVIDIA Tesla P100 NVIDIA Tesla V100 NVIDIA A100
GPU代號 GP100 GV100 GA100
GPU架構 NVIDIA Pascal NVIDIA Volta NVIDIA安培
GPU板尺寸 SXM SXM2 SXM4
短信 56 80 108
TPC 28歲 40 54
FP32核心/ SM 64 64 64
FP32核心/ GPU 3584 5120 6912
FP64核心/ SM 32 32 32
FP64核心/ GPU 1792 2560 3456
INT32內核/ SM 不適用 64 64
INT32核心/ GPU 不適用 5120 6912
張量芯/ SM 不適用 8 4 2
張量核心/ GPU 不適用 640 432
GPU加速時鐘 1480兆赫 1530兆赫 1410兆赫
FP16的峰值FP16張量TFLOPS累計1 不適用 125 312/624 3
帶有FP32的FP16峰值Tensor TFLOPS累加1 不適用 125 312/624 3
帶FP32的BF16張量TFLOPS峰值累加1 不適用 不適用 312/624 3
峰值TF32張量TFLOPS 1 不適用 不適用 156/312 3
峰值FP64 Tensor TFLOPS 1 不適用 不適用 19.5
峰值INT8張量TOPS 1 不適用 不適用 624/1248 3
峰值INT4張量TOPS 1 不適用 不適用 1248/2496 3
峰值FP16 TFLOPS 1 21.2 31.4 78
峰值BF16 TFLOPS 1 不適用 不適用 39
峰值FP32 TFLOPS 1 10.6 15.7 19.5
峰值FP64 TFLOPS 1 5.3 7.8 9.7
峰值INT32 TOPS 1,4 不適用 15.7 19.5
紋理單位 224 320 432
記憶體介面 4096位HBM2 4096位HBM2 5120位HBM2
記憶體大小 16 GB 32 GB / 16 GB 40 GB
內存數據速率 703 MHz DDR 877.5 MHz DDR 1215 MHz DDR
記憶體頻寬 720 GB /秒 900 GB /秒 1555 GB /秒
L2快取大小 4096 KB 6144 KB 40960 KB
共享內存大小/ SM 64 KB 最多可配置96 KB 最多可配置164 KB
注冊文件大小/ SM 256 KB 256 KB 256 KB
注冊文件大小/ GPU 14336 KB 20480 KB 27648 KB
貿易發展計劃 300瓦 300瓦 400瓦
晶體管 153億 211億 542億
GPU晶粒尺寸 610平方毫米 815平方毫米 826平方毫米
臺積電制造工藝 16納米FinFET + 12 nm FFN 7納米N7
表3. NVIDIA數據中心GPU的比較。
1）峰值速率基于GPU增強時鐘。
2）A100 SM中的四個Tensor核心具有GV100 SM中八個Tensor核心的原始FMA計算能力的2倍。
3）使用新的稀疏性功能有效的TOPS / TFLOPS。
4）TOPS =基于IMAD的整數數學
注意：由于A100 Tensor Core GPU設計，安裝在高性能服務器和數據中心機架中，為AI和HPC計算工作量提供動力，因此，不包括顯示連接器，用于光線追蹤加速的NVIDIA RT Core或NVENC編碼器。
計算能力
A100 GPU支持新的計算功能8.0。表4比較了NVIDIA GPU架構的不同計算功能的參數。
數據中心GPU NVIDIA Tesla P100 NVIDIA Tesla V100 NVIDIA A100
GPU代號 GP100 GV100 GA100
GPU架構 NVIDIA Pascal NVIDIA Volta NVIDIA安培
計算能力 6.0 7.0 8.0
線/經線 32 32 32
最大翹曲度/ SM 64 64 64
最大線程數/ SM 2048 2048 2048
最大線程塊/ SM 32 32 32
最多32位寄存器/ SM 65536 65536 65536
最大寄存器/塊 65536 65536 65536
最大寄存器/線程 255 255 255
最大螺紋塊尺寸 1024 1024 1024
FP32核心/ SM 64 64 64
SM寄存器與FP32內核的比率 1024 1024 1024
共享內存大小/ SM 64 KB 最多可配置96 KB 最多可配置164 KB
表4.計算能力：GP100 vs. GV100 vs. GA100。
MIG架構
盡管許多數據中心的工作量在規模和復雜性上都在繼續擴展，某些加速任務的要求卻不高，例如早期開發或推斷小批量的簡單模型。數據中心經理的目標，保持較高的資源利用率，因此，理想的數據中心加速器不僅會變大，有效地加速許多較小的工作負載。
新的MIG功能可以將每個A100劃分為多達七個GPU實例，實現最佳利用率，有效地擴展對每個用戶和應用程序的訪問權限。
圖10顯示了Volta MPS如何允許多個應用程序在單獨的GPU執行資源（SM）上同時執行。但是，由于內存系統資源是在所有應用程序之間共享的，因此，如果一個應用程序對DRAM帶寬有很高的要求，或者超額預訂了L2高速緩存，應用程序可能會干擾其他應用程序。
圖11中所示的A100 GPU新的MIG功能可以將單個GPU劃分為多個GPU分區，稱為GPU實例。每個實例的SM具有貫穿整個內存系統的單獨且隔離的路徑-片上交叉開關端口，L2緩存庫，內存控制器和DRAM地址總線，唯一地分配給單個實例。這樣可以確保單個用戶的工作負載，可預測的吞吐量和延遲運行，具有相同的二級緩存分配和DRAM帶寬，即使其它任務正在破壞自己的緩存或使DRAM接口飽和也是如此。
使用此功能，MIG可以對可用的GPU計算資源進行分區，為不同的客戶端（例如VM，容器，進程等）提供故障隔離，提供定義的服務質量（ QoS）。使多個GPU實例可以在單個物理A100 GPU上并行運行。MIG還保持CUDA編程模型不變，最大程度地減少編程工作量。
CSP可以使用MIG提高其GPU服務器的利用率，無需額外成本，即可提供多達7倍的GPU實例。MIG支持CSP所需的必要QoS和隔離保證，確保一個客戶端（VM，容器，進程）不會影響另一客戶端的工作或調度。
CSP通常根據客戶使用模式，對硬件進行分區。當硬件資源在運行時，提供一致的帶寬，適當的隔離和良好的性能時，有效分區才有效。
借助基于NVIDIA Ampere架構的GPU，可以在其新的虛擬GPU實例上查看和調度作業，像物理GPU一樣。MIG可與Linux操作系統及其管理程序一起使用。用戶可以使用諸如Docker Engine之類的運行時，運行帶有MIG的容器，很快將支持使用Kubernetes進行容器編排。
圖10.CSP多用戶節點（A100之前的版本）。加速的GPU實例僅在完全物理GPU粒度下，供不同組織中的用戶使用，即使用戶應用程序不需要完整的GPU也是如此。
圖11.具有MIG的CSP多用戶圖。來自同一組織或不同組織的多個獨立用戶，在單個物理GPU中分配專用，受保護和隔離的GPU實例。
錯誤和故障檢測，隔離和控制
通過檢測，包含并經常糾正錯誤和故障，不是強制GPU重置來提高GPU的正常運行時間和可用性至關重要。在大型，多GPU群集和單GPU，多租戶環境（例如MIG配置）中尤其重要。
NVIDIA Ampere架構A100 GPU包括新技術，可改善錯誤/故障歸因（歸因于導致錯誤的應用程序），隔離（隔離有故障的應用程序，不會影響在同一GPU或GPU群集中運行的其他應用程序），限制（確保一個應用程序中的錯誤不會泄漏并影響其他應用程序）。這些故障處理技術對于MIG環境尤其重要，確保共享單個GPU的客戶端之間的適當隔離和安全性。
連接NVLink的GPU現在具有更強大的錯誤檢測和恢復功能。遠程GPU上的頁面錯誤會通過NVLink發送回源GPU。遠程訪問故障通信是大型GPU計算群集的一項關鍵彈性功能，有助于確保一個進程或VM中的故障，不會導致其它進程或VM停機。
A100 GPU包括其他幾個新的和改進的硬件功能，可以增強應用程序性能。
CUDA 11在NVIDIA Ampere架構GPU方面的進步
在NVIDIA CUDA并行計算平臺上構建了成千上萬個GPU加速的應用程序。CUDA的靈活性和可編程性使其成為研究和部署新的DL和并行計算算法的首選平臺。
NVIDIA Ampere架構GPU旨在提高GPU的可編程性和性能，降低軟件復雜性。NVIDIA Ampere架構的GPU和CUDA編程模型的改進，加快程序執行速度，降低許多操作的延遲和開銷。
CUDA 11的新功能為第三代Tensor核心，稀疏性，CUDA圖形，多實例GPU，L2緩存駐留控件以及NVIDIA Ampere架構，一些新功能提供了編程和API支持。
結論
NVIDIA的使命，加速時代的達芬奇和愛因斯坦的工作。科學家，研究人員和工程師致力于使用高性能計算（HPC）和AI解決全球最重要的科學，工業和大數據挑戰。
NVIDIA A100 Tensor Core GPU，在我加速數據中心平臺中實現了下一個巨大飛躍，可在任何規模上提供無與倫比的加速性能，使這些創新者能夠終其一生。A100支持眾多應用領域，包括HPC，基因組學，5G，渲染，深度學習，數據分析，數據科學和機器人技術。
推進當今最重要的HPC和AI應用程序-個性化醫學，對話式AI和深度推薦系統-要求研究人員變得更大。A100為NVIDIA數據中心平臺提供動力，包括Mellanox HDR InfiniBand，NVSwitch，NVIDIA HGX A100和Magnum IO SDK，進行擴展。這個集成的技術團隊，有效地擴展到成千上萬個GPU，以前所未有的速度訓練最復雜的AI網絡。
A100 GPU的新MIG功能，將每個A100劃分為多達七個GPU加速器，實現最佳利用率，有效地提高GPU資源利用率，以及GPU對更多用戶和GPU加速應用程序的訪問。借助A100的多功能性，基礎架構管理人員，可以最大化其數據中心中每個GPU的效用，滿足從最小的工作到最大的多節點工作負載的不同規模的性能需求。
總結
以上是生活随笔為你收集整理的NVIDIA深度架构的全部內容，希望文章能夠幫你解決所遇到的問題。
