AI解決方案：邊緣計算和GPU加速平臺

一．適用于邊緣 AI 的解決方案

AI 在邊緣蓬勃發(fā)展。AI 和云原生應(yīng)用程序、物聯(lián)網(wǎng)及其數(shù)十億的傳感器以及 5G 網(wǎng)絡(luò)現(xiàn)已使得在邊緣大規(guī)模部署 AI 成為可能。但它需要一個可擴展的加速平臺，能夠?qū)崟r推動決策，并讓各個行業(yè)都能為行動點（商店、制造工廠、醫(yī)院和智慧城市）提供自動化智能。這將人、企業(yè)和加速服務(wù)融合在一起，從而使世界變得“更小”、更緊密。

適用于各行各業(yè)的邊緣AI 解決方案

卓越購物體驗

借助 AI 驅(qū)動的見解，各地的大型零售商可讓客戶時刻滿意。大型零售商已開發(fā)了多種 AI 策略，用于改善客戶體驗，并協(xié)助其員工完成日常運營。例如，智能化結(jié)賬系統(tǒng)利用計算機視覺，確定所掃描的商品正是條形碼標識的商品。智能視頻分析 (IVA) 可幫助零售商了解購物者的偏好，并優(yōu)化商店布局，從而打造更好的店內(nèi)體驗。借助 AI，零售商可以幫助員工確定何時需要補充商品，或者替換為更新鮮的商品。

工廠車間的新愿景

企業(yè)正在采用加速的邊緣計算和 AI，將制造業(yè)轉(zhuǎn)變?yōu)楦踩⒏咝У男袠I(yè)。例如，寶馬公司在工廠車間安裝檢測攝像頭，360 度全景觀看裝配線，從而將 AI 的強大性能帶入邊緣。這樣可以獲得實時見解，打造更安全、更精簡的制造流程。此外，Procter &
Gamble 正在利用更快的邊緣計算，協(xié)助其員工完成檢測。通過分析數(shù)千小時的檢測線鏡頭，該公司可以立即標記瑕疵，改善質(zhì)量控制，并滿足極高的安全標準。

NVIDIA A100 Tensor Core GPU

提高道路安全性

企業(yè)并不是轉(zhuǎn)向加速邊緣 AI 的唯一范例。愛荷華州迪比克等城市正在營造更安全的道路條件，并提供更快的應(yīng)急服務(wù)。在迪比克市，數(shù)十個互連攝像頭讓您可以實時了解交通狀況，檢測到身陷危險的駕駛員、阻礙道路的障礙以及可能需要緊急幫助的人員。Numina 等公司也將 AI 引入邊緣，以疏通交通流量，為駕駛員、騎行者和行人打造更安全的道路。

如何在邊緣部署 AI

二．在各種規(guī)模上實現(xiàn)出色的加速

加速當今最重要的工作

NVIDIA A100 Tensor Core GPU 可針對 AI、數(shù)據(jù)分析和高性能計算 (HPC)，在各種規(guī)模上實現(xiàn)出色的加速，應(yīng)對極其嚴峻的計算挑戰(zhàn)。作為 NVIDIA 數(shù)據(jù)中心平臺的引擎，A100 可以高效擴展，系統(tǒng)中可以集成數(shù)千個 A100 GPU，也可以利用 NVIDIA 多實例 GPU (MIG) 技術(shù)將每個 A100 劃分割為七個獨立的 GPU 實例，以加速各種規(guī)模的工作負載。第三代 Tensor Core 技術(shù)為各種工作負載的更多精度水平提供加速支持，縮短獲取洞見以及產(chǎn)品上市時間。

功能強大的端到端 AI 和 HPC 數(shù)據(jù)中心平臺

A100是完整的 NVIDIA 數(shù)據(jù)中心解決方案堆棧的一部分，該解決方案堆棧包括來自 NGC? (NVIDIA GPU Cloud) 的硬件、網(wǎng)絡(luò)、軟件、庫以及優(yōu)化的 AI 模型和應(yīng)用程序構(gòu)建模塊。它為數(shù)據(jù)中心提供了強大的端到端 AI 和 HPC 平臺，使研究人員能夠大規(guī)模地交付真實的結(jié)果，并將解決方案大規(guī)模部署到生產(chǎn)環(huán)境中。

深度學習訓(xùn)練

當今的 AI 模型需要應(yīng)對精準對話式 AI 和深度推薦系統(tǒng)等新型挑戰(zhàn)，這促使其復(fù)雜度呈爆炸式增長。訓(xùn)練這些模型需要大規(guī)模的計算能力和可擴展性。

NVIDIA A100 的第三代 Tensor Core 借助 Tensor 浮點運算 (TF32) 精度，可提供比上一代高 10 倍之多的性能，并且無需更改代碼，更能通過自動混合精度將性能進一步提升兩倍。與第三代
NVIDIA?NVLink?、NVIDIA NVSwitch?、PCIe 4.0、Mellanox 和 Magnum IO 軟件 SDK 結(jié)合使用時，系統(tǒng)中可以集成數(shù)千個 A100 GPU。這意味著，BERT 等大型 AI 模型只需在 A100 構(gòu)成的集群上進行訓(xùn)練幾十分鐘，從而提供出色的性能和可擴展性。

NVIDIA 在深度學習訓(xùn)練方面的領(lǐng)先地位在 MLPerf 0.6
中得到了證明，這是 AI 訓(xùn)練的第一項行業(yè)級基準測試。

深度學習推理

A100 引入了突破性的新功能優(yōu)化推理工作負載。它通過全系列精度（從 FP32、FP16、INT8 一直到 INT4）加速，實現(xiàn)了強大的多元化用途。MIG 技術(shù)支持多個網(wǎng)絡(luò)同時在單個 A100 GPU 運行，從而優(yōu)化計算資源的利用率。在 A100 其他推理性能提升的基礎(chǔ)上，結(jié)構(gòu)化稀疏支持將性能再提升兩倍。

NVIDIA 提供市場領(lǐng)先的推理性能，在第一項專門針對推理性能的行業(yè)級基準測試 MLPerf
Inference 0.5中全面制勝的結(jié)果充分證明了這一點。A100 則再將性能提升 10 倍，在這樣的領(lǐng)先基礎(chǔ)上進一步取得了發(fā)展。

高性能計算

為了點燃下一代新發(fā)現(xiàn)的火花，科學家們希望通過模擬更好地理解復(fù)雜分子結(jié)構(gòu)以支持藥物發(fā)現(xiàn)，通過模擬物理效果尋找潛在的新能源，通過模擬大氣數(shù)據(jù)更好地預(yù)測極端天氣狀況并為其做準備。

A100 引入了雙精度 Tensor Cores, 繼用于 HPC 的 GPU 雙精度計算技術(shù)推出至今，這是非常重要的里程碑。利用 A100，原本在 NVIDIA V100 Tensor Core GPU 上需要 10 小時的雙精度模擬作業(yè)如今只要 4 小時就能完成。HPC 應(yīng)用還可以利用 A100 的 Tensor Core，將單精度矩陣乘法運算的吞吐量提高 10 倍之多。

數(shù)據(jù)分析

客戶需要能夠分析和可視化龐大的數(shù)據(jù)集，并將其轉(zhuǎn)化為寶貴洞見。但是，由于這些數(shù)據(jù)集分散在多臺服務(wù)器上，橫向擴展解決方案往往會陷入困境。

搭載 A100 的加速服務(wù)器可以提供必要的計算能力，并利用第三代 NVLink 和 NVSwitch 1.6TB/s 的顯存帶寬和可擴展性，妥善應(yīng)對這些龐大的工作負載。結(jié)合 Mellanox
InfiniBand、Magnum IO SDK、GPU 加速的 Spark 3.0 和 NVIDIA RAPIDS? NVIDIA 數(shù)據(jù)中心平臺能夠以出色的性能和效率加速這些大規(guī)模工作負載。

企業(yè)級利用率

A100 的 多實例 GPU (MIG) 功能使 GPU 加速的基礎(chǔ)架構(gòu)利用率大幅提升，達到前所未有的水平。MIG 支持將 A100 GPU 安全分割到多達七個獨立實例中，這些 A100 GPU 實例可供多名用戶使用，以加速應(yīng)用和開發(fā)項目。此外，數(shù)據(jù)中心管理員可以利用基于虛擬化技術(shù)帶來的管理、監(jiān)控和操作方面的優(yōu)勢，發(fā)揮 NVIDIA 虛擬計算服務(wù)器 ( vComputeServer)
的動態(tài)遷移和多租戶功能。A100 的 MIG 功能可以使基礎(chǔ)架構(gòu)管理員對其 GPU 加速的基礎(chǔ)架構(gòu)作標準化處理，同時以更精確的粒度提供 GPU 資源，從而為開發(fā)者提供正確的加速計算量，并確保其所有 GPU 資源得到充分利用。

規(guī)格

總結(jié)

以上是生活随笔為你收集整理的AI解决方案：边缘计算和GPU加速平台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。