隨著 NVIDIA GPU 計算性能的不斷提升，如何提升 GPU 利用率是開發(fā)者普遍關(guān)心的問題之一。從 Kepler 架構(gòu)開始，NVIDIA GPU 支持多個 CUDA kernels 函數(shù)的并發(fā)執(zhí)行，稱為 Hyper-Q 技術(shù)。Hyper-Q 技術(shù)支持多個 CUDA streams、多個 CPU threads 或者多個 CPU processes 同時發(fā)射 CUDA kernels 函數(shù)到 GPU 上，在硬件資源允許的情況下，實現(xiàn)多個 kernels 的并發(fā)執(zhí)行。對于多個 CPU processes 發(fā)射 kernels 的情況，要想實現(xiàn)真正的 kernels 并發(fā)，就需要借助 CUDA 中的工具：MPS (Multi-Process Service)。為此，NVIDIA 中國區(qū) GPU 計算專家團(tuán)隊高級工程師吳磊將帶來一場線上直播分享，從介紹 CUDA context / Hyper-Q 等背景知識入手，深入淺出的向大家展示 MPS 技術(shù)的最佳實踐方法，并以實際案例向大家說明 MPS 能夠帶來的 GPU 性能提升，同時讓大家了解一些 MPS 使用過程中的注意事項。本次直播的預(yù)備知識為對 GPU 和 CUDA 的基本概念有所了解，例如什么是 GPU 利用率 (Utilization) 和占用率 (Occupancy)，什么是 CUDA kernel 函數(shù)和 stream 異步并發(fā)執(zhí)行等，難度較低，希望能給 GPU 開發(fā)者帶來幫助。本次線上分享詳情如下：

主題：CUDA多進(jìn)程服務(wù)工具：MPS

日期：2019 年 10 月 31 日，星期四

時間：20:00-21:30?

演講嘉賓

吳磊

NVIDIA中國區(qū)GPU計算專家團(tuán)隊高級工程師

吳磊先后從事HPC領(lǐng)域基于CUDA的代碼移植和優(yōu)化，人工智能領(lǐng)域深度學(xué)習(xí)模型的訓(xùn)練和推理優(yōu)化。對GPU體系架構(gòu)，CUDA編程和優(yōu)化，深度學(xué)習(xí)推理加速等技術(shù)有深刻的理解和豐富的工程經(jīng)驗。點擊，立即報名。

Accelerating your future

NVIDIA GPU計算專家團(tuán)隊致力于為中國客戶提供基于GPU系統(tǒng)的最快解決方案，工作內(nèi)容涉及視頻圖像處理、語音識別和合成、自然語言處理、推薦系統(tǒng)等各個方面，通過代碼優(yōu)化、模型優(yōu)化和Pipeline優(yōu)化，提供端到端的解決方案。本團(tuán)隊開源了若干原型項目，幫助用戶評估GPU可以帶來的業(yè)務(wù)收益，并通過進(jìn)一步開發(fā)集成，利用GPU為用戶降低成本，提高效率。

總結(jié)

以上是生活随笔為你收集整理的多个cuda 被单进程沾满_报名 | 提高GPU利用率，听英伟达专家分享这个CUDA工具的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。