🥇 版權(quán): 本文由【墨理學(xué)AI】原創(chuàng)首發(fā)、各位讀者大大、敬請(qǐng)查閱、感謝三連
🎉 聲明: 作為全網(wǎng) AI 領(lǐng)域 干貨最多的博主之一，?? 不負(fù)光陰不負(fù)卿 ??

文章目錄

• • 訓(xùn)練前
  • 開(kāi)啟訓(xùn)練后
  • GPU 占用如下
  • 多卡訓(xùn)練GPU占用分析
  • 📙 精選專(zhuān)欄

本次博文簡(jiǎn)單記錄，多卡訓(xùn)練任務(wù)中 ，各個(gè) GPU 資源占用情況 ，內(nèi)容較為基礎(chǔ)，后續(xù)有新的心再繼續(xù)補(bǔ)充

• 推薦文章： 指定GPU運(yùn)行和訓(xùn)練 python程序 、深度學(xué)習(xí)單卡、多卡 訓(xùn)練GPU設(shè)置【一文讀懂】

訓(xùn)練前

---

2 A100-PCIE-40GB Off | 00000000:39:00.0 Off | 0 | | N/A 26C P0 37W / 250W | 14568MiB / 40536MiB | 0% Default | | | | Disabled | +-------------------------------+----------------------+----------------------+ | 3 A100-PCIE-40GB Off | 00000000:3D:00.0 Off | 0 | | N/A 25C P0 39W / 250W | 11497MiB / 40536MiB | 26% Default | | | | Disabled | +-------------------------------+----------------------+----------------------+ | 4 A100-PCIE-40GB Off | 00000000:9C:00.0 Off | 0 | | N/A 35C P0 104W / 250W | 12920MiB / 40536MiB | 32% Default | | | | Disabled |

開(kāi)啟訓(xùn)練后

---

------------------------------+----------------------+----------------------+ | 2 A100-PCIE-40GB Off | 00000000:39:00.0 Off | 0 | | N/A 42C P0 236W / 250W | 35653MiB / 40536MiB | 72% Default | | | | Disabled | +-------------------------------+----------------------+----------------------+ | 3 A100-PCIE-40GB Off | 00000000:3D:00.0 Off | 0 | | N/A 42C P0 226W / 250W | 31506MiB / 40536MiB | 42% Default | | | | Disabled | +-------------------------------+----------------------+----------------------+ | 4 A100-PCIE-40GB Off | 00000000:9C:00.0 Off | 0 | | N/A 47C P0 214W / 250W | 32905MiB / 40536MiB | 72% Default | | | | Disabled | +-------------------------------+----------------------+----------------------+

GPU 占用如下

此次訓(xùn)練任務(wù)，使用了 2,3,4 三張卡，編號(hào)為 2 的卡是主卡，主卡 GPU 占用會(huì)多 一個(gè) G

GPU開(kāi)啟后開(kāi)啟前GPU占用（開(kāi)啟后 - 開(kāi)啟前）

2	35653MiB	14568MiB	21085
3	31506MiB	11497MiB	20009
4	32905MiB	12920MiB	19985

---

多卡訓(xùn)練GPU占用分析

---

多卡訓(xùn)練任務(wù)中，主卡需要承擔(dān)和其他卡之前的通信，可以看到

• 實(shí)驗(yàn)一：0，1，2，3 四卡訓(xùn)練，0 號(hào)主卡多了 3個(gè) 通信 進(jìn)程
• 實(shí)驗(yàn)二：4，5，6 三卡訓(xùn)練，4 號(hào)主卡多了 2 個(gè)通信 進(jìn)程
• 因此，整體來(lái)看，多卡訓(xùn)練任務(wù)中，主卡會(huì)比其他卡 多占用 一個(gè) G 左右的 GPU 資源

因此，有時(shí)候，多卡訓(xùn)練就可能會(huì)遇到：RuntimeError: CUDA out of memory. Tried to allocate 模型訓(xùn)練 GPU 顯存不夠報(bào)錯(cuò)總結(jié)，此時(shí)，就可能是 剛好 主卡 資源不夠的原因，關(guān)于該報(bào)錯(cuò)的分析，可以看我下面的這篇文章：

• 指定GPU運(yùn)行和訓(xùn)練 python程序 、深度學(xué)習(xí)單卡、多卡 訓(xùn)練GPU設(shè)置【一文讀懂】

---

📙 精選專(zhuān)欄

---

• 🍊 深度學(xué)習(xí)模型訓(xùn)練推理——基礎(chǔ)環(huán)境搭建推薦博文查閱順序【基礎(chǔ)安裝—認(rèn)真幫大家整理了】——【1024專(zhuān)刊】

計(jì)算機(jī)視覺(jué)領(lǐng)域 八大專(zhuān)欄、不少干貨、有興趣可了解一下

• ?? 圖像風(fēng)格轉(zhuǎn)換 —— 代碼環(huán)境搭建 實(shí)戰(zhàn)教程【關(guān)注即可閱】！
• 💜 圖像修復(fù)-代碼環(huán)境搭建-知識(shí)總結(jié) 實(shí)戰(zhàn)教程 【據(jù)說(shuō)還行】
• 💙 超分重建-代碼環(huán)境搭建-知識(shí)總結(jié) 解秘如何讓白月光更清晰【脫單神器】
• 💛 YOLO專(zhuān)欄，只有實(shí)戰(zhàn)，不講道理 圖像分類(lèi)【建議收藏】！

• 🍊 深度學(xué)習(xí)：環(huán)境搭建，一文讀懂

• 🍊 深度學(xué)習(xí)：趣學(xué)深度學(xué)習(xí)

• 🍊 落地部署應(yīng)用：模型部署之轉(zhuǎn)換-加速-封裝

• 🍊 CV 和 語(yǔ)音數(shù)據(jù)集：數(shù)據(jù)集整理

• 🍊 點(diǎn)贊 👍 收藏 ?留言 📝 都是博主堅(jiān)持寫(xiě)作、更新高質(zhì)量博文的最大動(dòng)力！

總結(jié)

以上是生活随笔為你收集整理的模型训练前后显卡占用对比、多卡训练GPU占用分析【一文读懂】的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。