NVIDIA TensorRT是一個(gè)高性能的深度學(xué)習(xí)推理優(yōu)化器和運(yùn)行時(shí)，它提供低延遲和高吞吐量。TensorRT可以從每個(gè)深度學(xué)習(xí)框架導(dǎo)入經(jīng)過訓(xùn)練的模型，從而輕松地創(chuàng)建可以集成到大型應(yīng)用程序和服務(wù)中的高效推理引擎。

這個(gè)視頻的五個(gè)關(guān)鍵點(diǎn):

1.TensorRT支持RNNv2, MatrixMultiply, ElementWise, TopK層。

2.RNNv2層需要單獨(dú)設(shè)置每個(gè)門和層的權(quán)重，RNNv2的輸入格式為BSE (Batch, Sequence, embed)。

3.完全連接層也可以用矩陣乘層和Element-Wise 層實(shí)現(xiàn)。或者，您可以直接使用TensorRT的完全連接層，但是在將權(quán)重輸入到該層之前，需要對其進(jìn)行重新設(shè)置。

4. 可以將引擎序列化到內(nèi)存塊，然后將內(nèi)存塊序列化到文件或流。這消除了再次執(zhí)行優(yōu)化步驟的需要。

5. 雖然這個(gè)示例是用c++構(gòu)建的，但是您可以使用TensorRT Python API在Python中實(shí)現(xiàn)相同的功能。

本視頻演示如何使用NVIDIA TensorRT配置基于字符級語言模型的簡單遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。

視頻將近7分鐘，我們已經(jīng)翻譯成中文字幕，請耐心觀看。

更多教程：

?新版Matlab居然已經(jīng)全面集成了對NVIDIA Jetson的支持，這操作...

用Matlab在NVIDIA Jetson平臺上生成和部署目標(biāo)檢測CUDA代碼小妙招(中文字幕)

如何在NVIDIA GPU上進(jìn)行混合精度訓(xùn)練(中文字幕)

如何在Singularity中運(yùn)行NVIDIA GPU云容器以配置HPC開發(fā)環(huán)境(中文字幕)

NVIDIA System Profiler 使用介紹(中文字幕)

NVIDIA Jetson攝像頭開發(fā)視頻教程

有不明白的地方，請?jiān)诒疚暮罅粞?/p>

或者在我們的技術(shù)論壇bbs.gpuworld.cn上發(fā)帖

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的tensorrt轻松部署高性能dnn推理_实战教程：TensorRT中递归神经网络的介绍（中文字幕）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。