NVIDIA TensorRT：可編程推理加速器

一．概述

NVIDIA TensorRT?是一個(gè)用于高性能深度學(xué)習(xí)推理的SDK。它包括一個(gè)深度學(xué)習(xí)推理優(yōu)化器和運(yùn)行時(shí)間，為深度學(xué)習(xí)推理應(yīng)用程序提供低延遲和高吞吐量。

在推理過(guò)程中，基于TensorRT的應(yīng)用程序執(zhí)行速度比僅限CPU的平臺(tái)快40倍。使用TensorRT，可以優(yōu)化在所有主要框架中訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，以高精度校準(zhǔn)較低精度，最后部署到高規(guī)模數(shù)據(jù)中心、嵌入式或汽車產(chǎn)品平臺(tái)。

TensorRT建立在NVIDIA的并行編程模型CUDA的基礎(chǔ)上，使能夠利用CUDA-X中的庫(kù)、開發(fā)工具和技術(shù)，為人工智能、自動(dòng)化機(jī)器、高性能計(jì)算和圖形優(yōu)化所有深度學(xué)習(xí)框架的推理。 TensorRT為深度學(xué)習(xí)推理應(yīng)用程序（如視頻流、語(yǔ)音識(shí)別、推薦和自然語(yǔ)言處理）的生產(chǎn)部署提供INT8和FP16優(yōu)化。減少的精確推理顯著減少了應(yīng)用程序延遲，這是許多實(shí)時(shí)服務(wù)、自動(dòng)和嵌入式應(yīng)用程序的要求。

可以將每個(gè)深度學(xué)習(xí)框架中經(jīng)過(guò)訓(xùn)練的模型導(dǎo)入TensorRT。在應(yīng)用優(yōu)化后，TensorRT選擇特定于平臺(tái)的內(nèi)核，以在數(shù)據(jù)中心的Tesla gpu、Jetson嵌入式平臺(tái)和NVIDIA驅(qū)動(dòng)自主駕駛平臺(tái)上實(shí)現(xiàn)性能最大化。

使用TensorRT，開發(fā)人員可以專注于創(chuàng)建新的人工智能應(yīng)用程序，而不是為推理部署進(jìn)行性能調(diào)整。

二．tensorRT開源代碼

鏈接地址：https://github.com/NVIDIA/TensorRT

TensorRT Open Source Software

此存儲(chǔ)庫(kù)包含NVIDIA TensorRT的開源軟件（OSS）組件。包括TensorRT插件和解析器（Caffe和ONNX）的源代碼，以及演示TensorRT平臺(tái)的使用和功能的示例應(yīng)用程序。

Prerequisites

要構(gòu)建TensorRT OSS組件，請(qǐng)確保滿足以下包要求：

System Packages

· CUDA

Recommended
versions:
cuda-10.2 + cuDNN-7.6
cuda-10.0 + cuDNN-7.6

· GNU Make >=v4.1

· CMake >= v3.13

· Python

Recommended
versions:
Python2 >= v2.7.15
Python3 >= v3.6.5

· PIP >= v19.0

· Essential libraries and utilities

Git, pkg-config, Wget, Zlib

· Jetson平臺(tái)的交叉編譯需要安裝JetPack的主機(jī)組件

JetPack >= 4.2

Optional Packages

· Containerized builds

Docker >= 1.12
NVIDIA Docker >= 2.0

· Code formatting tools

Clang-format
Git-clang-format

TensorRT Release

TensorRT v7.0

注意：除了TensorRT OSS組件外，還將下載以下源包，不需要在系統(tǒng)上安裝。

ONNX-TensorRT v7.0

CUB v1.8.0
Protobuf v3.8.x

三．Availability

TensorRT可從TensorRT產(chǎn)品頁(yè)免費(fèi)向NVIDIA開發(fā)人員程序的成員提供，以進(jìn)行開發(fā)和部署。最新版本的插件、解析器和示例也可以從TensorRT github存儲(chǔ)庫(kù)中以開源方式獲得。 開發(fā)人員還可以從NGC容器注冊(cè)中心在TensorRT容器中獲取TensorRT。 TensorRT包括在：

NVIDIA Deepstream SDK，用于計(jì)算機(jī)視覺和智能視頻分析（IVA）應(yīng)用程序中的實(shí)時(shí)流分析 NVIDIA DRIVE用于NVIDIA
DRIVE PX2自主駕駛平臺(tái)的安裝

NVIDIA Jetpack for Jetson TX1、TX2嵌入式平臺(tái)

總結(jié)

以上是生活随笔為你收集整理的NVIDIA TensorRT：可编程推理加速器的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。