Jetson板卡算力對比 以及NX和Nano板卡上TensorRT加速測試

• 前言
• Jetson CUDA 算力表：
• Xavier NX 上TensorRT測試：
• Nano上TensorRT推理測試：

前言

? 以下所有測試基于enazoe大佬的yolo-tensorrt項目進行，壞境配置比較簡單。
? 簡單測試一下YOLOv4模型在NX和Nano上的推理速度，實際推理速度可能會有波動，如發(fā)現(xiàn)問題歡迎大家交流！

Jetson CUDA 算力表：

GPU	浮點算力（FP16）	整點算力（INT8）	Compute Capability
Jetson AGX Xavier	11 TFLOPS	32 TOPS	7.2
Jetson Xavier NX	6 TFLOPS	21 TOPS	7.2
Jetson TX2	1.3 TFLOPS	不支持	6.2
Jetson Nano	0.5 TFLOPS	不支持	5.3

Xavier NX 上TensorRT測試：

模型	輸入尺寸	加速精度	單幀耗時	FPS
YOLOv4	608X608	FP32	200	5
		FP16	90	11
		INT8	60	12.5
	416X416	FP32	110	9
		FP16	55	18
		INT8	45	22

模型	輸入尺寸	加速精度	單幀耗時	FPS
YOLOv4-tiny	608X608	FP32	35	28
		FP16	25	40
		INT8	20	50
	416X416	FP32	20	50
		FP16	15	66
		INT8	15	66

Nano上TensorRT推理測試：

模型	輸入尺寸	加速精度	單幀耗時	FPS
YOLOv4	608X608	FP32	760	1.3
		FP16	570	1.7
	416X416	FP32	377	2.6
		FP16	275	3.6

模型	輸入尺寸	加速精度	單幀耗時	FPS
YOLOv4-tiny	608X608	FP32	100	10
		FP16	70	14.2
	416X416	FP32	50	20
		FP16	35	28.6

總結(jié)

以上是生活随笔為你收集整理的Jetson NX和Nano上使用TensorRT部署YOLOv4模型速度测试的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。