0. Intro

모델 추론 속도 개선을 위한 TensorRT 설치 방법

1. Environment

ubuntu==20.04
cuda==11.7
cudnn==8.4.1.5

Ubuntu는 20.04.3 LTS 버전을 사용하고, CUDA 는 11.7, cuDNN은 8.4.1 버전을 사용하고 있다.

현재 ubuntu gpuserver에 설치되어 있는 GPU Processor는 NVIDIA GeForce RTX 3090 을 사용 중이다.

• VGA 확인

  (base) ubuntu@gpuserver:~$ nvidia-smi --query | fgrep 'Product Name'
      Product Name                          : NVIDIA GeForce RTX 3090
  

• CUDA 확인 (/usr/local 경로에서 확인 가능)

또는 nvcc -V 로 확인 가능

(base) ubuntu@gpuserver:~$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Wed_Jun__8_16:49:14_PDT_2022
Cuda compilation tools, release 11.7, V11.7.99
Build cuda_11.7.r11.7/compiler.31442593_0

• cuDNN 버전 확인 → cudnn 8.X 이상에서 cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

  (base) ubuntu@gpuserver:~$ cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
  #define CUDNN_MAJOR 8
  #define CUDNN_MINOR 4
  #define CUDNN_PATCHLEVEL 1
  --
  #define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)
  
  #endif /* CUDNN_VERSION_H */
  

2. Installation