CUDA?

Computed Unified Device Architecture

NVIDIA에서 개발한 GPU 개발 툴

기존의 컴퓨터 연산은 CPU를 사용하고, RAM에 의존하여 연산을 진행하였다. CPU를 이용한 연산은 대부분 Single-Core(Human-Brain)를 사용하고 MultiProcessing, Multi-Threading 등을 이용하여 CPU가 보유한 코어 갯수 만큼의 Multi-Core를 이용하여 연산을 할 수 있다. 일반적으로 딥러닝에서 사용하는, 특히 pytorch나 tensorflow 에서, data loader 파트에서, core 갯수를 주고 데이터 loading 하는 부분이 여기에 속한다.

이에 반해 GPU는 Core 갯수가 엄청나다. CPU는 8~16개인데 비해 GPU는 몇 천개 이상이다. 즉 이를 이용한 Many-Core dependent 연산을 진행하고, Video RAM에 있는 데이터를 연산한다.

CPU vs GPU vs NPU vs TPU

CPU (Central Processing Unit)

• 💡 모든 연산의 기본.
• 한 번에 하나씩 차례대로 명령을 처리함.
• 일상적인 앱, 브라우저, 파일 처리 등 모든 작업의 중심.

뇌 전체가 다양한 일을 처리하는 사람의 뇌라고 생각하면 됨.

GPU (Graphics Processing Unit)

• 수천 개의 코어로 병렬 연산을 빠르게 처리
• 원래는 3D 그래픽과 비디오 처리를 위해 만들어졌지만, 지금은 AI 연산과 학습에도 매우 중요함.
• 딥러닝에서는 큰 행렬 계산(예: CNN, RNN 연산)을 수천 개의 연산 유닛으로 동시에 수행.

계산을 병렬로 해주는 수천 명짜리 계산 팀이 따로 붙어 있는 느낌.