PRIME_A_Novel_Processing-in-Memory_Architecture_for_Neural_Network_Computation_in_ReRAM-Based_Main_Memory.pdf

1. 개요 (Overview)

• 논문 제목: PRIME: A Novel Processing-in-memory Architecture for Neural Network Computation in ReRAM-Based Main Memory
• 출처: ISCA 2016
• 저자: Ping Chi et al. (UCSB, HP Labs, NVIDIA, Tsinghua Univ.)
• 핵심 요약: ReRAM의 Crossbar 구조를 활용하여 메모리 자체에서 신경망 연산을 수행하는 PIM(Processing-In-Memory) 아키텍처 제안. 기존 NPU 대비 획기적인 성능 향상과 에너지 절감 달성.

2. 배경 및 동기 (Background & Motivation)

2.1. 메모리 장벽 (Memory Wall) 문제

• 전통적인 컴퓨터 시스템(CPU/GPU)은 데이터 처리 장치와 메모리가 분리되어 있음.
• 신경망(NN)과 같은 빅데이터 애플리케이션은 방대한 데이터 이동을 요구하며, 이로 인한 성능 저하 및 에너지 소모가 심각함.
• CPU와 오프칩(off-chip) 메모리 간의 데이터 전송은 부동 소수점 연산보다 약 100배 많은 에너지를 소모함.

2.2. ReRAM의 가능성

• ReRAM (Resistive RAM): 차세대 비휘발성 메모리로, 고집적도와 빠른 읽기 속도를 가짐.
• Crossbar Array 구조: ReRAM의 Array 구조는 신경망의 핵심 연산인 Matrix-Vector Multiplication을 아날로그 방식으로 효율적으로 수행할 수 있음.

3. 기존 연구의 한계와 PRIME의 접근 (Related Work vs PRIME)

3.1. 기존 접근 방식

• ASIC/NPU (예: DaDianNao): 연산 효율은 높으나 메모리와 프로세서 간 데이터 이동 문제는 여전함.