1. 연구 주제명

Additive Power-of-Two와 Shift 연산 기반 SNN 트랜스포머 설계

2. 한 줄 요약

<aside> 💡

SNN 트랜스포머의 레이어 가중치를 2의 멱수의 합으로 구성하고 행렬 곱 연산을 Shift 연산으로 대체하여 부동소수점 연산을 제거

</aside>

3. 핵심 도식

4. 연구 개요 및 목표

• 배경: SNN은 이벤트 단위의 이진 값을 사용하여 연산 효율성에서 장점을 가지지만, 현재 레이어 가중치는 여전히 실수이며 이로 인해 부동소수점 연산을 사용하고 있음
• 문제: CNN에서는 레이어 가중치를 [-1,1]로 제한하는 Binarized Neural Network (BNN)라는 아키텍처가 동작했지만 트랜스포머에서는 심각한 성능 붕괴가 존재 [1,2] + 현재 제안되는 SNN 양자화 연구는 CNN, RNN 등 상대적으로 얕은 모델에만 적용
• 목표
  • 트랜스포머 아키텍처에서 Additive Power-of-Two[3] 기반의 레이어 (Linear, Conv, BatchNorm 등) 개발
  • 행렬 곱을 Shift 연산으로 치환하고 수학적으로 증명
  • 이를 위한 새로운 역전파 알고리즘 개발

5. 실험 설계 (도메인에 따라 달라질 수 있음)

• 데이터셋
  • 일반: ImageNet, CIFAR10, CIFAR100
  • SNN 특화: CIFAR10-DVS, DVS 128-gesture,
• 비교대상
  • SpQuant-SNN [4] (2024)
  • ATW-SNN [5] (2026)
• 방법
  • 성능 비교
  • ablation study
    • 역전파 알고리즘 비교
    • APoT 방법 비교
    • 성능-효율성 비교

6. 연구실 선행연구

• [NeurIPS2026 submitted]

  _NeurIPS_2026__BitShift_RoPE (5).pdf

• [NeurIPS2026 submitted]

  _NeurIPS2026__SNN_ROPE (2).pdf

• [CIKM2025] Seung Kyu Hong and Hyuk-Yoon Kwon*, "Adaptive Spike Neural Networks for Natural Language Inference Tasks with Dynamic Spike Predictor," In Proc. the 34th ACM International Conference on Information and Knowledge Management (CIKM), Seoul, Korea, Nov. 2025. TOP CONFERENCE in IR and DB

7. 타겟 학회