연구 내용 및 목표

• Spike 발생량과 SNN 모델 학습 경향의 관계 규명
  • Spike 발생 빈도와 패턴이 SNN의 학습 안정성, 수렴 속도, 성능에 미치는 영향을 정량적으로 분석한다. 이를 통해 spike 기반 정보 표현이 NLP에서 어떻게 작용하는지 규명한다.
• SNN 모델의 학습 속도와 성능 최적화를 위한 하이퍼 파라미터 최적화
  • Spike 발생량을 조절하는 주요 하이퍼 파라미터 (임계값, time 상수 등)과 모델 학습 하이퍼 파라미터 간의 최적 조합을 탐색한다. (Grid Search, Baysian Optimization 등**)**
• SNN의 새로운 미분 방법론 제안 (Gradient decent)
  • Spike 발화 함수의 비미분성을 효과적으로 처리할 수 있는 새로운 대체 미분 함수를 설계한다.

실험

• 데이터셋
  • GLUE 벤치마크 (총 8개 데이터셋)
• Backbone
  • SpikeBERT
  • SpikingBERT
  • SpikeGPT
• 실험지표
  • 정확도 지표: F1-score, Accuracy, Correlation (데이터셋에 따라 다름)
  • 학습 효율성 지표: Train step 대비 정확도 지표의 ratio
• 방법
  • 하이퍼 파라미터 조합 탐색에 따른 모델 학습 패턴 비교
  • 대체 미분 함수 간의 모델 성능 비교
  • Backbone 별 Spike 패턴 분석 및 성능 비교

인턴의 역할

• Backbone 별 실험 환경 구성 및 GLUE 벤치마크 baseline 학습
• 하이퍼 파라미터 탐색 파이프라인 설계