1. 연구 주제명

"망각 없는 평생 학습: VQ 압축 기반 메모리 효율적 연속학습" (The Infinite Learner: Memory-Efficient Continual Learning via VQ-Compression)

2. 한 줄 요약

<aside> 💡

새로운 지식을 배울 때는 '확장(Expand)'하고, 학습 후에는 양자화 안전 마진을 이용해 단일 모델로 **'압축(Compress)'**하여, 모델 크기 증가 없이 지식을 축적하는 기술.

</aside>

3. 핵심 도식

image.png

4. 연구 내용 및 목표

  1. 연구 배경 및 문제 정의
    1. 연속 학습의 딜레마: 기존의 신경망 연속 학습(CL)은 새로운 Task를 학습할 때 기존 지식을 잊어버리는 '치명적 망각(Catastrophic Forgetting)' 문제와, 이를 방지하기 위해 모듈을 계속 추가할 때 발생하는 '메모리 비효율성(Memory Scalability)' 문제 사이의 트레이드오프에 직면해 있음.
    2. 단순 병합의 한계: 학습된 PEFT(LoRA) 모듈을 메인 모델에 단순히 더하는(Linear Merging) 방식은 가중치 간섭(Interference)을 일으켜 기존 Task의 성능을 저하시킴.
    3. 연속적 공간의 불안정성: 일반적인 Autoencoder의 연속 잠재 공간(Continuous Latent Space)은 병합 시 발생하는 미세한 가중치 오차에도 민감하게 반응하여 표현(Representation)이 쉽게 변질(Drift)됨.
  2. 연구 목표
    1. "Expand-and-Compress" 전략 제안: 학습 시에는 잔차 모듈로 확장하여 안전하게 지식을 습득하고, 학습 후에는 메인 모델에 압축하여 단일 모델 형태를 유지하는 프레임워크를 제안함.
    2. VQ의 이산성을 활용한 강건성 확보: VQ의 '양자화 안전 마진(Quantization Safety Margin)'이 가중치 병합 시 발생하는 노이즈를 필터링하여, 연속형 모델보다 훨씬 안정적인 지식 융합이 가능함을 증명함.
  3. 핵심 연구 방법
    1. Step 1: 이산 잔차 기반 확장 학습 (Residual Expansion)
      1. 구조: 사전 학습된 Global_VQ-VAE를 고정(Freeze)하고, 새로운 Task의 잔차를 처리할 PEFT(LoRA)와 Residual_Codebook만을 학습.
      2. 역할 분담: 고차원의 복잡한 지식은 Residual_Codebook에 '이산 벡터'로 명시적으로 저장하고, PEFT는 이 벡터의 '조합법'만 학습하여 과부하를 방지.
    2. Step 2: 직교 투영 및 간섭 제거를 통한 지식 융합 (Intelligent Compression)
      1. 후보 1: SVD 기반 직교 투영 (Orthogonal Projection): 학습된 PEFT 가중치를 SVD로 분해하여, 기존 메인 모델의 중요 지식 공간과 직교하는 'Null Space'에 투영함으로써 물리적 충돌을 회피.
      2. 후보 2: 간섭 제거 (TIES-Merging): 투영된 가중치 중 기존 지식과 부호가 반대되거나 노이즈에 가까운 값들을 가지치기(Pruning)하여 메인 모델에 병합.
      3. 후보 3: 코드북 확장 (Append): 잔차 코드북은 병합하지 않고 글로벌 코드북 뒤에 추가(Append)하여 인덱스 충돌을 방지.
  4. 주요 공헌 (Key Contributions)
    1. VQ 특화형 연속 학습 아키텍처 제안:
      1. VQ의 '이산성(Discreteness)'이 병합(Merging) 과정의 오차를 흡수하는 '안정화 장치(Stabilizer)' 역할을 수행함을 이론적/실험적으로 규명. 즉, 코드북이 변화를 학습 정보를 맵핑하는 앵커 역할.
    2. 메모리 효율적인 평생 학습(Lifelong Learning) 실현:
      1. Task가 늘어날수록 모듈이 무한히 증가하는 기존 '구조 확장' 방식의 한계를 극복. 학습이 끝나면 모듈을 메인 모델에 흡수시켜 단일 모델 사이즈를 유지하면서도 망각을 최소화함.
    3. 명시적 역할 분담을 통한 성능 극대화:
      1. '지식 저장(Codebook)'과 '지식 적용(PEFT)'을 구조적으로 분리함으로써, 경량 모듈의 학습 효율성을 높이고 결과적으로 더 높은 분류 및 복원 성능을 달성함.

5. 실험 계획 (Experimental Plan)

  1. 데이터셋 및 시나리오
    1. 벤치마크: CIFAR-100 (Split-CIFAR setup), CelebA/DomainNet (Domain-IL setup).
    2. 시나리오: 5~10개의 순차적인 Task가 입력되는 Domain-Incremental Learning 환경. (Task ID가 주어지지 않는 상황 가정)
  2. 비교 대상 (Baselines)
    1. Lower Bound: Naive Fine-tuning (망각 발생).
    2. Upper Bound: Architecture Expansion (모듈을 계속 따로 저장하는 방식).
    3. Alternative: Continuous AE + PEFT + Merging (VQ를 쓰지 않았을 때의 성능 저하 비교 - 핵심 Ablation).
    4. Standard CL: EWC, LwF.
  3. 평가 지표 (Metrics)
    1. 분류 정확도 (Average Accuracy & Forgetting): 학습된 표현의 품질 평가.
    2. 복원 품질 (PSNR / SSIM / FID):
      • 핵심 증거: 병합(Merging) 후에도 이전 Task의 이미지가 뭉개지지 않고 선명하게 복원되는지를 시각적/정량적으로 제시하여 정보 보존을 증명.
    3. 모델 파라미터 증가율: Task 수에 따른 추론 시 모델 크기 비교 (제안 모델은 0에 수렴).
  4. 예상 결과
    1. Continuous AE는 병합 시 잠재 벡터($z$)의 미세한 변화(Drift)가 복원 이미지의 변질로 이어짐.
    2. 제안하는 VQ-VAE 방식은 양자화 과정이 병합 노이즈를 상쇄하여, 모듈을 따로 저장하는 방식(Upper Bound)에 근접한 성능을 유지하면서도 단일 모델로 통합됨을 확인.

6. 연구실 선행연구

  1. [BIGDATA2024] Min-Seon Kim, Ling Liu, and Hyuk-Yoon Kwon*, "SPrint: Self-Paced Continual Learning with Adaptive Curriculum and Memory Replay," 2024 IEEE International Conference on Big Data (IEEE BigData 2024), Washington D.C, USA, Dec. 2024 (regular paper, oral presentation, acceptance rate = 18.8%) (Ack: 2022R1F1A1067008 and 2020M3H2A1078119) [video].