1. 연구 주제명

통계 기반 코드북 라우팅을 활용한 사전학습 모델 기반 점진적 학습 프레임워크

2. 한 줄 요약

💡 사전학습 모델의 feature space 구조를 기반으로 PEFT의 분류 범위를 사전 분리하고, frozen 통계 기반 코드북 라우팅으로 학습 없이 안정적인 PEFT 선택을 실현

3. 핵심 도식

4. 연구 개요 및 목표

• 배경: 사전학습 모델(PTM) 기반 class-incremental learning(CIL)에서 PEFT(LoRA 등)를 활용하는 연구가 활발히 진행되고 있으나, 여러 PEFT 모듈을 어떻게 배치하고 선택할 것인가라는 라우팅 문제는 충분히 연구되지 않음
• 문제:
  • 기존 라우팅 방법(key-query matching)은 학습 중 key가 drift하여 태스크가 누적될수록 라우팅 정확도가 저하됨 [1, 2]
  • 태스크 경계 기반 PEFT 분리(InfLoRA, CL-LoRA 등)는 데이터 도착 순서에 종속되며 파라미터가 태스크 수에 비례하여 선형 증가함 [3, 4]
  • 라우팅을 우회하는 방법(SD-LoRA 등)은 모든 PEFT 컴포넌트를 영구 보관해야 하므로 동일한 확장성 문제가 존재함 [5]
• 목표:
  • Frozen pretrained feature 통계 기반 코드북 라우팅 설계 (학습 불필요, drift 없음)
  • 사전학습 모델의 feature space 구조를 기준으로 PEFT 분류 범위를 사전 분리
  • K개 고정 PEFT로 태스크 수 증가에 무관한 파라미터 상한 달성
  • Pseudo replay 기반 코드 내 forgetting 방지 메커니즘 설계
  • 전체 클래스 분포가 아닌 각 PEFT가 담당하는 local region 내 조건부 분포만 추정하므로, 추정 분산이 감소하고 분류 경계가 단순해지는 이론적 이점 확보

5. 실험 설계

• 데이터셋
  • Split CIFAR-100
  • Split ImageNet-R
  • Split CUB-200
• 비교 대상
  • SimpleCIL [6] (하한 기준)
  • L2P [1] (CVPR 2022)
  • DualPrompt [2] (ECCV 2022)
  • CODA-Prompt [7] (CVPR 2023)
  • InfLoRA [3] (2024)
  • SD-LoRA [5] (ICLR 2025)
  • CL-LoRA [4] (CVPR 2025)
• 방법
  • 성능 비교 (FAA, CAA)
  • Ablation study
    • 코드북 크기 K 민감도 분석
    • 라우팅 정확도 분석 (기존 key-query 대비)
    • Pseudo replay 유무 비교
    • PEFT 종류 교체 실험 (PEFT-agnostic 검증)
  • 파라미터 수 및 추론 비용 효율성 비교

6. 연구실 선행연구