1. 연구 주제명

"VQ-VAE 기반 개인화 연합학습" (Personalized Federated Learning: Taming Data Heterogeneity with VQ-VAE)

2. 한 줄 요약

<aside> 💡

이질적인 데이터 환경(Non-IID)에서도 성능 저하가 없도록, '글로벌 코드북'으로 특징을 정렬하고 **'로컬 잔차(Residual) 모듈'**로 개인화 성능을 극대화하는 프레임워크 연구.

</aside>

3. 핵심 도식

image.png

4. 연구 내용 및 목표

  1. 연구 배경
    1. 연속적 특징 공간의 한계: 기존 FedAvg 방식은 연속적인 feature space에서 가중치를 평균화함. 데이터 이질성(Non-IID) 환경에서는 클라이언트 간 특징 분포가 정렬되지 않아(Misalignment) 이질적 데이터의 미세한 차이가 모두 섞여 성능이 급격히 저하됨.
    2. 이산적 표현(Discrete Representation)의 필요성**:** 연속 feature를 제한된 이산 코드북으로 양자화하면, 상이한 데이터를 공통된 이산 코드로 매핑하여 암묵적 특징 정렬을 유도하고 이질성에 robust한 표현 학습이 가능함. 또한 통신 효율도 향상됨.
  2. 연구 목표
    1. VQ-VAE의 이산적 특성을 도구로 활용한 이산 연합 학습(Discrete FL) 프레임워크 제안.
    2. 글로벌 레벨에서는 불확실성 기반 동적 코드북으로 공통 특징 공간을 구축하고, 로컬 레벨에서는 잔차 기반 PEFT로 개인화 성능을 극대화함.
  3. 핵심 연구 방법
    1. Step 1: 불확실성 기반 글로벌 동적 코드북 학습 (Global Alignment)
      • 클라이언트 데이터를 글로벌 코드북에 매핑 시, 양자화 오차가 큰 영역을 불확실성이 높은 데이터로 간주.
      • 서버는 이 영역을 커버하도록 코드북을 동적으로 확장하거나 불필요한 코드를 제거하여, 이질적 데이터를 포용하는 공통 이산 공간을 구축.
    2. Step 2: 잔차(Residual) 기반 로컬 개인화 (Local Adaptation)
      • 확장된 글로벌 코드북으로도 표현되지 않는 로컬 데이터의 잔차($x - \hat{x}_{global}$)를 계산.
      • 로컬 전용 잔차 코드북과 PEFT(LoRA) 모듈을 학습시켜 로컬 코드북 생성, 글로벌 모델의 일반화 성능을 유지하면서 클라이언트별 특화 정보를 보정.
  4. 주요 공헌
    1. 이산 표현을 통한 Non-IID 문제 해결
      • 연속적 가중치 평균의 대안으로 이산 코드북을 특징 정렬의 앵커로 활용, 극심한 데이터 이질성 환경에서도 학습 안정성 및 수렴 속도 개선.
    2. 하이브리드 코드북 전략
      • 기존의 단순 코드북 확장을 넘어, 글로벌 확장(보편성)과 로컬 잔차 학습(개인화)을 결합하여 일반화와 개인화의 트레이드오프를 해결하는 새로운 아키텍처 제시.
    3. 개인화 단계의 파라미터 효율성
      • 개인화 과정에서 무거운 디코더 전체를 재학습하는 대신, 잔차 코드북과 PEFT 모듈이라는 극소량의 파라미터만 학습하여 개인화 비용을 최소화함.

5. 실험 계획

  1. 데이터셋 및 시나리오
    1. 이질적 데이터 사일로 구성:
      • CIFAR-10/100: Dirichlet 분포를 이용한 클래스 불균형 설정.
      • DomainNet / Digit-5: 각 클라이언트에 서로 다른 도메인을 할당하여 Feature Shift 시뮬레이션.
  2. 비교 모델 (Baselines)
    1. Continuous FL: FedAvg, FedProx, FedBN (표준 및 정규화 기반 방법론).
    2. Discrete FL: 고정 코드북을 사용하는 기존 VQ 기반 FL 연구.
    3. 유사한 연구 (UFFL)
    4. Proposed: Dynamic Global Codebook + Local Residual PEFT.
  3. 평가 지표
    1. 분류 정확도 (Accuracy): 학습된 이산 표현 위에 선형 분류기를 부착하여 특징 구분 능력 평가.
    2. 복원 품질 (PSNR/SSIM): 정보 보존 능력 및 잔차 학습의 효과 검증.
    3. 수렴 속도 (Convergence Speed): 목표 정확도 도달까지 소요된 통신 라운드 수 비교.
  4. 예상 결과
    1. 제안하는 이산 표현 방식이 Continuous FL 대비 더 적은 통신 라운드 내에 안정적으로 수렴함.
    2. Local Residual 모듈 적용 시, 전체 파인튜닝 대비 적은 연산으로도 동등하거나 더 높은 수준의 개인화 정확도를 달성함.

6. 연구실 선행연구