◼ 연구 내용 및 목표

• 학습 데이터 분포에 민감한 Vector Quantization(VQ)의 한계를 해결하기 위해, 사전학습된 AutoEncoder/VQ-VAE 기반의 코드북을 연합학습 방식으로 공유하는 구조를 제안
• 각 클라이언트는 freeze된 AE encoder로부터 latent를 생성하고, 로컬 코드북을 학습
• 이후 각 클라이언트의 코드북을 서버에서 통합하여 다양한 데이터 분포를 포괄하는 범용적인 코드북 공간을 구축

◼ 주요 공헌

• 데이터 편향 완화를 위한 Codebook-level 연합 학습 구조 제안

  → VQ가 특정 도메인/클라이언트의 데이터 분포에 과도하게 적응하는 문제를 완화하고, 다양한 분포를 반영한 일반화된 표현 공간(codebook)을 구성

• Pretrained AE/VQ-VAE 기반의 안정적인 latent 공간 확보 및 dead space 활용

  → 고정된 latent space 위에서 각 클라이언트가 사용하지 않는 공간을다른 클라이언트가 효율적으로 채울 수 있도록 하여 dead code문제를 완화

• 모델 전체가 아닌 코드북만을 federate하여 경량화된 학습 구조 제안

  → full model-sharing 없이도 효과적인 표현 공유 가능,통신 비용을 줄이면서 모델간 semantic 정보 공유

• 코드북 공유를 통한 cross-domain generalization 효과

  → 서로 다른 도메인의 클라이언트가 협력적으로 codebook을 학습함으로써unseen domain에서도 강건한 양자화 성능 확보

◼ 실험 계획

• 데이터셋
  • publid Non-IID Dataset(mnist, cifar, imagenet …)
  • 각 클라이언트에 label별로 분산된 데이터 배치
• Baseline
  • non-federated VQ-VAE
• Metrics
  • reconstruction loss
  • codebook usage entropy
  • dead code rate
  • class-wise retrieval accuracy

◼ 인턴의 역할

• 실험 시나리오 작성
• 기존 연합학습 방식과의 비교 실험 수행
• 실험 결과 분석 및 시각화 (t-SNE, usage histogram 등)