Denoising Diffusion Probabilistic Models (DDPM)

• Forward Process
  • 이미지를 점진적으로 노이즈화하는 과정으로, 사전에 정의됨
  • 최종적으로 표준 정규분포에 도달하도록 설계함
  • 이때, 노이즈의 분산을 정의하는 beta_t 값를 설정하는 것이 중요하며, Markov chain 방식으로 선형적으로 증가하도록 설정함
• Backward Process
  • 노이즈에서 이미지를 생성하는 Denoising 과정으로, 학습의 대상임
  • 이러한 역변환 과정이 정규분포로 수렴할 수 있을까? beta_t 를 작게 설정하면 가능함
  • 실제 논문에서는 beta_t 의 최댓값을 0.02로 설정하였으며, 타임스텝 t 를 네트워크의 입력으로 사용하여 각 단계에서의 노이즈 분포를 조정함

DDPM 과 SMLD (Score Matching with Langevin Dynamics) 비교

• 노이즈를 추가하는 컨셉 자체는 유사하지만, 최종적으로 도달하는 상태가 다름
• SMLD에서는 단순한 노이즈 상태에 도달하나, DDPM은 표준 정규분포로 변환됨

수업 중 나온 질문: 모든 타임스텝에서 beta_t 를 동일하게 설정하면 안될까?

• beta_t를 등비수열 (geometric sequence) 로 증가시키는 것이 핵심임
• 이렇게 하면 학습이 더 안정적이고, backward process 과정에서 효과적인 복원이 가능함