작성자: 최승원, 민규식

공식 구현: https://github.com/tkarras/progressive_growing_of_gans

Paper

• 2018.02.26
• Published as a conference paper at ICLR 2018

Introduction

• 고해상도의 이미지를 학습하는 경우 생성된 이미지를 구분하는 것이 너무 쉬움!
• 또한 메모리 문제 때문에 적은 수의 batch size로 학습을 수행해야함

⇒ 불안정한 학습이 수행될 수 있음!

어떻게 하면 안정적으로 고해상도의 이미지를 생성할 수 있을까??

Progressive Growing of GANs

• 메인 아이디어

  • 낮은 resolution부터 G와 D의 모델을 학습하고 새로운 Layer를 추가하는 방식으로 점진적으로 resolution을 늘려가며 GAN 학습 수행

  

  • 위의 그림과 같이 처음에는 G와 D 모두 4x4 resolution으로 GAN 학습을 수행한다.
  • 4x4 resolution으로 어느 정도 학습이 수행되면 새로운 8x8 deconv (G)와 conv (D) 레이어를 추가하여 resolution을 높인다.
  • 이런 방식을 반복하여 1024x1024까지 resolution을 증가시킨다.

  ⇒ 조금씩 난이도를 올리며 학습한다는 점에서 커리큘럼 학습과 유사

  ⇒ 위와 같은 방식으로 학습을 수행하면 고해상도에서도 안정적으로 학습이 가능하다. 모든 범위를 한번에 학습하는 대신 큰 범위의 structure를 먼저 학습하고 세세한 detail에 집중하는 것이 가능

  ⇒ 학습 속도도 빨라짐! → Final output 해상도에 따라 2-6배 정도 빠르게 학습

• 하지만 새로운 레이어가 추가되는 경우 기존에 학습된 변수에 너무 큰 변화가 생길 수 있음!

  • 이를 방지하기 위해 새로운 layer가 추가될 때 weighting을 통해 새로운 layer의 영향을 점진적으로 증가시킨다!

  

  • 16x16으로 학습시킨 후 32x32의 새로운 레이어가 추가될 때 skip connection 같은 방식으로 연산을 수행. 16x16의 결과를 2배 후 (1-alpha)를 곱하고 32x32의 결과에 alpha를 곱한 다음 더해줌!
  • alpha의 경우 0 → 1로 점진적으로 증가시킴!
  • 위의 구조에서 [2X]는 Nearest Neighbor Filtering을 통해 이미지의 resolution을 2배로 증가
  • 위의 구조에서 [0.5X]는 Average Pooling을 통해 이미지의 resolution을 절반으로 감소
  • [toRGB]는 Feature vector → RGB Color로 project
  • [fromRGB]는 RGB image를 Feature vector로 project
  • [toRGB]와 [fromRGB]는 둘다 1x1 convolution을 이용한다.

Increasing Variation using Minibatch Standard Deviation