작성자: 김기훈

Domain Transfer

• 서로 다른 Domain간의 변화를 학습

  • 예시 : 얼룩말이 있는 사진을 넣으면 같은 형태의 말이 있는 사진으로 바꿔준다 / 풍경 그림을 풍경 사진으로 바꿔준다.

• pix2pix : domain transfer 중의 하나이지만, 학습을 위해서는 paired data 가 필요하다.

              (낮을 밤으로 바꾸는 transfer라면 도로 형태, 건물 모든게 같지만 낮과 밤만 달라야 함)
  

CycleGAN

• 논문의 제목이 내용을 모두 설명하고 있다. keyword는 unpaired와 cycle-consistent

• Unpaired Transform

  • pix2pix와는 다르게 도로나 건물 등이 다르더라도 낮 사진과 밤 사진이 있다면 학습이 가능하다.
  • 실제로 domain만 다르고 형태는 같은 이미지는 구하기 힘들기 때문에 매우 유용하다.

• Cycle-consistent

  • Cycle 구조를 이용해서 학습을 하여 원본 이미지와 비슷한 형태의 domain만 다른 이미지를 생성할 수 있게 도와준다.

Network Structure

• Generator와 Discriminator는 domain의 수만큼 필요하다.

Generator

• 변환 당할 domain의 이미지(GAN의 z와 같은 역할)를 받아서 변환 대상이 되는 domain의 이미지를 생성
• 이미지를 다른 이미지로 만들어야 하기 때문에 입력 이미지를 압축한 후에 새로운 이미지를 생성하는 Encoder-Decoder 구조가 많다.