작성자: 김기훈, 안윤용, 성지훈

PAPER

Paper Link - arXiv

Code Link - github

INTRODUCTION

• 기존의 Domain Transfer 같은 경우에는 바꿔야할 대상(instance)가 여러 개이거나, instance에 모양 변화가 큰 경우 등에 좋지 않은 성능을 보임.

  →Instance 정보를 추가하여 embedding 해보자!

Main Idea

• Instance Mask를 이용한다.

  → 형태의 변환을 학습하기 때문에 instance의 변화가 잘 일어나게 만들어줌.

• Generator가 이미지와 attribute(masked instance)를 함께 받아서 새로운 domain의 이미지와 attribute를 만들어주고 Discriminator도 이미지와 attribute를 함께 받아서 판별

  → joint encoding을 함으로써 이미지와 attribute 사이의 관계를 학습한다.

• GPU Memory의 문제를 해결하기 위하여 sequential mini-batch training 방법을 사용함

Structure

• Generator

  • 이미지와 각각의 attribute에서 특징을 추출해 내는 부분과 추출된 정보를 이용하여 새로운 이미지와 attribute를 생성하는 부분으로 나눠져 있음

  • 특징을 추출할 때는 이미지와 각각의 attribute를 f network를 통과시킴

  • 추출된 정보를 바탕으로 이미지와 attribute를 생성할 때는 다음과 같은 정보들이 concatenate되어 g network를 통과

    

  • 이 때, f는 conv와 residual block이 합쳐진 형태이고, g는 conv transpose의 형태

• Discriminator

  • 이미지에 대한 정보와 각각의 attribute에 대한 정보의 합을 concatenate 하여 해당 도메인의 실제 데이터가 맞는지를 확인

  

  • 3층의 conv가 feature extraction 부분이고, 이미지와 attribute에서 나온 특징을 concat 시킨 것을 2층짜리 conv classifier로 구분을 함

LOSS function

• 기존 CycleGAN loss에 context preserving loss를 추가