기존 GAN은 생성된 이미지가 전역적/지역적으로 일관성(coherence, consistency)이 부족하다는 이슈가 있다. 이 문제를 다루기 위하여 이 논문에서는

(1) discriminator에 U-net 구조를 도입하는 것

(2) 픽셀 단위의 일관성 규제(per-pixel consistency regularization technique)

의 두 가지 방법을 제시하고 있다.

(1) Discriminator에 U-net 도입

다음 그림은 기존의 GAN 을 나타내는데 discriminator는 표준적인 classification 구조이다.

이 GAN의 Discriminator를 U-net 구조로 바꾼것이 다음 그림이다.

U-net기반 discriminator는 기존의 global loss $L_{D_{enc}^U}$에 pixel-basis loss항인 $L_{D_{dec}^U}$를 추가하였다. U-net의 bottle neck이후의 upsampling과정에서 skip-connection을 통하여 local 정보를 반영한 output을 얻어내어 $L_{D_{dec}^U}$를 구한다.

pixel 각각에 대하여 real/fake 여부를 판별하여 loss에 반영함으로서 생성자가 세부적으로도 보다 진짜에 가까운 이미지를 생성할 수 있게 하려는 의도이다.

(2) per-pixel consistency regularization technique

잘 훈련된 pixel 기반 판별자라면 이미지의 class-domain(real/fak

e)이 바뀌어도 이를 충실히 반영할 수 있어야한다. 이러기 위해서는 판별자는 class-domain이 유지될때 보다는 real/fake가 변할 때 의미적/구조적 변화에 더 많이 집중하여야한다. 그래서 CutMix augmentation를 이용한 per-pixel consistency regularization을 도입하였다. 다음 그림은 CutMix를 설명하고 있다.

진짜이미지와 Generator가 생성한 가짜이미지를 섞은 이미지(CutMix)를 판별자에 통과시킴으로써 판별자가 한 장의 이미지 내에서 국소적으로도 판별능력을 일관성있게 확보하도록 하였다.

다음 $L^{cons}{D^U{dec}}$는 진짜이미지 $x$와 생성한 가짜이미지 $G(z)$에 대하여

( $x$와 $G(z)$를 CutMix한 후 판별자에 통과시킨 결과)와