Unsupervised learning(Unpaired images in different domain)
— 짝이 맞지 않는 이미지들 간에도 특징을 뽑아내 이미지를 변환시킬 수 있다!
VAE - GAN Model
Shared latent space(z)
서로 다른 두 이미지가 같은 latent vector로 encoding 될 수 있다고 가정
각 이미지에서 같은 모양의 latent vector로 encoding 하는 과정에 한 layer를 공유
(반대로 latent vector에서 이미지를 generate하는 경우에도 한 layer를 공유)
Shared intermediate representation(h)
이미지를 generate하는 과정을 세분화
ex) sunny image 와 rainy image 사이의 translation을 하는 경우
x1 - sunny image, x2- rainy image
자동차와 나무가 있는 공통점이 있는 두 image라고 생각하면
GH는 자동차와 나무가 있다는 특징을 담게 되고
GL,1, GL,2는 각각 나무가 sunny image에서는 푸른 색임을, rainy image에서는 짙은 초록색인 특징을 담게 된다.
Cycle consistency exist
(x1을 x2의 특징으로 변환한 이미지)를 다시 x1의 특징으로 변환한 것이 x1과 비슷한지 비교
