1. Introduction.

2015년에 먼저 발표된 논문은 Image Style Transfer Using Convolutional Neural Networks과 같은 연구팀의 논문이다.

A Neural Algorithm of Artistic Style

2016년 발표된 이 논문은 "A Neural Algorithm of Artistic Style"과 많은 내용이 중복된다.

1. Content Reconstructions → Target Image.

   1. CNN의 처리 단계마다 입력 이미지를 재구성하여 시각화한다.
   2. 하나의 Higher Layers만을 사용한다.
   3. a, b, c 같은 Lower Layers에서는 모든 Content가 남아있어 완벽한 복원을 보인다.
   4. d, e 같은 Higher Layers에서는 Detailed Pixel Information이 사라지지만, 윤곽 같은 High-level Content는 남아있다.
   • Layers.
   • 번외. A Neural Algorithm of Artistic Style과의 차이점.

2. Style Reconstructions → Artworks.

   1. Style Reconstructions를 위해 CNN Representations 위에 Feature Space를 구축했다.

   2. Style은 같은 Layer의 다른 Features Map 사이의 Correlation으로 정의된다.

   3. 여러 Layer를 포함하는 Multi-scale이다.

   4. Lower Layer에서는 '원본 Content' 정보는 대부분 무시하고 Texture만 복원한다.

      복원이 잘 이루어지므로 Correlation이 높다.

   5. Higher Layer에서는 '원본 Content' 정보를 포함하여 미술 작품과 비슷한 이미지가 나온다.

      복원이 잘 이루어지지 않으므로 Correlation이 낮다.

   • Layers.

3. Content Representations와 Style Representations는 분리할 수 있다.

   같은 Network를 사용하여 Content와 Style을 복원하고, 그 둘로 새로운 의미 있는 이미지를 만들 수 있다.

2. Deep Image Representations.

논문에서 CNN Base Network로 VGG19를 사용한다.

VGG19의 구조를 모두 사용하지는 않고, 16개의 Conv Layer와 5개의 Pooling Layer를 사용한다.

Pooling Layer는 Image Reconstruction이라는 목적에 맞게, 기존의 Max Pooling이 아닌 Average Pooling을 사용한다.

• 번외. Average Pooling.