Introduction.

CNN의 Layer는 이미지에서 Feature를 뽑아낸다.

CNN의 출력은 Feature Map으로 표현되고, 더 높은 Layer로 갈수록 Feature들이 Hierarchy하게 쌓이면서 좋은 Feature가 나온다.

최종 Feature는 Classifier 등에서 이용될 수 있다.

그렇다면 아래 논문처럼 CNN에서 Feature Map을 이용하여 이미지를 복원하는 것도 가능할 것이다.

Understanding Deep Image Representations by Inverting Them

그리고 Texture를 분석하고 복원하는 내용을 다룬 논문도 존재한다.

아래 논문은 A Neural Algorithm of Artistic Style 연구팀의 3개월 전 논문이다.

Texture Synthesis Using Convolutional Neural Networks

2015년 발표된 이 논문은 앞선 내용을 바탕으로 CNN에서 Style과 Content를 복원하여 새로운 이미지를 만드는 것을 다룬다.

A Neural Algorithm of Artistic Style

Figure 1.

1. Content Reconstructions → Target Image.

   1. CNN의 처리 단계마다 입력 이미지를 재구성하여 시각화한다.
   2. 하나의 Higher Layers만을 사용한다.
   3. a, b, c 같은 Lower Layers에서는 모든 Content가 남아있어 완벽한 복원을 보인다.
   4. d, e 같은 Higher Layers에서는 Detailed Pixel Information이 사라지지만, 윤곽 같은 High-level Content는 남아있다.
   • Layers.

2. Style Reconstructions → Artworks.

   1. Style Reconstructions를 위해 CNN Representations 위에 Feature Space를 구축했다.

   2. Style은 같은 Layer의 다른 Features Map 사이의 Correlation으로 정의된다.

   3. 여러 Layer를 포함하는 Multi-scale이다.

   4. Lower Layer에서는 '원본 Content' 정보는 대부분 무시하고 Texture만 복원한다.

      복원이 잘 이루어지므로 Correlation이 높다.

   5. Higher Layer에서는 '원본 Content' 정보를 포함하여 미술 작품과 비슷한 이미지가 나온다.

      복원이 잘 이루어지지 않으므로 Correlation이 낮다.

   • Layers.