최근 딥러닝이 많은 주목을 받으면서 다양한 문제들을 딥러닝을 사용해서 풀고 있다. 하지만 우리가 흔히 보는 딥러닝 모델들은 주로 Convolutional Neural Network (CNN)이다. 큰 분야인 Computer vision이나 Sound recognition에서 많이 사용이 되기 때문이다. 하지만 딥 러닝 분야의 한쪽에서는 조금 다른 연구를 하고 있다. 바로 Implicit representation 이다. 이 글에서는 이에 대해 소개 하고자 한다.
Implicit Representation을 명확하게 정의한 논문을 보지는 못했다. 논문을 많이 찾아보지 않아서 그럴 수도 있다. 얕게 공부해 보고 나서 이 단어의 뜻을 나름대로 정의 해 보자면 다음과 같다.
Implicit Representation은 어떤 정보를 Neural Network로 나타내거나 혹은 저장 하는 것을 의미 한다.
보통 우리가 접하는 Neural Network (NN)들은 보통 추정과 생성의 기능을 수행 한다. 추정의 예시로는 Image Classification이나 Pose Estimation들이 있고 생성의 예시로는 Image-to-image conversion이나 generative art등이 있다. Implicit Representation은 이와는 다르게 표현의 기능을 수행한다. 사실 잘 와닿지 않는 개념이다. 아래에서 예를 들어 설명 하겠다.
이미지로 예를 들어보자. 이미지의 각 픽셀은 특정 RGB 값을 가지고 있고 이 픽셀들이 모여서 이미지를 만든다. 만약 이 이미지를 어떤 함수로 표현 한다고 해보자. 이 함수는 입력으로 좌표 (x, y)를 받고 각 픽셀의 값 (color이면 R,G,B값, 흑백이면 intensity값)을 출력하는 함수 일 것이다. 그렇다면 이 함수 자체가 사실상 이미지가 되는 것이다. NN을 좌표와 RGB값을 데이터로 해서 학습을 시킨다면 이 NN은 이미지를 표현 하게 된다. 다르게 이야기 하면 network parameter들이 이미지와 동일한 정보를 담고 있다는 것이다.
NN이 표현 할 수 있는 정보는 단순히 이미지 뿐만이 아니다. 동영상, 물리장 (field), 파동, 3D 물체 등 굉장히 다양하다. 정보의 종류에 따라 NN으로 표현 하는 것의 장점이 조금씩 다르지만 공통적인 부분이 있다.
NN의 표현 방식은 이산화된 정보를 표현하는 것이 아니기 때문에 정보 자체의 복잡도에 만 관련 있다. 극단적인 예로 간단한 도형의 이미지와 복잡한 풍경의 이미지는 같은 파일 크기를 가지지만 NN으로 표현하면 전자의 경우 훨씬 작은 크기의 네트워크로 표현이 가능하다.
이미지에 대해서는 큰 이득을 보지 못한다. 절대적인 크기 자체도 그리 크지 않고 압축 기술들이 많이 있기 때문이다. 하지만 3D 물체를 표현 하는 경우에는 커다란 이득을 볼 수 있다. 왜냐면 3D 물체의 경우 3차원 정보를 표현 하기 때문에 파일의 크기가 매우 크다.
Matthew Tancik: Neural Radiance Fields for View Synthesis (https://youtu.be/dPWLybp4LL0)
어떤 정보를 연속적으로 표현 할 수 있다는 것은 커다란 장점이 된다. 왜냐면 이 정보의 미분값을 구할 수 있기 때문이다. 예를 들어서 NN이 이미지를 표현 한다면 이미지의 Gradient나 Laplace 를 구할 수 있다. 만약 NN이 전압을 표현 한다면 전기장을 구할 수 있다. 이러한 방식은 기존의 Discrete 한 데이터를 사용한 미분 보다 훨씬 정확하다. 왜냐면 미분을 numeric 하게 하는 것이 아니라 analytic하게 하는 것이기 때문이다.
더불어서 이렇게 미분이 가능해 지면 흥미로운 것들이 가능해 지는데 이는 뒤에서 설명 하도록 하겠다.
이 글에서는 Implicit Representation 과 연괸된 크게 3 개의 주제를 다룬다.