https://www.matthewtancik.com/nerf

paper : https://arxiv.org/pdf/2003.08934

#1 Intro

기존에는 Pixel, Voxel(CNN 처리에 용이), Point Cloud, Mesh 방식을 많이 사용!

pixel, point cloud, mesh

하지만,

1. Voxel(3차원 공간을 구성하는 단위 정육면체)의 경우, cubic 크기만큼의 메모리 공간을 사용해서 부담이 컸음
2. point cloud, mesh의 경우, 사용하는 vertex의 개수를 한정지을 수 밖에 없는 단점이 있음

⇒ 최근 주목 받는 기술은 MLP기반, 연속함수를 activation func으로 사용하는 기술 : Implicit Representation(Coordinate-based Representation)

Simply thinking ⇒ 2D image의 x,y 좌표를 주고, 이걸 rgb 로 output을 받아내는 것.

⇒ 즉, 네트워크에 안에 이런 변환 과정을 기억시키는 것.

💡 만약 3D라면?

⇒ 3차원 공간 내에서 classification을 하게 됨

위 그림에서 왼쪽을 보면, 토끼의 안쪽에 있는 값은 $SDF>0$으로, 아닌 값들은 <0으로 잡아서, classification을 진행하게 됨.

💡오른쪽 마네킹같은 그림은, 1,4열에 해당하는 그림들이 input이고, 이를 토대로, 3D 복원 + color embedding까지 마친 것.

⇒ 맨 오른쪽 아래의 모델의 경우, 색등이 흐릿하게 표현되는 등, 애매함.

⇒ 이걸 어떻게 더 발전시킬 수 있을까?