• NeRF
  • a9.3_1. [entry] title: NeRF
• NeRF 는 '피사체가 정지해 있어야 한다' 는 전제가 깔려 있다(참고2,3,8). 정지되어 있는 피사체라는 점, 가려지는 피사체를 구분해내고 극복하기 위한 연구가 있다.
  • D-NeRF 가 제안되었다(참고3).
  • 심지어 NeRF in the wild 라는 연구에서 구글 연구진은 한술 더 떠서 구글 유저들의 랜드마크 촬영 영상 집합만으로 3d 복원을 성공시키고, 정지한 대상과 정지해있지 않은 대상을 구분해내기까지 한다.
  • Single session driving can only observe a limited zone and occlusion issue is inevitable. … On the contrary, with multisession SLAM we can prevent this kind of occlusions by perceiving more information from multiple views.
  • 동적 물체와 정적 물체를 처리하지 못한다는 문제, 여러개의 매핑을 하나로 합치기 어렵다는 문제가 있었다. 이들 문제를 해결하는 연구 갈래 중 하나로, multi session SLAM 이 있다. Multi session NeRF 는 불가능한걸까? 혹시 Block NerRF 나 NeRF In the wild 같은 연구들과 결을 같이하지는 않을까?
• NeRF 는 또한 어떠한 피사체를 정말 다양한 각도에서 촬영한 뒤 모아주어야 동작한다는 문제도 가지고 있다. 필요한 영상의 양을 줄이겠다는 취지로 DietNeRF 가 제안되었다(참고4).
  • DietNeRF: Putting NeRF on a Diet
• NeRF 의 I/O 를 보면(from1) 영상들뿐 아니라 물리공간상의 영상 수집점간 관계도 요구된다. 수집점 간 관계 없이 영상만으로 3D 복원을 수행할 수 있도록 만들기 위해 NeRF-- 가 제안되었다(참고6).
  • [a9.3_5.3. title: NeRFmm 은 카메라 내부 파라미터(Intrinsic parameters)와 카메라 외부 파라미터(Extrinsic parameters)를 이미지 집합으로부터 학습한다.](https://www.notion.so/a9-3_5-3-title-NeRFmm-7ebc58daef7044be9f6e031626b756a8)
• 또한 NeRF 기반 연구들이 작은 공간에서 정합을 수행할 수밖에 없었다는 점과 real world 적용사례가 적었다는 점도 단점으로 볼 수 있다.
  • ‣
• NeRF 기반 연구들은 카메라 extrinsic 은 물론 intrinsic 과 카메라 왜곡모델에도 매우 민감하다(참고10). 이런 문제들을 해결하고자 수동 캘리브레이션에서 벗어나 스스로 더욱 정확한 캘리브레이션을 향해 움직이는 Self-calibration NeRF(참고9) 같은 방법들이 등장하게 되었다.
• ‣
• ‣

NeRF 에서는 왜 광각 카메라나 초광각 카메라를 사용하지 않는걸까? 어떤 것이 두려운걸까? “NeRF 같은 방법에서는 왜 어안렌즈나 광각렌즈를 잘 안쓸까요? 작은 모델링오차에도 민감하기 때문에 많이 난이도가 높아지는 탓일까요? 이미 Visual SLAM 에는 어안렌즈까지도 많이 사용되고 있어서, NeRF 같은 모델에 쓰는게 불가능하지 않을듯 싶은데 관련연구를 찾을 수 없었습니다.”

from

1. ‣
2. a9.3_3. title: NeRF는 3D 오브젝트를 만들어 내는 것이 아니라, 뷰를 입력으로 넣었을 때, feed-forward 결과 노블 뷰를 보여 주는 네트워크다. 하지만 학습 과정에서 광학적 개념을 이용했기 때문에 3D 공간에 대한 정보를 뉴럴 네트워크가 분명히 가지고 있다고도 바라볼 수 있는데, 그래서 explicit representation 이 아닌 implicit representation 이라고 부른다.

참고

1. 1. static scene 2. forward-facing view 3. with small view-port changes. Smaller viewport change / forward facing views, No moving / deforming objects. (e.g. a car driving across the street, a bird flying across the sky, people waving hands), No significant illumination/exposure changes. (e.g. camera moving from pointing towards the sun to back to the sun), No focal length changes. Currently assume all input share the same camera intrinsics.
2. NeRF 방식의 문제점은 촬영 중 피사체가 완전히 정지할 필요가 있다는 것이다. 피사체가 움직이지 않는 것이면 문제가 없지만 항상 움직이는 피사체라면 카메라 여러 대를 나린히 여러 각도에서 동시에 인물 사진을 촬영한다. 이 과제를 해결하기 위해 연구팀은 D-NeRF(Deformable Neural Radiance Fields)라는 새로운 방식을 연구 개발했다. 이 방식은 프레임을 비교하고 피사체가 얼마나 이동했는지 판단해 변형을 자동으로 계산 추출한 불완전한 2D 이미지 데이터를 조정해 정확하고 인터랙티브한 3D 모델을 만들 수 있다.
3. However, despite achieving an unprecedented level of photorealism on the generated images, NeRF is only applicable to static scenes, where the same spatial location can be queried from different images. In this paper we introduce D-NeRF, a method that extends neural radiance fields to a dynamic domain, allowing to reconstruct and render novel images of objects under rigid and non-rigid motions from a single camera moving around the scene. For this purpose we consider time as an additional input to the system
4. While NeRF has an impressive ability to reconstruct geometry and fine details given many images, up to 100 for challenging 360° scenes, it often finds a degenerate solution to its image reconstruction objective when only a few input views are available. To improve few-shot quality, we propose DietNeRF.