https://www.matthewtancik.com/learnit

paper : https://arxiv.org/pdf/2012.02189

• 여러 개념들에 대한 소개
  • hypernetwork
  • RNN
  • optimization-based-meta-learning algorithm examples(MAML, Reptile)
    • CNN
    • few-shot training
  • spectral bias
  • Adam
• 나중에 공부해볼 것들
  • LSTM
  • MetaSDF
  • DeepSDF
  • Unrolled graident step ⇒ Algorithm Unrolling or Unfolding

#Overview skimming

⇒ 결국 초기값을 빠르게 설정시켜서 성능을 높여준다는 얘기인 듯.

⇒ 근데 어떻게 빠르게?

⇒ 같은 class(의자, 얼굴, 가면 등) 하나의 통용될 수 있는 $\theta^*_0$를 설정해서 그걸 기준으로 각 이미지에 대한 weight들을 찾는 방식.

⇒ 그리고 그 최적의 초기 $\theta$를 찾는 내용.

⇒ 저자들은 CT 이미지에 대해 이것의 이점을 찾았다고 함.

#1 Introductions

• MLP를 통해서 2D coordinate을 통해 RGB를 구하려고 할 때, 이 값들이 discrete하지 않고, 연속적이라,(결국 MLP의 weight에 의존할 테니까) 고정된 공간 해상도에 얽매이지 X

  ⇒ 그러면, voxel이 주는 3D Complexity(해상도를 높이려 $100\times100\times100$짜리를 $200\times200\times200$으로 올린다고 할 때, $2^3$만큼 공간을 더 늘려야됨. ⇒ 이것이 cubic complexity)로 인한 공간 부담도 줄일 수가 있게 됨.

• 논문의 저자들은 network weight인 $\theta$가 특정 object에만 최적으로 만들어지는 것을 알게 됨.

• 최적의 $\theta$를 찾는 데에 초기 비용이 크기에, 저자가 제안한 것은 meta-learning!

  • 비슷한 것들의 초기 가중치를 잡겠다는 의미인 듯.

근데 문제가 생긴 것은

1. 우선 시간!

   ⇒ 기존에 이미 알고 있다시피, NeRF를 traning 하는 데에는 꽤 오랜 시간이 걸린다. 아무래도 high-resolution radiance field다 보니.

   ⇒ 그래서 이걸 조금이라도 줄여보고자,

   • latent(잠재된) vector를 input coordiante에 concatenate(사슬처럼 엮다)해서 single NN이 잘 관리할 수 있게 해줌.
   • 혹은 hypernetwork를 통해 signal 관찰들을 모두 MLP weight로 mapping해줌.
     • what is hypernetwork?

2. 그리고 unseen target signal을 표현하기가 힘든 것!

   ⇒ 위 두 가지 방법도 결국엔 이 문제를 해결하는 데는 어려움을 보임.