단안 카메라의 종류로는 화상통화를 위해 사용하는 웹캠, 전적으로 비전 알고리즘을 위해 설계된 머신비전 카메라, 우리가 흔히 아는 거대한 DSLR, 전원만 꽂으면 데이터 송수신과 전력공급이 모두 되는 카메라 모듈, 스마트폰 카메라, 이벤트 카메라가 있다. 양안 카메라로는 스테레오 카메라와, 레이저(ToF)나 구조광 변화를 추적해 depth 를 알려주는 깊이 카메라가 있다 (참고13). 머신비전 카메라와 이벤트카메라는 굉장히 비싸고 알아야 할 것이 상당히 많으며(참고7,11), DSLR 과 스마트폰같은 선택지를 제거함으로써(참고8) 이중에 우리가 사용할 수 있는 것들을 걸러 보면, 웹캠, 카메라 모듈, 스테레오 카메라, 깊이 카메라정도가 있다. 웹캠과 카메라 모듈은 저렴하고 부피가 작은 편에 속하지만, 전반적으로 성능이 나쁘고 노출값이나 조리개값과 같이 기본적으로 조절되어야 하는 세팅들도 조절되지 않을 가능성이 있다는 점에서 구매 시 주의가 필요하다 (참고6,9). 특히 웹캠은 피사체로부터 얻은 intensity 를 그대로 보여주는것이 아니라 “예쁘게 처리해서 보여주는” 경향이 있기 때문에 선택 시 관련옵션을 선택할 수 있는지 확인해보아야 한다.

스테레오 카메라는 intel RealSense T265 와 스테레오랩스의 ZED 카메라가 있다(참고1). intel RealSense T265 모델의 경우에는 양안이 모두 어안(fish-eye) 렌즈로 넓은 화각을 확보할 수 있다는 장점이 있다 (참고12). ZED 카메라는 ZED1 보다는 ZED2 를 추천한다. 이들은 양안 2K 로 매우 고해상도임에도 빠른 처리속도를 자랑하지만, NVIDIA GPU 의존성이 있다. 특히 ZED 카메라의 내장 Visual SLAM 기능을 사용하고자 하는 경우 GPU 의 성능이 GTX 2080 정도는 보장되어야 하기 때문에(참고14) 기능 검토 시 주의가 필요하다.

마지막으로 뎁스 카메라들 중 우리가 많이 사용해서 익숙하지만 너무나도 비싸진 RealSense d435 의 대안으로, 키넥트(Kinect) 카메라(참고13), 앞서 언급한 제드(ZED) 카메라(참고1), PMDTech 카메라(참고2), Orbec 카메라 (참고3), OAK-D 카메라(참고4), Strucure Core 카메라(참고5) 정도가 있다. 특히 키넥트는 Realsense d400 시리즈보다 일반적인 성능이 좋다. 하지만 크기가 Realsense 보다 크다는 것이 단점이다 (참고13).

가장 현실적인 것은 카메라모듈이 아닐까 싶다.

Visual SLAM 말고 그냥 딥러닝이라는 키워드를 달고 이걸 위한 카메라에는 어떤 것이 좋다고 알려져 있을까?

NeRF 에서는 왜 광각 카메라나 초광각 카메라를 사용하지 않는걸까? 어떤 것이 두려운걸까? “NeRF 같은 방법에서는 왜 어안렌즈나 광각렌즈를 잘 안쓸까요? 작은 모델링오차에도 민감하기 때문에 많이 난이도가 높아지는 탓일까요? 이미 Visual SLAM 에는 어안렌즈까지도 많이 사용되고 있어서, NeRF 같은 모델에 쓰는게 불가능하지 않을듯 싶은데 관련연구를 찾을 수 없었습니다.”

참고

1. ZED Stereolabs, as previously mentioned. I've also never used these and don't know much about them. If I had one on hand I could let you know my impressions, but I regrettably don't.
2. [PMDTech. If you're looking specifically to replace ToF sensors like the L515 you might be able to find something here. Unfortunately they don't have an SDK at all, much less an open one like librealsense, so I'm not sure what the software story is there.](https://www.notion.so/PMDTech-If-you-re-looking-specifically-to-replace-ToF-sensors-like-the-L515-you-might-be-able-to-fi-7da9ac4fa14b4c7aa210b158ae6071e3)
3. [Orbec. Their SDK exists, is not open, and is only C++11 as far as I know. That may be a game-changer if you're using librealsense for language support. I'll admit I haven't done extensive review on Orbec, but I can attest that peers have said good things about them.](https://www.notion.so/Orbec-Their-SDK-exists-is-not-open-and-is-only-C-11-as-far-as-I-know-That-may-be-a-game-changer-ffae3f30404b4bdca6ccc374a875d228)
4. [Luxonis OAK-D. You did mention that you didn't want to use OAK AI, which I presume means this, but I'm not sure. It's gotten a fair bit of attention recently though, and the hardware doesn't seem on its way out in the next few years so I don't see why it would be a huge drawback.](https://www.notion.so/Luxonis-OAK-D-You-did-mention-that-you-didn-t-want-to-use-OAK-AI-which-I-presume-means-this-but-I-c7a6100832b248aa870230b8231a7cf9)
5. [Structure Core. Again, see my disclaimer above. This is the closest thing on the market today to a D435i. However, the drawbacks are that the SDK is not open-source as librealsense is, and there will be a learning curve associated with learning Occipital's Structure SDK as well (although, that's going to be true regardless of the sensor you choose here). Additionally, the sensor is more expensive than a D435i but it does cross off a lot of your needs specifically: it doesn't use an Intel ASIC and does not weigh much differently than a D435i.](https://www.notion.so/Structure-Core-Again-see-my-disclaimer-above-This-is-the-closest-thing-on-the-market-today-to-a-D-6192677cc8a142c6b590ed071cdef995)