어떤 object 에 대해 1 장의 이미지만 존재한다면, 우리는 이 이미지로부터 3 차원의 구조를 파악하기 어려워집니다. 이는 depth 정보가 사진을 찍는 도중 소실되기 때문입니다. 그러므로 이러한 3 차원의 정보를 추출하려면 object 에 대한 2 개 이상의 이미지가 필요합니다.
Figure 1. Geometry of an image pair
어떤 Scene 의 Point $\mathcal{X}$ 가 두 개의 이미지로 각기 투영되었을 때, 해당 Points 를 $\mathcal{X^{\prime}}$ 과 $\mathcal{X^{\prime \prime}}$ 이라고 합니다. 이 때 같은 위치 $\mathcal{X}$ 를 가리키는 두 점 $\mathcal{X^{\prime}}$ 과 $\mathcal{X^{\prime \prime}}$ 를 corresponding image points 혹은 homologous image points 라 합니다. 이 연관관계를 알아내면 2 가지 문제를 풀 수 있습니다.
첫 번째 task 는 충분한 corresponding image points 가 있으면 두 points 간 linear transformation 문제로 풀면 sub-optimal 해를 구할 수 있습니다. 이렇게 구해진 해는 사실 제약조건 하나를 품고 있는데, 각 point 의 투영선(projection ray) $\mathcal{L_{\mathcal{X^{\prime}}}}$ 과 $\mathcal{L_{\mathcal{X^{\prime \prime}}}}$ 는 한 점에서 교차하여야 한다는 점입니다. 이를 coplanarity constraint 라고 명명하고 이를 통해 이미지간 relative orientation 을 구할 수 있습니다.
이러한 relative orientation 을 구하는데는 한가지 제약사항이 존재했습니다. Android 혹은 iPhone 단에 존재하는 camera module 의 calibration parameter 값을 쉽게 얻을 수 없다는 점입니다. calibration parameter 는 우리가 구하고자 하는 linear transformation 의 degree of freedom 을 2 정도 낮추어 주는 효과를 가져옵니다. 이는 corresponding points 가 적게 탐지되어도 쉽게 relative orientation 을 찾을 수 있다는 장점을 가지고 있어 파이프라인의 uncertainty 를 낮추는데 크게 작용할 것으로 기대했습니다. 하지만 이를 활용할 수 없자 uncalibrated case 로 파이프라인을 만들기로 했습니다.
Relative orientation 을 구하려면 위에서 언급한 것처럼 coplanarity constraints 를 만족하여야 합니다. 이것은 다음과 같이 표시할 수 있습니다.
$$ x^\prime F x^{\prime \prime} \quad \dots (1) $$
여기서 가운데 $F$ 를 fundamental matrix 이라고 합니다. fundamental matrix 는 다음과 같이 $M_{3 \times 3}(F)$ 로 표시할 수 있습니다.
$$ F = (K^\prime)^{-T} R^\prime S_b R^{\prime \prime T} (K^{\prime \prime})^{-1} $$
상기의 수식은 중요한 한가지 특성을 가지고 있습니다. 앞서 fundamental matrix 는 7 개의 degree of freedom 을 가진다고 언급한바 있습니다. 이것은 fundamental matix 가 homogeneous 하고 singular 하기 때문인데, F 자체가 skew symmetric matrix 이고 따라서 rank 가 2 인 데서 기인합니다. 따라서 Singular Value Decomposition 을 수행하면 다음의 형태가 나옵니다.
$$ F = U \text{Diag}([s_1, s_2, 0])V^T, \quad s_i \gt 0 $$
이 성질은 나중에 8-points algorithm 으로 fundamental matrix 를 추정할 때 중요한 제약조건으로 작용합니다.