1. Introduction

• VoxelMorph
  • input volume pair와 model에 의해 계산된 registration field를 사용
  • anatomical segmentation사용

2. Background

• Deformable registration은 scan 사이 구조의 비교를 가능하게 함

  • 두 단계를 포함
    • an initial affine transformation for global alignment
    • a much slower deformable transformation with more degrees of freedom

• 대부분 deformable registration algorithm은 energy function에 기반하여 transformation을 반복적으로 최적화

  $$ \begin{aligned} \hat{\phi}&=\text{argmin}\phi\mathcal{L}(f,m,\phi) &(1)\\ &=\text{argmin}\phi\mathcal{L}{sim}(f,m\circ\phi)+\lambda\mathcal{L}{smooth}(\phi) &(2) \end{aligned} $$

  • $f$ and $m$ : the fixed and moving images
  • $\phi$ : the registration field that maps coordinates of $f$ to coordinates of $m$
    • a displacement vector field $\text{u}$ specifying the vector offset from $f$ to $m$ for each voxel: $\phi=Id+\text{u}$ ($Id$ : the identity transform)
  • $m\circ\phi$ : $m$ warped by $\phi$
  • $\mathcal{L}_{sim}(\cdot,\cdot)$ : measures image similarity between its two inputs
  • $\mathcal{L}_{smooth}(\cdot)$ : imposes regularization
  • $\lambda$ : the regularization trade-off parameter

3. Related Work

4. Method

• $f$, $m$ : two image volumes defined over an $n$-$\text{D}$ spatial domain $\Omega\subset\mathbb{R}^n$
  • $f$와 $m$은 preprocessing step을 통해 affine (선형적으로)하게 맞춰졌다고 가정 → misalignment는 비선형적인 부분만 존재
• $g_\theta(f,m)=\text{u}$
  • $f$와 $m$ 사이의 displacement field $\text{u}$는 n+1-dimensional image로 생성 → $\text{p}\in\Omega$에 대해, $\text{u}(\text{p})$는 $f(\text{p})$와 $m\circ\phi$의 비슷한 해부학적 위치의 displacement

A. VoxelMorph CNN Architecture

B. Spatial Transformation Function

• $m\circ\phi$와 $f$ 사이의 차이를 최소화하는 optimal parameter values를 학습

  • standard gradient-based method를 사용하기 위해, $m\circ\phi$를 계산하는 spatial transformer network 기반 미분 가능한 연산 구축

  • each voxel $\text{p}$에 대해,

    • $\text{p}'=\text{p}+\text{u}(\text{p})$ in m : a (subpixel) voxel location

  • image value는 integer location에 정의되기 때문에, eight neighboring voxels을 통해 linearly interpolation 사용

    $$ m\circ\phi=\sum_{\text{q}\in\mathcal{Z}(\text{p}')}m(\text{q})\Pi_{d\in\{x,y,z\}}(1-|\text{p}'_d-\text{q}_d|) \tag{3} $$

    • $\mathcal{Z}(\text{p}')$ : the voxel neighbors of $\text{p}'$

C. Loss Functions

• two loss functions

  • 1) Unsupervised Loss Function

    $\mathcal{L}_{us}$ (an unsupervised loss) : input volume과 생성된 registration field로 모델 평가

    $$ \mathcal{L}{us}(f,m,\phi)=\mathcal{L}{sim}(f,m\circ\phi)+\lambda\mathcal{L}_{smooth}(\phi) \tag{4} $$

    • $\mathcal{L}_{sim}$ : penalizes difference in appearance
      • 많이 사용되는 두 가지를 실험

        • the mean squared voxelwise difference → $f$와 $m$이 비슷한 image intensity distribution과 local contrast를 가진 경우

          $$ MSE(f,m\circ\phi)=\frac{1}{|\Omega|}\sum_{p\in\Omega}[f(\text{p})-m\circ\phi]^2 \tag{5} $$

        • the local cross-correlation of $f$ and $m\circ\phi$ → intensity variations에 더 robust

          $$ \begin{aligned} &CC(f,m\circ\phi)= \\ &\sum_{\text{p}\in\Omega}\frac{(\sum_{\text{p}_i}(f(\text{p}i)-\hat{f}(\text{p}))(m\circ\phi-\hat{m}\circ\phi))^2}{(\sum{\text{p}_i}(f(\text{p}i)-\hat{f}(\text{p}))^2)(\sum{\text{p}_i}(m\circ\phi-\hat{m}\circ\phi)^2)} \tag{6} \end{aligned} $$

          • $\hat{f}(\text{p})$ and $\hat{m}\circ\phi$ : local mean intensity images
            • $\hat{f}(\text{p})=\frac{1}{n^3}\sum_{\text{p}_i}f(\text{p}_i)$
            • $\text{p}_i$ iterates over a $n^3$ volume around $\text{p}$, with $n=9$ in this experiments
          • 높은 CC는 better alignment를 나타냄 → $\mathcal{L}_{sim}(f,m,\phi)=-CC(f,m\circ\phi)$
    • $\mathcal{L}_{smooth}$ : penalizes local spatial variations in $\phi$

      • $\mathcal{L}_{sim}$을 최소화하는 것은 $m\circ\phi$를 $f$에 잘 맞추도록 하지만, 현실적이지 않은 non-smooth $\phi$를 생성할 수 있음 → displacement $\text{u}$의 spatial gradients에 diffusion regularizer를 사용해서 smooth displacement field $\phi$ 생성!

        $$ \mathcal{L}{smooth}(\phi)=\sum{\text{p}\in\Omega}||\nabla\text{u}(\text{p})||^2 \tag{7} $$

        • neighboring voxel들 간 difference를 이용해 spatial gradient를 근사화
        • $\nabla\text{u}(\text{p})=(\frac{\partial\text{u}(\text{p})}{\partial x},\frac{\partial\text{u}(\text{p})}{\partial y},\frac{\partial\text{u}(\text{p})}{\partial z})$
          • $\frac{\partial\text{u}(\text{p})}{\partial x}\approx\text{u}((p_x+1,p_y,p_z))-\text{u}((p_x,p_y,p_z))$
    • $\lambda$ : a regularization parameter

  • 2) Auxiliary Data Loss Function

    $\mathcal{L}_a$ (an auxiliary loss) : 학습동안 anatomical segmentation 이용. 테스트시 사용 X

    → anatomical segmentation map이 있는 경우에만 사용가능하기 때문

    → registration field $\phi$가 정확한 anotomical correspondance를 나타내면, $f$와 $m\circ\phi$의 영역이 같은 anatomical structure에서 잘 겹쳐져야 함을 의미

    $$ \text{Dice}(s^k_f,s^k_m\circ\phi)=2\cdot\frac{|s^k_f\cap(s^k_m\circ\phi)|}{|s^k_f|+|s^k_m\circ\phi|} \tag{8} $$

    • $s^k_f, s^k_m\circ\phi$ : $f$와 $m\circ\phi$의 structure $k$의 voxel

    • Dice score = 1 : anatomy가 완벽하게 알맞음 | = 0 : 겹치는 부분이 없음 → 전체 structure $k\in[1,K]$ 에 대한 segmentation loss $\mathcal{L}_{seg}$

      $$ \mathcal{L}{seg}(s_f,s_m\circ\phi)=-\frac{1}{K}\sum^K{k=1}\text{Dice}(s^k_f,s^k_m\circ\phi) \tag{9} $$

• $\mathcal{L}{us}$와 $\mathcal{L}{seg}$를 결함

  $$ \begin{aligned} &\mathcal{L}a(f,m,s_f,s_m,\phi)= \\ &\mathcal{L}{us}(f,m,\phi)+\gamma\mathcal{L}_{seg}(s_f,s_m\circ\phi) \tag{10} \end{aligned} $$

  • $\gamma$ : a regularization parameter

• anatomical label은 categorical이기 때문에 $s_m\circ\phi$를 계산하기 위한 linear interpolation은 부적절하고 dice score를 계산할 때 미분불가능할 수 있음

  • $s_f$와 $s_m$을 $K$ channel의 image volume으로 만들고, 각 채널마다 특정 structure의 spatial domain을 구체화할 수 있는 binary mask 추가
  • $s_m$의 채널마다 linear interpolation을 사용해서 $s_m\circ\phi$를 계산
  • $s_f$와 $s_m\circ\phi$를 각각 곱하고 더하여 (8)의 분자와 분모를 각각 계산

D. Amortized Optimization Interpretation

• deformation field $\phi$에 대한 pair-specific optimization을 function $g_\theta(\cdot,\cdot)$의 parameter $\theta$를 global optimization으로 대체 → Amortized optimization
  • $g_\theta(\cdot,\cdot)$이 registration을 평가도 진행하기 때문에 parameter $\theta$가 전역적으로 공유되는 것은 natural regularization처럼 행동하는 것