Content

ToDo

1. 분석용 code 선정 run/evaluatio

   ---

Background

• Semantic segmentation : 영상을 의미적/인지적 관점에서 서로 비슷한 영역으로 구분 : pixel level classification

  

Related Works

1. FCN for Semantic Segmentation

‣

• Image Classification에 적용된 CNN 모델을 변형하여 semantic segmentation 수행

  → ConvNet을 이용하여 특징(feature)를 추출과정은 동일

  → Image classification 모델의 Output layer를 1x1 convolution으로 변경

  : feature의 spatial information을 유지

  : 입력 영상의 크기에 무관한 semantic segmentation 수행

  → output model output을 upsample하여 원본과 동일한 크기의 segmentation 결과를 도출

• ConvNet은 layer가 깊어질 수록 pooling/stride에 의해 spatial dimension이 작아지기 때문에 output을 upsample 하는 과정에서 디테일이 손상될 수 있음
• 이를 보완하기 위해 ConvNet의 layer의 output에서 segmentation을 수행하고 결과를 sum하는 과정을 거침. (FCN-32s, FCN-16s, ...)

2. DeepLab

• DeepLab v1 - atrous convolution 및 Conditional Random Field(CRF) 도입
• DeepLab v2 - Atrous spatial pyramid pooling (ASPP) 이용하여 다양한 크기의 객체에 대응
• DeepLab v3 - encoder에 ResNet 구조 도입. ASPP를 보완하고, batch norm. 사용하여 학습이 잘 되도록 함. CRF 없이 동등 이상 성능 확보
• DeepLab v3+: Depth-wise seperable Conv.도입하여 런타임 속도 개선. (ASSPP) U-Net 구조를 단순화한 Decoder 구조 사용하여 성능 개선

3. Conditional Random Field