이번 강의에서는 Image classification 외에 다른 computer vision문제에 대해서 알아보겠습니다.

첫번째는 Semantic Segmentation입니다. 이 문제에서 input은 이미지이고, output은 이미지의 모든 pixel에 대한 category를 결정하는 것입니다. image classification 문제 처럼 이미지 전체에 대한 하나의 category를 결정하는 것이 아니라 모든 pixel에 대해서 category를 결정합니다.

Semantic Segmentation은 소 그림에서 처럼 instance를 구분하지 않습니다. 두 마리를 구분할 수 없기 때문에 이것은 단점으로 볼 수 있습니다.

Semantic Segmentation문제에 대한 아이디어 중 하나는 sliding window입니다.

어떤 input 이미지를 아주 작은 부분을 잘라냅니다. 그리고 이 작은 영역들을 가지고 해당 영역이 어느 category에 속하는지 classification 문제를 푸는 것입니다.

이런 방법은 계산하는 비용이 많이 들기 때문에 아주 비효율적입니다.

조금 더 개선된 아이디어인 Fully Convolutinoal 입니다. FC layer가 없고 Conv layer로 구성된 network를 생각해보면, 3x3 zero padding을 이용하여 공간정보를 손실하지 않고, output을 얻을 수 있을 것입니다. 여기서 output CxHxW 인데 C는 category의 수 입니다.