레이블링

레이블링의 이해

• 이진화를 수행하면 주요 객체와 배경 영역을 구분할 수 있다. 배경과 객체를 구분하였다면 다시 각각의 객체를 구분하고 분석하는 작업이 필요한데 이때 사용할 수 있는 기법이 레이블링(labeling)이다.
• 레이블링은 영상 내에 존재하는 객체 픽셀 집합에 고유 번호를 매기는 작업으로 연결된 구성 요소 레이블링(connected components labeling)이라고도 한다.
  • 레이블링 기법을 이용하여 각 객체의 위치와 크기 등 정보를 추출하는 작업은 객체 인식을 위한 전처리 과정으로 자주 사용된다.
• 영상의 레이블링은 일반적으로 이진화된 영상에서 수행된다. 이때 검은색 픽셀은 배경으로 간주하고 흰색 픽셀은 객체로 간주한다. (정확하게는 입력 영상의 픽셀값이 0이면 배경, 0이 아니면 객체로 인식한다.)
  • 하나의 객체는 한 개 이상의 인접한 픽셀로 이루어지며, 하나의 객체를 구성하는 모든 픽셀에는 같은 레이블 번호가 지정된다.
• 특정 픽셀과 이웃한 픽셀의 연결 관계는 크게 두 가지 방식으로 정의할 수 있다.
  • 첫 번째는 특정 픽셀의 상하좌우로 붙어 있는 픽셀끼리 연결되어 있다고 정의하는 4-방향 연결성(4-way connectivity)이고
  • 다른 하나는 상하좌우 뿐만 아니라 대각선 방향으로 인접한 픽셀도 연결되어 있다고 간주하는 8-방향 연결성(8-way connectivity)이다.

https://drive.google.com/uc?id=1HHaytczzbgWOmHGMVYp3q-h3oJwb-_LR

• 이진 영상에 레이블링을 수행하면 각각의 객체 영역에 고유의 번호가 매겨진 2차원 정수 행렬이 만들어진다.
  • 레이블링에 의해 만들어지는 이러한 2차원 정수 행렬을 레이블 맵(label map)이라한다. 레이블링을 수행하는 알고리즘은 매우 다양하게 존재하지만 모두 같은 형태의 레이블 맵을 생성한다.
• 작은 크기의 입력 영상에 대해 레이블링을 수행했을 때 만들어지는 레이블 맵이 아래 그림과 같다.
  • (a)는 이진화된 영상이며, (b)는 레이블링을 수행한 후 정수로 구성된 레이블 맵 행렬이 생성된 것이다.

https://drive.google.com/uc?id=13h7jIGDkZB8m2ER0FSJTAQIP-OoA07LX

• OpenCV는 3.0.0 부터 레이블링 함수를 제공하는데, connectedCompoents()가 그것이다.
  • connectedCompoents() 함수는 입력 영상 image에 대해 레이블링을 수행하여 구한 레이블 맵 labels를 반환한다.
  • connectedCompoents() 함수의 입력 image에는 보통 threshold() 또는 adaptiveThreshold() 등 함수를 통해 얻은 이진 영상을 지정한다. 회색이 포함된 그레이스케일 영상을 입력으로 사용할 경우 픽셀 값이 0이 아니면 객체 픽셀로 갖누한다.
  • labels 인자에는 Mat 자료형의 변수 이름을 전달한다.

레이블링 응용

• 레이블링 수행 후에 각각의 객체 영역이 어느 위치에 어느 크기로 존재하는지 확인할 필요가 있는데, 이를 반복문을 이용하여 직접 구현하는 것은 꽤 번거로운 일이다. 다행히 OpenCV에서는 레이블 맵과 각 객체 영역의 통계 정보를 한번에 반환하는 connectedComponentsWithStats() 함수를 제공해준다.
  • connectedComponentsWithStats() 함수는 connectedComponents() 함수 인자에 stats와 centroids가 추가된 형태이다. 보통 stats와 centroids 인자에는 Mat 자료형 변수를 지정한다.
• 앞선 8×8 영상에 대해 생성되는 labels, stats, cetroids 행렬은 아래 그림과 같다.
  • (a)는 레이블 맵을 담고 있는 labels 행렬이고, (b)는 CV_32SC1 타입의 stats 행렬이고 (c)는 CV_64FC1 타입의 centroids 행렬이다.
  • stats 행렬의 행 개수는 레이블 개수와 같고, 열 개수는 항상 5이다.
    • stats 행렬의 각 행은 labels 행렬에 나타난 번호에 해당하는 영역을 나타낸다.
    • 첫 번째 행은 배경 영역 정보를 담고 있고, 두 번째 행부터는 1번부터 시작하는 객체 영역에 대한 정보를 담고 있다.
    • stats 행렬의 각 열은 차례대로 특정 영역을 감싸는 바운딩 박스의 x좌표, y좌표, 가로크기, 세로크기, 해당 영역의 픽셀 개수를 담고 있다.
    • centroids 행렬의 행 개수는 레이블과 같고 열 개수는 항상 2이다.
      • centroids 행렬의 각 열은 차례대로 각 영역의 무게중심 x좌표와 y좌표이다.
      • 무게중심 좌표는 해당 객체에 속하는 픽셀의 모든 x, y좌표를 더한 후 픽셀 개수로 나눈 값이 된다.

https://drive.google.com/uc?id=18-SxJpsbMyklrlelXqtvN2clSOnhmXZB

외곽선 검출

외곽선 검출

• 객체의 외곽선(contour)은 객체 영역 픽셀 중에서 배경 여역과 인접한 일련의 픽셀을 의미한다.
  • 보통 검은색 배경 안에 있는 흰색 객체 영역에서 가장 최외곽에 있는 픽셀을 찾아 외곽선으로 정의한다.
  • 만약 흰색 객체 영역 안에 검은색 배경 여역인 홀(hole)이 존재한다면 홀을 둘러싸고 있는 객체 픽셀들도 외곽선으로 검출할 수 있다.
  • 즉 객체의 외곽선은 객체 바깥쪽 외곽선과 안쪽 홀 외곽선으로 구분할 수 있다.
• 객체 하나의 외곽선은 여러 개의 점으로 구성된다. 그러므로 객체 하나의 외곽선 정보는 vector<Point> 타입으로 저장할 수 있다.