DETR 배경 | Notion

Anchor / Anchor box

정의
- 미리 정해 둔(사전 정의된) 크기와 비율을 가진 기준 bounding box.
- 이미지의 grid 위치마다 여러 개의 anchor box를 깔아 두고, 모델이 “이 anchor를 얼마나 옮기고/키울지, 어떤 클래스로 볼지”를 예측한다.
왜 쓰는지
- 객체 크기와 비율이 매우 다양하기 때문에, 아무 기준 없이 바로 box를 예측하면 학습이 어렵다.
- 그래서 “작은 정사각형 anchor, 가로로 긴 anchor, 세로로 긴 anchor” 등 다양한 템플릿을 마련해 두고, 각 anchor를 기준으로 offset을 회귀시키는 방식이 널리 사용되었다.
단점
- anchor 크기/비율/개수/배치 등을 사람이 정해야 한다.
- 어떤 데이터셋에는 잘 맞고, 다른 데이터셋에는 안 맞을 수 있어 튜닝이 필요하다.
- anchor 설정에 따라 성능이 크게 달라질 수 있다.

1-stage detector / 2-stage detector

2-stage detector
- 예: Faster R-CNN
- 1단계: Region Proposal Network(RPN)가 “어디에 물체가 있을 것 같은지” 후보 박스를 많이 만든다.
- 2단계: 각 후보에 대해 CNN으로 feature를 뽑아 “정확한 클래스와 박스 위치”를 다시 예측한다.
1-stage detector
- 예: YOLO, SSD
- 별도의 후보 생성 단계 없이 feature map 위의 모든 위치/anchor에서 바로 “클래스 + 박스”를 동시에 예측한다.
- 보통 더 빠르지만, 초기에는 2-stage보다 정확도가 낮은 경향이 있었다(이후 많이 개선됨).

NMS (Non-Maximum Suppression)
딥러닝 detector는 각 위치·anchor마다 독립적으로 예측을 하기 때문에

한 물체에 대해 자연스럽게 비슷한 박스 여러 개가 나온다.

한 물체에 대해 detector가 여러 개의 박스를 내놓는 문제를 해결하기 위한 후처리.
원리
- 각 박스의 confidence score를 기준으로 내림차순 정렬
- 가장 높은 박스를 선택하고, 그 박스와 IoU가 큰(거의 같은 위치인) 다른 박스들을 제거
- 남은 박스에 대해서 반복
역할
- “겹치는 박스들 중 하나만 남기는 필터”
단점
- 별도의 heuristic 단계이며 미분 불가능
- threshold를 사람이 정해야 하고, 상황에 따라 잘 안 맞을 수 있음.

Post-processing

네트워크가 raw prediction을 낸 뒤, 사람이 이해할 수 있는 최종 결과로 만드는 모든 후처리 단계.
객체 탐지에서는 대표적으로
- score thresholding (점수가 너무 낮은 박스 제거)
- NMS
- 박스 clipping(이미지 밖으로 나간 좌표 수정)
  
  등이 있다.