DETR의 성능 평가 | Notion

COCO 데이터셋

대규모 일반 객체 탐지 벤치마크 데이터셋
사람, 자동차, 개, 컵 등 80개 이상의 일상 객체 클래스 포함
“객체 탐지 모델이 실제 환경에서 얼마나 잘 동작하는지 평가할 때 가장 많이 사용하는 기준 시험장” 정도로 이해하면 됨

Faster R-CNN

2-stage 계열의 대표적인 기존 객체 탐지 모델

1단계: Region Proposal Network(RPN)이 “이 근처에 물체가 있을 것 같다”는 후보 영역을 찾음

2단계: 각 후보 영역에 대해 클래스와 박스를 정밀하게 예측
성능이 높고, 실무에서 오랫동안 표준처럼 사용된 베이스라인

AP (Average Precision)

“얼마나 정확하게, 또 놓치지 않고 잘 찾는지”를 한 번에 보는 대표 지표
Precision(찾은 것 중에서 진짜 물체 비율)과 Recall(실제 물체 중에서 얼마나 많이 찾았는지)을 모두 고려
Precision–Recall 곡선 아래 면적(Area Under Curve)을 수치로 나타낸 값
COCO에서는 IoU threshold를 여러 개(0.5~0.95) 써서 평균을 내므로, AP가 높을수록
- 박스 위치 정확도
- 탐지 성공률
  
  둘 다 좋다는 의미

AP_S, AP_M, AP_L

S, M, L은 각각 small, medium, large object
물체 크기(픽셀 수)에 따라
- 작은 객체(AP_S)
- 중간 크기(AP_M)
- 큰 객체(AP_L)
  
  에서 AP를 따로 계산
DETR는
- AP_L: Faster R-CNN보다 우수
- AP_S: 다소 약함
  
  이라는 특징을 가지고 있음

정성적 결과(qualitative results)

숫자(AP 등)로 보는 정량 평가가 아니라
“어떤 장면에서 어떤 식으로 박스를 치는지”를 눈으로 확인하는 예시 결과
예: 복잡한 길거리 사진에서 사람, 차를 중복 없이 잘 잡는 장면을 보여주는 이미지