1. 이분 매칭(헝가리안 매칭)이 하는 역할

1-1. DETR가 처한 문제: “순서 없는 박스들의 집합”

DETR의 출력은 다음과 같다.

• 한 이미지당 “N개의 슬롯(slot)”을 미리 만들어 둔다.
• 각 슬롯은 “이 슬롯이 담당하는 물체의 클래스 + 박스(box)” 또는 “아무 것도 없음(no object)”를 예측한다.

하지만 다음과 같은 문제가 있다.

• 정답(GT) 박스들은 “순서”라는 개념이 없다.
• 예측도 N개이지만, “1번 슬롯 = 왼쪽 사람”, “2번 슬롯 = 오른쪽 자동차” 같은 순서를 미리 정해 놓지 않는다.
• 따라서 “예측 100개 ↔ 정답 k개” 사이에 누가 누구와 비교되어야 할지 먼저 정해야 한다.

즉,

“이 예측 박스들을 정답 박스들에게 어떻게 1:1로 짝지어 줄 것인가?”

를 먼저 풀어야 한다.

이 문제를 수학적으로 표현하면

“두 집합 사이의 최적 1:1 매칭(bipartite matching)” 문제가 된다.

1-2. 이분 매칭의 직관적 비유

비유를 쓰면 다음과 같다.

• 한쪽에는 “학생들(예측 박스 N개)”이 있고
• 다른 쪽에는 “의자들(정답 박스 k개 + 빈 의자들)”이 있다고 하자.
• 각 학생이 각 의자에 앉았을 때의 “불편함 점수(=매칭 비용)”가 있다고 하자.
  • 예: 의자와 학생 키 차이가 크면 불편, 잘 맞으면 편안 등