1. 모델링 전략 – 어떤 접근이 좋을까?

1. 문제 정의 정리

• 1단계: 이미지가 forged인지 authentic인지 분류
• 2단계: forged라면 “어디가 위조인지” segmentation
• 실제 평가는 보통 마스크 기준 metric (IoU, Dice 등) 또는 component 기반 metric일 것이라 가정

실용적인 접근은:

• segmentation 모델 하나로 “마스크를 직접 예측”

• 예측 마스크가 all-zero면 authentic, non-zero면 forged로 간주

  이렇게 하면 classification head를 따로 두지 않아도 된다.

1. 입력 파이프라인 / 해상도 전략

EDA 기준으로 추천:

• 전체 이미지를 강제 리사이즈하지 말고 “타일링(patch cropping)” 기반으로 처리
  • 예: 1024×1024 또는 768×768 타일, stride 512 등
  • 큰 패널/Western blot에서도 세부 구조가 살아 있게끔
• validation/test 때도 sliding window 또는 tile 기반 inference 후:
  • 겹치는 타일은 softmax 평균 또는 maximum merge

장점:

• 고해상도 디테일(작은 위조 영역)을 잃지 않음.
• GPU 메모리 사용량을 안정적으로 제어 가능.

1. 불균형 대응 – loss 및 샘플링

픽셀 양성(위조) 비율이 매우 낮으므로:

• 손실 함수
  • BCE + Dice loss 조합
  • 또는 Focal Tversky loss (Focal + Tversky, 양성 픽셀에 더 가중)
• 타일 샘플링
  • “foreground가 조금이라도 포함된 타일”을 과샘플링
  • 완전 배경 타일도 섞되 비율을 조절 (예: pos:neg ≈ 1:1 또는 1:2 정도)