모델링 방법

구분 🔵 방법 1: 동시 학습 (Dual-stream) 🟠 방법 2: 통합 입력 (Intermediate Fusion) 🟣 방법 3: 이미지 단독 (Label 활용)
핵심 개념 이미지와 유전체를 각각 독립적인 경로로 학습 후 결과값 결합 이미지와 유전체 간의 상관관계(Cross-modal)를 심층 학습 이미지의 시각적 패턴과 정답(MSI/MSS) 간의 상관관계 학습
학습 입력 (Input) WSI 패치 + 유전체 데이터 (병렬) WSI 패치 + 유전체 데이터 (통합/융합) WSI 패치만 입력
정답 (Label) MSI / MSS 상태 MSI / MSS 상태 MSI / MSS 상태
XAI (설명 가능성) 이미지 따로, 유전체 따로 근거 제시 (연결성 부족) "이 이미지 부위가 특정 유전적 변이와 연관됨"을 설명 가능 "이 이미지 부위가 MSI 확률이 높음" 정도의 단순 시각화만 가능
CDSS 구현 방식 추론 시 유전체 데이터가 여전히 필요함 학습 후, 유전체 없이 WSI만으로 고차원적 유전 특징 추론 가능 유전체 검사 없이 즉시 배포 가능 (구현이 가장 쉬움)
종합 추천도 보통 (데이터 확보용) 최상 (본 연구의 핵심 타겟) 낮음 (임상적 근거 제시 한계)

*이미지의 형태적 변화와 유전적 변이가 매우 밀접하게 얽혀 있는 경우에는 방법2가 좋음

🔵 방법 1: WSI(patch 이미지) + 유전체 데이터를 동시 학습 (Dual-stream / Co-training / Late Fusion)

🟠 방법 2: 이미지에 유전체 데이터를 통합하여 단일 입력화 (Early/Intermediate Fusion)

🟣 방법 3: 이미지 단독 (유전체는 label만)

✅ 논문 요약

방법2- 모델 정리 (WSI+유전체)

모델 명칭 대상 암종 (Cancer) 유전체 데이터 종류 (Genomics) 예측 항목 (Task) 핵심 XAI 기법 설명의 수준 및 방식 레퍼런스 논문 (Reference)
TransSurv 대장암 (CRC) RNA-seq (발현량), Mutation, Clinical Survival (생존율) Hierarchical Transformer (계층적 융합) 이미지 패치 간, 유전자 간, 그리고 두 모달리티 간의 계층적 기여도를 어텐션 맵으로 제시 TransSurv: Transformer-based Multi-modal Fusion for CRC Survival Prediction (2023)
MOMA 대장암 (CRC) Multi-omics (Mutation, CNA, Methylation) MSI Status, BRAF Mut, Survival Multi-task Joint Learning 판단 근거를 '림프구 침윤', '종양 세포 밀도' 등 의학적 개념(Concept) 단위 히트맵으로 제시 Histopathology images predict multi-omics aberrations and prognoses in CRC (Nature Cancer, 2023)
MCAT 범용 (Pan-cancer) Mutation, CNA, RNA-seq (6개 기능군) Survival (생존율) Vanilla Co-Attention 이미지 패치와 유전자 변이 사이의 단순 상관 관계를 어텐션 맵으로 시각화 Multimodal Co-Attention Transformer for Survival Prediction (ICCV, 2021)
MOTCat 범용 (Pan-cancer) Mutation, CNA, RNA-seq Survival (생존율) Optimal Transport (OT) 기반 어텐션 최적 운송(OT)을 통해 무의미한 배경을 제거한 가장 깨끗한 핵심 부위 히트맵 제시 Multimodal Optimal Transport Co-Attention Transformer (CVPR, 2023)
PRISM-CRC 대장암 (CRC) Genomics, Radiomics(영상학) MSI Status, Survival Synergy-based Scoring Fusion 이미지, 유전체, 라디오믹스 중 어떤 데이터가 결과에 더 큰 시너지를 냈는지 수치적 지분 공개 PRISM-CRC: A Multimodal Framework for CRC Prognosis (2024)
SurvPath 범용 (Pan-cancer) RNA-seq (Pathway 단위) Survival (생존율) Pathway-aware Cross-modal GO/KEGG 경로별로 이미지의 어떤 구역에 영향을 주었는지 '생물학적 근거'를 직접 제시 SurvPath: Pathway-informed Multimodal Learning (MedIA, 2023)
Pathomic Fusion 뇌종양, 신장암 등 RNA-seq, GCN-Graph 특징 Survival (생존율) Kronecker Product 게이팅(Gating) 레이어를 통해 **중요한 특징(Feature)**이 무엇인지 중요도 점수 산출 Pathomic Fusion: An Interpretable Multi-Modal Framework (IEEE TMI, 2020)
M2EF-NNs 범용 (Pan-cancer) Multi-omics 특징 Survival, Classification Evidence Theory (불확실성) 설명뿐만 아니라, 이 판단이 **얼마나 확실한지(불확실성)**에 대한 신뢰도 지표 제공 Multimodal Multi-instance Evidence Fusion for Cancer Prognosis (2024)

🥇 Top 1: MCAT (및 MOTCat 등 MCAT 계열)