flatiron.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.17115v1cs.LG

프로빙, 융합, 신뢰성: 멀티모달 암 분석을 위한 파운데이션 모델 표현의 체계적 평가

Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

파운데이션 모델(FM)은 의료 데이터를 위한 강력한 표현 추출기로 등장했으나, 분포 변동(distribution shift) 하의 데이터셋에 대한 일반화 성능은 아직 충분히 탐구되지 않았습니다. 본 연구는 라이선스된 사내(IH) 종양학 데이터셋에서 추출한 두 가지 실제 상용 코호트인 IH-BC와 IH-NSCLC에 걸친 일련의 계산 병리학 태스크에서 FM 기반 표현을 체계적으로 평가합니다. 이 분석은 IH 멀티모달 데이터에서 추출한 두 가지 모달리티인 전체 슬라이드 이미지와 전사체 프로필에 초점을 맞춥니다. 우리는 먼저 5개의 FM에 대해 8개의 다운스트림 분류 태스크에서 단일 모달 프로빙 성능을 벤치마킹하고, 이미지와 오믹스 표현이 상호 보완적인 예측 신호를 가지고 있음을 발견했습니다. 그런 다음 짝을 이룬 표현에 기반한 세 가지 이미지-오믹스 융합 전략을 비교하여, 멀티모달 융합이 단일 모달 기준선에 비해 추가적인 이득을 낼 수 있는지 조사합니다. 선택된 단일 모달 및 멀티모달 파이프라인의 신뢰성은 컨포멀 예측(conformal prediction)을 통해 추가로 평가됩니다. 결과는 FM 표현이 분포 외(OOD) 데이터에서 경쟁력 있는 성능을 달성하며, 멀티모달 융합은 주로 단일 모달리티가 신호를 지배하지 않을 때 도움이 됨을 보여줍니다. 컨포멀 예측은 점 예측이 실패하는 대다수의 경우에서도 실제 진단이 예측 세트 내에서 복구 가능함을 보여주며, 이는 임상 지원을 위한 불확실성 인지 추론의 가치를 강화합니다.