ProtoBridge-CLIP: 의료 영상-판독문 표현 학습을 위한 관찰 마스킹 소견 프로토타입
ProtoBridge-CLIP: Observation-Masked Finding Prototypes for Medical Image--Report Representation Learning
한국어 초록
영상의학 판독문은 확인된 소견, 명시적 부정, 언급되지 않은 개념을 구분하지만, 기존의 전역 영상-판독문 대조 학습은 이러한 서로 다른 증거 상태를 하나의 검사 수준 목표로 압축하는 경우가 많다. 우리는 대칭적 전역 영상-판독문 정렬을 관찰 마스킹 소견 지도 및 확인된 판독문 개념에 대한 소프트 관계 목적 함수와 결합한 \model{}을 제안한다. 텍스트에서 유래한 소견 프로토타입을 국소 시각 토큰과 정렬하며, 불확실하거나 언급되지 않은 개념은 직접적인 소견 레이블에서 제외한다. 이 프레임워크를 세 가지 CT 벤치마크와 다섯 가지 흉부 X선 벤치마크에서 평가하며, 구성 요소 제거 실험, 짝 및 임상 검색, 위치 추정, 섭동 강건성, 보정, 소견별 분석도 함께 수행한다. \model{}은 CT-RATE, RAD-ChestCT, INSPECT에서 각각 73.6%, 66.5\%, 68.8%의 macro-AUROC를, ChestXray14, CheXpert, PadChest, RSNA, SIIM-ACR에서 각각 80.2%, 91.4%, 78.5%, 86.5%, 90.8%를 달성한다. 대응하는 전역 전용 대조군과 비교하여, 소견 및 관계 목적 함수는 평가된 모든 데이터셋에서 일관된 향상을 가져온다. 이러한 결과는 의료 영상-텍스트 표현 학습 중 관찰된 판독문 개념과 관찰되지 않은 판독문 개념을 다르게 취급하는 것의 실용적 가치를 보여 준다.
원문 초록
Radiology reports distinguish affirmed findings, explicit negations, and unmentioned concepts, but conventional global image--report contrastive learning often compresses these different evidence states into a single study-level target. We introduce \model{}, which combines symmetric global image--report alignment with observation-masked finding supervision and a soft relation objective over affirmed report concepts. Text-derived finding prototypes are aligned with local visual tokens, while uncertain and unmentioned concepts are excluded from direct finding labels. We evaluate the framework on three CT benchmarks and five chest-radiograph benchmarks, together with component ablations, paired and clinical retrieval, localization, perturbation robustness, calibration, and per-finding analyses. \model{} achieves macro-AUROC values of 73.6%, 66.5\%, and 68.8% on CT-RATE, RAD-ChestCT, and INSPECT, and 80.2%, 91.4%, 78.5%, 86.5%, and 90.8% on ChestXray14, CheXpert, PadChest, RSNA, and SIIM-ACR, respectively. Relative to the matched global-only controls, the findings and relation objectives yield consistent gains across the evaluated datasets. These results demonstrate the practical value of treating observed and unobserved report concepts differently during medical image--text representation learning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24002v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.