mbzuai.ac.aemhusai

이 이메일 도메인이 관측된 논문 1건

arXiv:2601.15891v4cs.CV

RadJEPA: 결합 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture)를 활용한 흉부 X선 영상용 영상의학 인코더

RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture

비전-언어 사전학습은 의료 영상 표현 학습의 발전을 이끌어 왔지만, 짝지어진 이미지-텍스트 데이터에 의존하며 임상 서술에 내재한 보고 편향(reporting bias)을 물려받을 수 있습니다. 본 연구는 언어를 사용하지 않는 예측적 사전학습으로도 영상의학 판독문 생성에 효과적으로 전이되는 이미지 인코더를 만들 수 있는지 살펴봅니다. RadJEPA는 I-JEPA를 흉부 X선에 맞게 적용한 모델로, 레이블이 없는 약 84만 장의 방사선 영상에 대해 잠재 공간에서 컨텍스트로부터 타깃을 예측하는 방식으로 사전학습되었습니다. 우리의 주된 기여는 이 언어 비의존 인코더를 판독문 생성에 적용해 수행한 폭넓은 실증 평가입니다. 구체적으로, 고정(frozen)된 이미지 인코더를 학습 가능한 2층 프로젝터 및 언어 디코더와 결합하고, 이를 기존의 네 가지 비전-언어 백본에도 대체하여 넣어 평가했습니다. MIMIC-CXR와 IU-Xray 전반에서 RadJEPA는 어휘(lexical), 엔티티-관계(entity-relation), 임상 레이블 지표에서 평가 대상인 이미지 단독 및 이미지-텍스트 베이스라인과 동등하거나 그 이상의 성능을 보였습니다. MIMIC만 사용한 통제된 비교는 예측 목적 함수가 도메인 특화 사전학습을 넘어서는 기여를 한다는 근거를 제공하며, 더 넓은 범위의 비교에는 사전학습 데이터, 모델 용량, 입력 해상도의 차이도 함께 반영되어 있습니다. 보완적인 분류 및 분할(segmentation) 실험을 통해 판독문 생성 이외의 과제로의 전이 성능도 평가했습니다.