RadJEPA: 결합 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture)를 활용한 흉부 X선 영상용 영상의학 인코더
RadJEPA: Radiology Encoder for Chest X-Rays via Joint Embedding Predictive Architecture
한국어 초록
비전-언어 사전학습은 의료 영상 표현 학습의 발전을 이끌어 왔지만, 짝지어진 이미지-텍스트 데이터에 의존하며 임상 서술에 내재한 보고 편향(reporting bias)을 물려받을 수 있습니다. 본 연구는 언어를 사용하지 않는 예측적 사전학습으로도 영상의학 판독문 생성에 효과적으로 전이되는 이미지 인코더를 만들 수 있는지 살펴봅니다. RadJEPA는 I-JEPA를 흉부 X선에 맞게 적용한 모델로, 레이블이 없는 약 84만 장의 방사선 영상에 대해 잠재 공간에서 컨텍스트로부터 타깃을 예측하는 방식으로 사전학습되었습니다. 우리의 주된 기여는 이 언어 비의존 인코더를 판독문 생성에 적용해 수행한 폭넓은 실증 평가입니다. 구체적으로, 고정(frozen)된 이미지 인코더를 학습 가능한 2층 프로젝터 및 언어 디코더와 결합하고, 이를 기존의 네 가지 비전-언어 백본에도 대체하여 넣어 평가했습니다. MIMIC-CXR와 IU-Xray 전반에서 RadJEPA는 어휘(lexical), 엔티티-관계(entity-relation), 임상 레이블 지표에서 평가 대상인 이미지 단독 및 이미지-텍스트 베이스라인과 동등하거나 그 이상의 성능을 보였습니다. MIMIC만 사용한 통제된 비교는 예측 목적 함수가 도메인 특화 사전학습을 넘어서는 기여를 한다는 근거를 제공하며, 더 넓은 범위의 비교에는 사전학습 데이터, 모델 용량, 입력 해상도의 차이도 함께 반영되어 있습니다. 보완적인 분류 및 분할(segmentation) 실험을 통해 판독문 생성 이외의 과제로의 전이 성능도 평가했습니다.
원문 초록
Vision-language pretraining has driven progress in medical image representation learning, but it depends on paired image-text data and can inherit reporting bias from clinical narratives. We study whether language-free predictive pretraining can produce an image encoder that transfers effectively to radiology report generation. RadJEPA is a chest-X-ray adaptation of I-JEPA, pretrained on approximately 840K unlabeled radiographs using latent context-to-target prediction. Our primary contribution is an extensive empirical evaluation of this language-free encoder for report generation: the frozen image encoder is coupled to a trainable two-layer projector and language decoder, and is also substituted into four established vision-language backbones. Across MIMIC-CXR and IU-Xray, RadJEPA matches or exceeds the evaluated image-only and image-text baselines on lexical, entity-relation, and clinical-label metrics. Controlled MIMIC-only comparisons provide evidence that the predictive objective contributes beyond domain-specific pretraining, while broader comparisons also reflect differences in pretraining data, model capacity, and input resolution. Complementary classification and segmentation experiments assess transfer beyond report generation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2601.15891v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.