3D 의료 비전-언어 사전학습을 위한 참조 기반 데이터 큐레이션
Reference-Guided Data Curation for 3D Medical Vision-Language Pretraining
한국어 초록
여러 기관에서 수집된 대규모 의료 영상 데이터셋으로 3D 비전-언어 모델(VLM)을 학습하는 일은 데이터 품질에 의해 제약된다. 큐레이션되지 않은 방대한 영상-보고서 쌍 풀은 중복, 클래스 불균형, 기관 간 이질성을 특징으로 한다. 본 연구는 3D VLM 사전학습을 개선하기 위한 데이터 큐레이션 문제를 다루며, 오프라인 방식이면서 학습이 필요 없는 참조 기반 데이터 큐레이션 방법을 제안한다. 제안 방법은 소규모의 고품질 참조 집합을 활용하여, 큐레이션되지 않은 대규모 풀의 각 모달리티에 대한 품질 신호를 독립적으로 추출하고, 순위 집계 단계를 통해 이를 하나의 순위로 병합하여 샘플 선택을 안내한다. 두 기관에서 수집한 3D 복부 CT 볼륨-보고서 쌍 35k개와 2D 흉부 X선 영상-보고서 쌍 58k개로 구성된 데이터셋에서 이 방법을 검증한다. 3D CT에서는 참조 기반 데이터 큐레이션 전략을 사용한 큐레이션 모델이 최신 기준 모델(Merlin)의 제로샷 질환 분류 성능과 동등한 성능을 보이면서도, 학습 데이터는 $3.3\times$ 적게, 참조 집합은 5k개 샘플만 사용한다. 2D 흉부 X선에서는 제안 방법으로 얻은 큐레이션 모델이 전체 풀로 학습한 모델의 제로샷 질환 분류 성능과 같거나 이를 능가하면서, 학습 데이터는 최대 $10\times$ 적게, 참조 집합은 74개 샘플만 사용한다. 절제 실험 결과, 선택은 참조 집합을 재표집하더라도 안정적이고, 더 작은 참조 집합도 무작위 샘플링보다 우수하며, 레이블 재균형은 성능을 향상시키지 않는 것으로 나타났다. 재현성을 지원하기 위해 코드를 공개한다.
원문 초록
Training 3D vision-language models (VLMs) on large medical imaging datasets collected across institutions is constrained by data quality. Vast, uncurated pools of image-report pairs are characterized by redundancy, class imbalance, and cross-institutional heterogeneity. We address this challenge of data curation for improving 3D VLM pretraining by proposing an offline, training-free, reference-guided data curation recipe. Our approach leverages a small, high-quality reference set to independently extract quality signals for each modality of a large, uncurated pool and merges them through a rank-aggregation step into a single ranking that guides sample selection. We validate this method on datasets comprising 35k 3D abdominal CT volume-report pairs from two institutions and 58k 2D chest X-ray image-report pairs. On 3D CT, using our reference-guided data curation strategy, our curated model matches the zero-shot disease classification performance of a state-of-the-art baseline (Merlin) while using $3.3\times$ less training data and a reference set of 5k samples. On 2D chest X-rays, our method yields a curated model that matches or exceeds the zero-shot disease classification performance of a model trained on the full pool while using up to $10\times$ less training data and a reference set of only 74 samples. Ablations show that the selection is stable under resampling of the reference, that smaller reference sets still outperform random sampling, and that label rebalancing does not improve performance. To support reproducibility, we release our code.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23484v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.