PRIMA: LLM 기반 특징 집약을 통한 의학 진단을 위한 위험 통합 이미지-메타데이터 정렬 사전학습
PRIMA: Pre-Training with Risk-Integrated Image--Metadata Alignment for Medical Diagnosis with LLM-Based Feature Aggregation
한국어 초록
의학 진단은 시각적 징후와 임상 메타데이터의 효과적인 종합을 필요로 합니다. 그러나 기존 방법들은 종종 메타데이터를 고립된 태그로 취급하여 임상 설명에 내재된 풍부한 의미론적 지식을 활용하지 못합니다. 본 논문에서는 도메인 특화 지식을 다중 모달(multi-modal) 표현 학습에 통합하는 프레임워크인 PRIMA(Pre-training with Risk-integrated Image-Metadata Alignment)를 제안합니다. 먼저 검색-증강 생성(RAG)을 통해 위험-질병 상관관계 코퍼스를 구축하여 Clinical ModernBERT를 개선하고, 텍스트 인코더에 진단 사전 정보를 임베딩합니다. 모달리티 격차(modality gap)를 해소하기 위해 DINOv3와 개선된 Clinical ModernBERT를 활용하는 이중 인코더 사전학습 전략을 도입하며, 이는 상호보완적인 4가지 손실 함수 모음으로 최적화됩니다. 이러한 손실 함수들은 다중 입도(multi-granular) 의미론적 정렬을 포착하고 소프트 라벨(soft label)을 통해 임상 상관관계의 모호성을 처리하도록 설계되었습니다. 마지막으로 Qwen3를 활용하여 정렬된 특징들을 융합함으로써 정밀한 질병 분류를 수행합니다. 광범위한 실험을 통해 PRIMA가 픽셀 수준의 특징과 추상적인 임상 전문 지식을 효과적으로 조화시킴을 입증합니다. PAD-UFES-20 및 AQUA 벤치마크 전반에서 PRIMA는 각각 72.04% 및 85.22%의 평균 F1 점수를 달성하여 강력한 이미지 전용, 메타데이터 융합, 의료 비전-언어 베이스라인보다 뛰어난 성능을 보였습니다. 특히 본 프레임워크는 대규모 데이터 수집이나 과도한 계산 자원 없이도 강력한 성능을 달성합니다. 코드는 https://github.com/yqwang01/PRIMA 에서 확인할 수 있습니다.
원문 초록
Medical diagnosis requires the effective synthesis of visual manifestations and clinical metadata. However, existing methods often treat metadata as isolated tags, failing to exploit the rich semantic knowledge embedded in clinical descriptions. We propose PRIMA (Pre-training with Risk-integrated Image-Metadata Alignment), a framework that integrates domain-specific knowledge into multi-modal representation learning. We first curate a corpus of risk--disease correlations via Retrieval-Augmented Generation (RAG) to refine Clinical ModernBERT, embedding diagnostic priors into the text encoder. To bridge the modality gap, we introduce a dual-encoder pre-training strategy utilizing DINOv3 and our refined Clinical ModernBERT, optimized by a suite of four complementary loss functions. These losses are designed to capture multi-granular semantic alignment and handle the ambiguity of clinical correlations through soft labels. Finally, we leverage Qwen3 to fuse these aligned features for precise disease classification. Extensive experiments demonstrate that PRIMA effectively harmonizes pixel-level features with abstract clinical expertise. Across PAD-UFES-20 and AQUA, PRIMA achieves average F1-scores of 72.04\% and 85.22\%, outperforming strong image-only, metadata-fusion, and medical vision-language baselines. Notably, our framework achieves strong performance without requiring massive data collection or exhaustive computational resources. Our code is available at https://github.com/yqwang01/PRIMA.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.23297v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.