RAU: 비전-언어 모델을 활용한 참조 기반 해부학적 이해
RAU: Reference-based Anatomical Understanding with Vision Language Models
한국어 초록
해부학적 이해(anatomical understanding)는 해부학적 구조를 식별·위치 특정·분할(segmentation)하는 능력으로, 의료 영상 분석에서 핵심적이지만 전문가 라벨 데이터 부족으로 발전이 제한된다. 유망한 대안은 주석이 달린 참조(reference) 영상을 활용해 라벨 없는 대상(target) 영상 해석을 안내하는 것이다. 최근 비전-언어 모델(VLM)은 시각적 추론 능력을 보이지만, 참조 기반 이해와 세밀한 위치 특정(localization)은 여전히 제한적이다. 본 연구는 VLM을 이용한 참조 기반 해부학적 이해 프레임워크 RAU를 제안한다. 먼저 VLM이 중간 규모 데이터셋으로 학습할 때 참조 영상과 대상 영상 간 상대적 공간 추론을 통해 해부학적 영역을 식별함을 보인다. 이 능력은 시각적 질의응답(VQA)과 경계 상자(bounding box) 예측으로 검증한다. 다음으로 VLM에서 얻은 공간 단서를 SAM2의 세밀 분할(segmentation) 능력과 원활히 결합해 혈관 분절(vessel segments) 같은 작은 해부학적 영역의 위치 특정과 픽셀 단위 분할을 가능하게 한다. 분포 내(in-distribution) 데이터셋 2개와 분포 외(out-of-distribution) 데이터셋 2개에서 RAU는 동일한 메모리 설정의 SAM2 미세조정 기준선보다 일관되게 우수하여 더 정확한 분할과 더 신뢰할 수 있는 위치 특정을 달성한다. 더 중요하게, 보지 못한 모달리티로의 일반화(generalization) 능력은 보지 못한 데이터셋으로 확장 가능하게 하며, 이는 의료 영상 응용에 중요한 성질이다. 알려진 바로는 RAU가 의료 영상에서 참조 기반 해부학적 구조 식별·위치 특정·분할을 위해 VLM의 능력을 탐구한 최초의 연구이다. 유망한 성능은 자동화된 임상 워크플로에서 해부학적 이해를 위한 VLM 기반 접근의 잠재력을 부각한다.
원문 초록
Anatomical understanding, which is the ability to identify, localize, or segment anatomical structures, is critical in medical image analysis; however, its progress is constrained by the scarcity of expert-labeled data. A promising remedy is to leverage an annotated reference image to guide the interpretation of an unlabeled target. Although recent vision-language models (VLMs) exhibit non-trivial visual reasoning, their reference-based understanding and fine-grained localization remain limited. We introduce RAU, a framework for reference-based anatomical understanding with VLMs. We first show that a VLM learns to identify anatomical regions through relative spatial reasoning between reference and target images, trained on a moderately sized dataset. We validate this capability through visual question answering (VQA) and bounding box prediction. Next, we demonstrate that the VLM-derived spatial cues can be seamlessly integrated with the fine-grained segmentation capability of SAM2, enabling localization and pixel-level segmentation of small anatomical regions, such as vessel segments. Across two in-distribution and two out-of-distribution datasets, RAU consistently outperforms a SAM2 fine-tuning baseline using the same memory setup, yielding more accurate segmentations and more reliable localization. More importantly, its generalization ability to unseen modalities makes it scalable to unseen datasets, a property crucial for medical image applications. To the best of our knowledge, RAU is the first to explore the capability of VLMs for reference-based identification, localization, and segmentation of anatomical structures in medical images. Its promising performance highlights the potential of VLM-driven approaches for anatomical understanding in automated clinical workflows.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2509.22404v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.