arXiv:2601.09879v2 cs.CV

MedVL-SAM2: 멀티모달 추론과 프롬프트 기반 분할을 위한 통합 3D 의료 비전-언어 모델

MedVL-SAM2: A unified 3D medical vision-language model for multimodal reasoning and prompt-driven segmentation

Yang Xing, Jiong Wu, Savas Ozdemir, Ying Zhang, Yang Yang, Wei Shao, Kuang Gong

제출 2026-01-14

한국어 초록

의료 비전-언어 모델(VLM)의 최근 발전은 보고서 생성과 시각적 질의응답(VQA)과 같은 이미지 수준의 텍스트 중심 과제에서 강력한 성능을 달성했다. 그러나 3D 의료 VLM에서 세밀한 시각적 그라운딩(visual grounding)과 체적 공간 추론을 달성하는 일은 여전히 어려우며, 특히 이러한 역량을 단일의 일반화 가능한 프레임워크 안에서 통합하려는 경우 더욱 그렇다. 이 문제를 해결하기 위해 우리는 보고서 생성, VQA, 그리고 의미론적·지시(referring)·상호작용적 분할을 포함한 다중 패러다임 분할을 동시에 지원하는 통합 3D 의료 멀티모달 모델인 MedVL-SAM2를 제안했다. MedVL-SAM2는 3D 의료 영상에 맞게 설계된 일관된 아키텍처를 통해 이미지 수준의 추론과 픽셀 수준의 인식을 통합하며, 정밀한 다중 입도 공간 추론을 가능하게 하는 SAM2 기반 체적 분할 모듈을 포함한다. 모델은 다단계 파이프라인으로 학습된다. 먼저 대규모 3D CT 이미지-텍스트 쌍 코퍼스에서 사전학습되어 체적 시각 특징을 영상의학 언어 임베딩과 정렬한다. 이어서 포괄적인 3D CT 분할 데이터셋을 사용해 언어 이해와 분할 목표로 공동 최적화한다. 이 공동 학습은 언어, 점 또는 박스 프롬프트를 통한 유연한 상호작용을 가능하게 하여, 고수준 시각 추론과 공간적으로 정밀한 국소화를 통합한다. 우리의 통합 아키텍처는 보고서 생성, VQA, 그리고 여러 3D 분할 과제에서 최첨단 성능을 제공한다. 광범위한 분석은 또한 모델이 신뢰할 수 있는 3D 시각적 그라운딩, 제어 가능한 상호작용적 분할, 견고한 교차 모달 추론을 제공함을 보여 주며, 고수준 의미 추론과 정밀한 3D 국소화가 통합 3D 의료 VLM 안에서 함께 달성될 수 있음을 입증한다.

원문 초록

Recent progress in medical vision-language models (VLMs) has achieved strong performance on image-level text-centric tasks such as report generation and visual question answering (VQA). However, achieving fine-grained visual grounding and volumetric spatial reasoning in 3D medical VLMs remains challenging, particularly when aiming to unify these capabilities within a single, generalizable framework. To address this challenge, we proposed MedVL-SAM2, a unified 3D medical multimodal model that concurrently supports report generation, VQA, and multi-paradigm segmentation, including semantic, referring, and interactive segmentation. MedVL-SAM2 integrates image-level reasoning and pixel-level perception through a cohesive architecture tailored for 3D medical imaging, and incorporates a SAM2-based volumetric segmentation module to enable precise multi-granular spatial reasoning. The model is trained in a multi-stage pipeline: it is first pre-trained on a large-scale corpus of 3D CT image-text pairs to align volumetric visual features with radiology-language embeddings. It is then jointly optimized with both language-understanding and segmentation objectives using a comprehensive 3D CT segmentation dataset. This joint training enables flexible interaction via language, point, or box prompts, thereby unifying high-level visual reasoning with spatially precise localization. Our unified architecture delivers state-of-the-art performance across report generation, VQA, and multiple 3D segmentation tasks. Extensive analyses further show that the model provides reliable 3D visual grounding, controllable interactive segmentation, and robust cross-modal reasoning, demonstrating that high-level semantic reasoning and precise 3D localization can be jointly achieved within a unified 3D medical VLM.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.09879v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03224v1cs.CV공통 태그 Medical Image Analysis, Medical Image Segmentation, computed tomography ct

확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성

Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis

확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.

arXiv:2609.26924v1cs.CV공통 태그 Medical Image Analysis, Medical Image Segmentation, computed tomography ct

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

arXiv:2609.22760v1cs.AI공통 태그 Medical Image Analysis, Medical Image Segmentation, computed tomography ct

CTSpinoPelvic1K: 단일 좌표계의 척추·골반·늑골·대퇴골, 요천추 전환부 해부학 주석

CTSpinoPelvic1K: spine, pelvis, ribs and femora in one coordinate frame, annotated for lumbosacral transitional anatomy

목적: 요천추 접합부 천추는 전체 척추 영상에서 C2부터 caudal 방향으로 세어 이름을 붙이지만, 요추 수술 계획은 C2 없이 요추만 영상(T12–S1)으로 세운다. 복부·골반 CT는 그 구간에 최하위 늑골과 골반까지 포함한다. 요천추 전환 천추(lumbosacral transitional vertebra, LSTV)가 개수를 바꾸면 국소 해부는 모호해진다. 늑골 없는 천추가 네 개이면 요추 늑골을 동반한 L1일 수도 있고 천골에 동화된 L5일 수도 있으며, 여섯 개이면 제6요추, 무형성 늑골을 동반한 T12, 또는 요추화된 S1일 수 있다. CTSpinoPelvic1K는 개수 없이 국소 형태만으로 이를 판별할 수 있는지 묻는다. CTSpine1K의 천추와 CTPelvic1K의 골반은 동일 환자를 각각 다뤘으나 결합되지 않았고, 본 공개판은 한 시리즈에서 이를 결합하고 어느 쪽에도 없던 골을 추가한다. 802건의 CT 기록을 제공하며, 레벨별 늑골·대퇴골, 최하위 늑골 부착 천추와 S1에 고정된 레벨, L6·T13·분리된 S1·요추 늑골 클래스를 두어 이상을 그대로 기록한다. 취득 및 검증 방법: 각 환자의 골량이 가장 많은 시리즈에서 VerSe-native 체계 하에 CTSpine1K와 CTPelvic1K 라벨을 짝지었다. 검증은 기하 불변량(802/802 통과), 5,749개 늑골에 대한 늑골–천추 대응(0.035% 오차), 문헌값과 일치하는 척골–골반 측정을 포함했다. 데이터 형식 및 사용 안내: 환자 단위 그룹·LSTV 계층화 5-fold 분할과 로더가 있는 NIfTI 영상/라벨 쌍; https://doi.org/10.5281/zenodo.22139642 에 보관. 잠재적 응용: 국소 특징으로부터 천추 분류, cadaveric 형태계량 갱신, 척골–골반 평가, 기회적 스크리닝, 공개 수술 전 요추 코호트가 없는 상황에서의 수술 계획 연구(377건 prone). 한계: 흉추 ground truth는 시야(field-of-view) 제한, 자세 각도는 supine, 별도 test set 없음, 늑골은 triaged-review 의사라벨, Castellvi 등급은 33건에 대한 두 판독자 합의.

arXiv:2609.16036v2eess.IV공통 태그 Medical Image Analysis, Medical Image Segmentation, computed tomography ct

임상 배포된 흉부 방사선치료 자동 윤곽선 추출을 위한 해부학적 변화 인식 양방향 선택적 상태 공간 메모리

Anatomy-Change-Aware Bidirectional Selective State-Space Memory for Clinically Deployed Thoracic Radiotherapy Auto-Contouring

우리는 방사선치료 자동 윤곽선 추출에서 지속되어 온 세 가지 문제, 즉 슬라이스 간 표면 불일치, 저대조 소형 표적에 대한 체계적인 실패, 그리고 증례별 신뢰도 신호의 부재를 해결하는 흉부 위험장기(OAR) 및 표적 체적 분할을 위한 2.5D 아키텍처 DAMM-Net++을 개발했다. 핵심 구성 요소는 평면 간(through-plane) 해부학적 변화를 모델링하고 축상 슬라이스 시퀀스를 따라 컨텍스트를 선택적으로 전파하는 해부학적 변화 인식 양방향 선택적 상태 공간 메모리이다. 경계 인식 디코더는 표면 인근 예측을 선명하게 하며, 불확실성 헤드는 임상 분류(triage)를 위한 보정된 복셀 단위 신뢰도를 제공한다. 우리는 4개 기관에 걸친 2,146명의 환자, 독립적인 외부 코호트 112명, 그리고 305개 증례에 대해 17명의 방사선종양학과 전문의가 참여한 다기관 판독자 연구를 통해 모델을 평가했다. 모델은 평균 Dice 0.955와 HD95 3.78mm를 달성했으며, 평면 간 컨텍스트가 가장 중요한 저대조 위험장기(OAR) 및 표적 체적에서 가장 큰 개선을 보였다. 불확실성 헤드는 잘 보정되어 있으며 증례 단위 분류를 지원한다. 판독자 연구에서 AI 보조는 경력 수준 전반에 걸쳐 윤곽선 추출 시간을 75~80% 단축시켰고, 주니어 판독자의 IoU를 0.861에서 0.925로 향상시켜 수정되지 않은 모델 수준에 도달했다. 외부 검증에서는 내부 대비 외부 성능의 소폭 하락(<5%)이 나타났으며, 보정된 불확실성은 재보정 없이도 전이되었다. DICOM 수집부터 TPS 호환 RTSTRUCT 내보내기에 이르는 전체 배포 파이프라인이 협력 병원의 임상 워크플로우에 통합되어 윤곽선 추출을 보조하는 데 사용되고 있다. 이러한 결과는 해부학적으로 동기화된 슬라이스 간 메모리가 불확실성 기반 검토와 결합될 때 흉부 자동 윤곽선 추출을 위한 임상적으로 실현 가능한 경로를 제공함을 시사한다.

arXiv:2609.17068v2cs.CV공통 태그 Medical Image Analysis, Medical Image Segmentation, computed tomography ct

분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가

Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation

선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.