jax.ufl.edu

이 이메일 도메인이 관측된 논문 1건

arXiv:2601.09879v2cs.CV

MedVL-SAM2: 멀티모달 추론과 프롬프트 기반 분할을 위한 통합 3D 의료 비전-언어 모델

MedVL-SAM2: A unified 3D medical vision-language model for multimodal reasoning and prompt-driven segmentation

의료 비전-언어 모델(VLM)의 최근 발전은 보고서 생성과 시각적 질의응답(VQA)과 같은 이미지 수준의 텍스트 중심 과제에서 강력한 성능을 달성했다. 그러나 3D 의료 VLM에서 세밀한 시각적 그라운딩(visual grounding)과 체적 공간 추론을 달성하는 일은 여전히 어려우며, 특히 이러한 역량을 단일의 일반화 가능한 프레임워크 안에서 통합하려는 경우 더욱 그렇다. 이 문제를 해결하기 위해 우리는 보고서 생성, VQA, 그리고 의미론적·지시(referring)·상호작용적 분할을 포함한 다중 패러다임 분할을 동시에 지원하는 통합 3D 의료 멀티모달 모델인 MedVL-SAM2를 제안했다. MedVL-SAM2는 3D 의료 영상에 맞게 설계된 일관된 아키텍처를 통해 이미지 수준의 추론과 픽셀 수준의 인식을 통합하며, 정밀한 다중 입도 공간 추론을 가능하게 하는 SAM2 기반 체적 분할 모듈을 포함한다. 모델은 다단계 파이프라인으로 학습된다. 먼저 대규모 3D CT 이미지-텍스트 쌍 코퍼스에서 사전학습되어 체적 시각 특징을 영상의학 언어 임베딩과 정렬한다. 이어서 포괄적인 3D CT 분할 데이터셋을 사용해 언어 이해와 분할 목표로 공동 최적화한다. 이 공동 학습은 언어, 점 또는 박스 프롬프트를 통한 유연한 상호작용을 가능하게 하여, 고수준 시각 추론과 공간적으로 정밀한 국소화를 통합한다. 우리의 통합 아키텍처는 보고서 생성, VQA, 그리고 여러 3D 분할 과제에서 최첨단 성능을 제공한다. 광범위한 분석은 또한 모델이 신뢰할 수 있는 3D 시각적 그라운딩, 제어 가능한 상호작용적 분할, 견고한 교차 모달 추론을 제공함을 보여 주며, 고수준 의미 추론과 정밀한 3D 국소화가 통합 3D 의료 VLM 안에서 함께 달성될 수 있음을 입증한다.