의료 비전-언어 모델(VLM)의 최근 발전은 보고서 생성과 시각적 질의응답(VQA)과 같은 이미지 수준의 텍스트 중심 과제에서 강력한 성능을 달성했다. 그러나 3D 의료 VLM에서 세밀한 시각적 그라운딩(visual grounding)과 체적 공간 추론을 달성하는 일은 여전히 어려우며, 특히 이러한 역량을 단일의 일반화 가능한 프레임워크 안에서 통합하려는 경우 더욱 그렇다. 이 문제를 해결하기 위해 우리는 보고서 생성, VQA, 그리고 의미론적·지시(referring)·상호작용적 분할을 포함한 다중 패러다임 분할을 동시에 지원하는 통합 3D 의료 멀티모달 모델인 MedVL-SAM2를 제안했다. MedVL-SAM2는 3D 의료 영상에 맞게 설계된 일관된 아키텍처를 통해 이미지 수준의 추론과 픽셀 수준의 인식을 통합하며, 정밀한 다중 입도 공간 추론을 가능하게 하는 SAM2 기반 체적 분할 모듈을 포함한다. 모델은 다단계 파이프라인으로 학습된다. 먼저 대규모 3D CT 이미지-텍스트 쌍 코퍼스에서 사전학습되어 체적 시각 특징을 영상의학 언어 임베딩과 정렬한다. 이어서 포괄적인 3D CT 분할 데이터셋을 사용해 언어 이해와 분할 목표로 공동 최적화한다. 이 공동 학습은 언어, 점 또는 박스 프롬프트를 통한 유연한 상호작용을 가능하게 하여, 고수준 시각 추론과 공간적으로 정밀한 국소화를 통합한다. 우리의 통합 아키텍처는 보고서 생성, VQA, 그리고 여러 3D 분할 과제에서 최첨단 성능을 제공한다. 광범위한 분석은 또한 모델이 신뢰할 수 있는 3D 시각적 그라운딩, 제어 가능한 상호작용적 분할, 견고한 교차 모달 추론을 제공함을 보여 주며, 고수준 의미 추론과 정밀한 3D 국소화가 통합 3D 의료 VLM 안에서 함께 달성될 수 있음을 입증한다.
약지도 분할은 목표 영역을 초기에 국한화하기 위해 클래스 활성화 맵(CAM)에 크게 의존한다. 그러나 CAM은 종종 노이즈가 많고 치명적 실패에 취약하다. 기존 해결책은 보통 추가 학습 단계나 프로토타입 학습을 도입하여 계산 비용을 늘리고 강건성을 저하시킨다. 본 논문에서는 볼륨 데이터의 시간적·구조적 일관성을 공짜 점심으로 활용하여 신뢰할 수 없는 CAM을 보정하는, 학습 없이(training-free) 프로토타입 없이(prototype-free) 동작하는 프레임워크를 제안한다. 우리 접근법은 두 가지 핵심 구성 요소로 이루어진다. 첫째, 노이즈를 억제하고 일관된 의미 신호를 증폭하는 분산 감소 활성화 집계(Variance-Reduced Activation Aggregation, VRAA)를 도입한다. CAM을 고차원 랜덤 벡터로 모델링하고 집계가 입증 가능한 분산 감소를 가져온다는 이론적 근거를 제시한다. 둘째, 양방향 극단값 검사를 통해 비현실적인 활성화를 탐지·보정하는 양방향 극단값 보정(Bidirectional Extremity Rectification, BER) 메커니즘을 설계하여, 추가 파라미터 학습 없이 극단값 실패를 효과적으로 완화한다. 제안 방법은 모델에 구애받지 않으며(model-agnostic) 기존 파이프라인에 원활하게 통합할 수 있다. 여러 공개 벤치마크에 대한 광범위한 실험에서 최신 약지도 방법 대비 Dice 최대 20%, mIoU 최대 40% 향상과 추론 시간 5배 이상 단축을 포함한 유의미한 개선을 보여준다. 이 결과는 일관성을 암묵적 귀납적 바이어스(implicit inductive bias)로 활용하는 것이 약지도 볼륨 분할을 안정화하는 원칙적이고 효율적인 접근임을 시사한다. 코드는 공개 예정이다.
DINOv3는 자연 이미지에서 탁월한 의미적 식별력을 입증했으나, 체적 의료 세그멘테이션(volumetric medical segmentation)에 직접 적용하는 것은 본질적인 차원 및 도메인 격차로 인해 제한됩니다. 이러한 문제를 해결하기 위해, 우리는 사전학습된(pre-trained) DINOv3 인코더를 3D 의료 작업에 활용하는 2단계 점진적 프레임워크인 DINO-Med3D를 제안합니다. 첫 번째 단계에서, 우리는 의사 3D 컨텍스트(pseudo-3D context)를 통합하는 멀티-슬라이스 임베딩(embedding) 모듈을 도입하여 차원 격차를 완화하고, 동시에 세그멘테이션 프록시 작업(proxy task)을 사용하여 자연 장면에서 학습된 표현을 의료 도메인에 적응시킵니다. 이어서, 우리는 동결된 백본(frozen backbone)에 경량 3D 어댑터를 추가하여 전역적인 슬라이스 간 연속성을 강제함으로써 체적 이해를 더욱 향상시킵니다. 마지막으로, 임베딩 과정에 내재된 공간 정보 손실을 보상하기 위해, 우리는 고주파 경계 단서를 명시적으로 보존하는 병렬 디테일 복구 스트림을 설계합니다. 5개의 공개 데이터셋에 대한 광범위한 실험을 통해, 우리의 접근 방식이 DINOv3를 의료 도메인에 성공적으로 적응시키며 최신 기법(state-of-the-art) 베이스라인을 유의미하게 능가함을 입증했습니다.
약한 지도 분할(weakly supervised segmentation)은 평면 수준(plane-level) 라벨로부터 모델 학습을 가능하게 합니다. 기존 방법들은 종종 2D 인코더에 의존하여 의료 데이터의 볼륨 특성을 간과합니다. 우리는 단면 간(cross-plane) 모델링을 통해 3D 문맥을 포착하도록 설계된 하이브리드 트랜스포머-맘바(Transformer-Mamba) 아키텍처인 TranSamba를 제안합니다. TranSamba는 Vision Transformer 백본에 Cross-Plane Mamba 블록을 추가하여, 인접한 평면 간의 효율적인 정보 교환을 위해 선형 시간(linear-time) 모델링을 활용합니다. 이러한 교환은 객체 위치 지정을 위한 평면 내(in-plane) 셀프 어텐션(self-attention)과 후속 어텐션 맵을 개선합니다. TranSamba는 입력 볼륨 깊이에 대해 선형 시간 복잡도와 상수 공간 복잡도를 유지합니다. 다양한 모달리티와 병리를 포괄하는 세 가지 데이터셋에 대한 광범위한 실험을 통해, TranSamba는 최첨단(state-of-the-art) 성능을 달성하여 단면 간 모델링의 일반화 가능한 효율성을 입증했습니다. 코드는 다음에서 확인할 수 있습니다: https://github.com/YihengLyu/TranSamba.