MetaStructAtlas: 전신 PET/CT에서 기능 및 구조 추론을 위한 그라운딩 3D 비전-언어 데이터셋 및 벤치마크
MetaStructAtlas: A Grounded 3D Vision-Language Dataset and Benchmark for Functional and Structural Reasoning in Whole-Body PET/CT
한국어 초록
전신 PET/CT 임상 진단에서는 대사 기능과 해부학적 구조의 통합 해석이 필수적이다. 3D 의료 비전-언어 모델의 최근 발전이 눈에 띄는 성과를 보여 주었지만, 현재 연구는 지역 CT 영상에 국한되어 있어 포괄적인 전신 PET/CT 분석에서 중요한 공백을 남기고 있다. 본 연구에서는 해부학적·대사·의미론적 어노테이션을 통합한 다중모달 영상을 합성하여 그라운딩(grounded)된 전신 PET/CT 해석을 위한 대규모 데이터셋 MetaStructAtlas를 제안한다. MetaStructAtlas는 50,470개의 장기 수준 분할(segmentation) 마스크와 그라운딩된 방사선학 리포트를 갖춘 공등록(co-registered) 3D PET 및 CT 볼륨 490개를 제공한다. 상호작용적 추론을 지원하기 위해 100,565개의 QA 쌍을 포함하는 표준화된 3D 그라운딩 시각 질의응답(visual question-answering, VQA) 벤치마크 MetaStructVQA를 추가로 개발했다. 이 프레임워크는 해부학적·형태학적·대사적 특성을 포괄하며, 진단 질의를 모달리티 간 시각적 근거에 명시적으로 연결한다. 마지막으로 MetaStructVQA에서 최신(state-of-the-art) 3D 의료 VLM(vision-language model)을 평가하여, 핵의학에서 다중모달 표현 학습과 통합 전신 추론을 위한 견고한 기반을 마련한다.
원문 초록
The joint interpretation of metabolic function and anatomical structure is essential for clinical diagnosis in whole-body PET/CT. Although recent advances in 3D medical vision-language models have demonstrated remarkable progress, current efforts are limited to regional CT imaging, leaving a critical void in comprehensive whole-body PET/CT analysis. In this work, we introduce MetaStructAtlas, a large-scale dataset for grounded whole-body PET/CT interpretation that synthesizes multimodal imaging with integrated anatomical, metabolic, and semantic annotations. MetaStructAtlas provides 490 co-registered 3D PET and CT volumes with 50,470 organ-level segmentation masks and grounded radiology reports. To facilitate interactive reasoning, we further developed MetaStructVQA, a standardized 3D grounded visual question-answering benchmark containing 100,565 QA pairs. This framework explicitly links diagnostic queries to visual evidence across modalities, encompassing anatomical, morphological, and metabolic characteristics. Finally, we evaluate state-of-the-art 3D medical VLMs on MetaStructVQA, establishing a robust foundation for multimodal representation learning and integrated whole-body reasoning in nuclear medicine.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03690v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.