arXiv:2608.25630v1 cs.CV

SeVeR: 3D 의료 영상 질의응답을 위한 선택적 시각 노출 및 검색

SeVeR: Selective Visual Exposure and Retrieval for 3D Medical Image Question Answering

Yaojun Hu, Danyang Tu, Yang Liu, Jiajin Zhang, Wei Fang, Zhiqiang Liu, Chunlai Dong, Yingda Xia, Haochao Ying, Jian Wu, Ling Zhang

제출 2026-08-26

한국어 초록

볼륨(Volumetric) 의료 VQA는 길고 중복된 3D 시각 토큰(token) 시퀀스에 대한 추론을 요구하며, 특히 상호보완적인 모달리티가 다양한 진단 단서를 제공하지만 디코더를 반복되는 여러 해부학적 영역에 노출시키는 다중 시퀀스 MRI에서 더욱 그러합니다. 다중 시퀀스 시각적 중복 하에서의 추론을 연구하기 위해, 저자들은 먼저 12.9K명의 환자와 71.0K개의 시퀀스로부터 추출한 1.19M개의 QA 쌍으로 구성되어 자유 형식 텍스트와 객관식 질문을 모두 다루는 임상적으로 큐레이션된 유방 MRI 벤치마크인 BreMRIs-VQA를 소개합니다. 나아가 조밀한 볼륨을 모달리티별 프로토타입으로 압축하고 디코딩 중에 변화 인식 게이트 어텐션(attention)으로 상호보완적인 다수준 근거를 검색하는 선택적 시각 노출 프레임워크인 SeVeR를 제안하며, 이는 유용하지 않은 검색을 억제하는 한계 효용 자기일관성(marginal-utility self-consistency) 목적함수로 학습됩니다. BreMRIs-VQA 및 공개 벤치마크 실험을 통해 SeVeR가 훨씬 적은 시각 토큰만을 노출하면서도 판별 및 생성 성능을 모두 향상시킴을 입증합니다.

원문 초록

Volumetric medical VQA requires reasoning over long and redundant 3D visual token sequences, especially in multi-sequence MRI where complementary modalities provide diverse diagnostic cues but expose the decoder to many repeated anatomical regions. To investigate reasoning under multi-sequence visual redundancy, we first introduce BreMRIs-VQA, a clinically curated breast MRI benchmark with 1.19M QA pairs from 71.0K sequences and 12.9K patients, covering both free-text and multiple-choice questions. We further propose SeVeR, a selective visual exposure framework that compresses dense volumes into modality-wise prototypes and retrieves complementary multi-level evidence with change-aware gated attention during decoding, trained with a marginal-utility self-consistency objective that suppresses unhelpful retrieval. Experiments on BreMRIs-VQA and public benchmarks show that SeVeR improves both discriminative and generative performance while exposing substantially fewer visual tokens.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25630v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.