LoMeVQA: 종단적 의료 시각적 질의응답을 위한 종합 벤치마크
LoMeVQA: A Comprehensive Benchmark for Longitudinal Medical VQA
한국어 초록
임상 현장에서 환자들은 연속적인 진료에 걸쳐 여러 차례 영상 검사를 받는 경우가 많으며, 이는 종단적(longitudinal) 데이터를 형성합니다. 이러한 시간적(temporal) 정보를 모델링하는 것은 질병 진행과 치료 반응을 신뢰성 있게 평가하는 데 매우 중요합니다. 그러나 멀티모달 대규모 언어 모델(MLLM)의 급격한 발전에도 불구하고, 종단적 의료 시각 추론은 여전히 거의 연구되지 않았습니다. 이러한 공백을 메우기 위해, 본 연구에서는 시계열 의료 영상 분석을 위한 20만 6천 개의 종단적 시각적 질의응답(VQA) 쌍으로 구성된 종합 벤치마크인 LoMeVQA를 제안합니다. LoMeVQA는 진행 분류(progress classification), 진행 설명(progress description), 진행 보고서 생성(progress report generation), 차이 영역 그라운딩(differential region grounding), 차이 영역 설명(differential region description)의 다섯 가지 작업을 다룹니다. 데이터셋을 구축하기 위해 (1) 환자 기록을 시간순으로 정리하고, (2) 의료 지식 그래프를 통해 임상적으로 유의미한 개체를 추출하며, (3) 이들의 시간적 진화를 모델링하여 대규모 언어 모델이 고품질의 종단적 VQA 쌍을 생성하도록 유도하는 자동화 파이프라인을 개발했습니다. 광범위한 평가를 통해 범용 및 의료 도메인 MLLM 모두 LoMeVQA에서 저조한 성능을 보임을 확인하였으며, 이는 시간적 추론 능력에 상당한 한계가 있음을 드러냅니다. 이러한 한계를 해결하기 위해 본 논문에서는 모든 작업에서 최고 성능(state-of-the-art)을 달성하는 MedLong-8B를 도입합니다. 벤치마킹을 넘어, 본 연구는 주요 실패 모드를 밝혀내고 종단적 의료 시각 추론을 개선하는 방법에 대한 통찰을 제공하는 상세한 분석을 수행합니다. 연구 데이터는 https://github.com/pepperbubble/LoMeVQA 에서 확인할 수 있습니다.
원문 초록
In clinical practice, patients often undergo multiple imaging examinations over successive visits, yielding longitudinal data. Modeling such temporal information is crucial for reliable assessment of disease progression and treatment response. However, despite the rapid advancement of multimodal large language models (MLLMs), longitudinal medical visual reasoning remains largely underexplored. To fill this gap, we propose LoMeVQA, a comprehensive benchmark consisting of 206K longitudinal visual question answering (VQA) pairs for temporal medical image analysis. LoMeVQA covers five tasks: progress classification, progress description, progress report generation, differential region grounding, and differential region description. To construct the dataset, we develop an automated pipeline that (1) organizes patient records chronologically, (2) extracts clinically meaningful entities via a medical knowledge graph, and (3) models their temporal evolution to guide large language models in generating high-quality longitudinal VQA pairs. Extensive evaluations demonstrate that both general-purpose and medical-domain MLLMs perform poorly on LoMeVQA, revealing substantial limitations in temporal reasoning. To address these limitations, we introduce MedLong-8B, which achieves state-of-the-art performance across all tasks. Beyond benchmarking, we conduct detailed analyses that uncover key failure modes and shed light on how to improve longitudinal medical visual reasoning. Our data is available at: https://github.com/pepperbubble/LoMeVQA
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.27806v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.