arXiv:2605.22414v2 cs.CV

공간적으로 근거한 병변 증거를 통한 임상적으로 해석 가능한 안과 VQA를 향하여

Towards Clinically Interpretable Ophthalmic VQA via Spatially-Grounded Lesion Evidence

Xingyue Wang, Bo Liu, Meng Wang, Zhixuan Zhang, Chengcheng Zhu, Huazhu Fu, Jiang Liu

제출 2026-11-17

한국어 초록

시각 질의응답(VQA)은 임상 지원, 특히 망막 안저 사진이 진단에 필수적인 안과 분야에서 큰 가능성을 지닌다. 그러나 안과 VQA 벤치마크는 주로 답변 정확도를 강조하며, 임상적 해석 가능성에 필요한 명시적 시각 증거를 소홀히 한다. 본 연구에서는 공간적으로 근거한 병변 증거를 갖춘 임상적으로 해석 가능한 안과 VQA를 위한 새로운 벤치마크인 FundusGround를 소개한다. 구체적으로, 우리는 3단계 파이프라인을 제안하여 이미지 수준에서 세심하게 주석된 병변 15,595개가 포함된 안저 이미지 10,719장을 수집한다. 해부학적 일관성과 임상적 타당성을 보장하기 위해 모든 병변은 Early Treatment Diabetic Retinopathy Study(ETDRS) 격자를 사용해 공간적으로 국소화되며, 이를 통해 임상적으로 의미 있는 아홉 개의 망막 영역에 대한 표준화된 매핑이 가능하다. 이렇게 구조화된 병변 증거를 바탕으로 개방형, 폐쇄형, 단일 선택, 복수 선택의 네 가지 형식에 걸친 질문 72,706개를 생성한다. 나아가 답변 정확도와 병변 수준 추론에 대한 이중 지표를 사용하여 여러 범용 및 의료용 대규모 비전-언어 모델을 벤치마크한다. 실험 결과, 병변 수준 시각 증거를 통합하면 모델 성능과 투명성이 일관되게 향상되며, 신뢰할 수 있고 설명 가능한 안과 VQA를 위해 명시적 공간 근거화가 필요함을 보여 준다.

원문 초록

Visual Question Answering (VQA) holds great promise for clinical support, particularly in ophthalmology, where retinal fundus photography is essential for diagnosis. However, ophthalmic VQA benchmarks primarily emphasize answer accuracy, neglecting the explicit visual evidence necessary for clinical interpretability. In this work, we introduce FundusGround, a new benchmark for clinically interpretable ophthalmic VQA with spatially-grounded lesion evidence. Specifically, we propose a three-stage pipeline that collects 10,719 fundus images with 15,595 image-level meticulously annotated lesions. To ensure anatomical consistency and clinical validity, all lesions are spatially localized using the Early Treatment Diabetic Retinopathy Study (ETDRS) grid, enabling standardized mapping to nine clinically meaningful retinal regions. Built upon this structured lesion evidence, 72,706 questions are then generated spanning four formats: open-ended, closed-ended, single-choice, and multiple-choice. We further benchmark multiple general- and medical- large vision-language models using dual metrics for answer accuracy and lesion-level reasoning. The experiments demonstrate that incorporating lesion-level visual evidence consistently improves model performance and transparency, highlighting the necessity of explicit spatial grounding for reliable and explainable ophthalmic VQA.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.22414v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.