arXiv:2608.26848v1 cs.CV

MedFG-VQA: 경량 의료 VQA를 위한 저주파 메모리 및 그래프 어텐션

MedFG-VQA: Low-Frequency Memory and Graph Attention for Lightweight Medical VQA

Haowen Gu, Gensheng Pei, Zeren Sun, Mingwu Ren, Xiangbo Shu, Yazhou Yao, Fumin Shen

제출 2026-08-27

한국어 초록

의료 시각적 질문 답변(Med-VQA)은 임상 의사결정 지원에 큰 유망성을 지니고 있지만, 한정된 주석 데이터와 기존 대규모 비전-언어 모델의 높은 연산량 요구로 인해 난관에 직면해 있습니다. 본 논문에서는 DCT 기반 저주파 특징을 증강하기 위해 메모리 뱅크를 활용하고 효과적인 시각-텍스트 정렬(alignment)을 위해 그래프 강화 크로스 어텐션을 사용하는 경량 프레임워크인 MedFG-VQA를 제안합니다. 구체적으로, 본 접근법은 두 가지 핵심 구성 요소를 포함합니다: DCT 분해를 기반으로 구축된 학습 가능한 메모리 뱅크에서 검색하여 저주파 특징을 강화하는 주파수-메모리 융합(Frequency-Memory Fusion, FMF), 그리고 크로스 어텐션을 통해 시각-텍스트 특징을 정렬하고 그래프 합성곱 집계를 통해 이를 정제하는 그래프 인지 크로스 어텐션(Graph-Aware Cross-Attention, GACA)입니다. 데이터 부족 문제를 해결하기 위해, GPT-4o를 이용해 9가지 이미징 모달리티와 10대 주요 장기에 걸쳐 200만 개 이상의 질문-답변 쌍으로 구성된 대규모 합성 데이터셋인 SynMed-VQA를 구축했습니다. SynMed-VQA 및 세 가지 다른 표준 생체의학 VQA 벤치마크에 대한 광범위한 실험은 MedFG-VQA가 훨씬 큰 모델들과 비교하여 경쟁력 있거나 우수한 성능을 달성하는 동시에 연산 비용을 현저히 낮게 유지함을 입증하여, 임상 배포를 위한 효율성과 잠재력을 강조합니다.

원문 초록

Medical Visual Question Answering (Med-VQA) holds significant promise for clinical decision support, yet faces challenges due to limited annotated data and the high computational demands of existing large vision-language models. We propose MedFG-VQA, a lightweight framework that leverages a memory bank to augment DCT-based low-frequency features and employs graph-enhanced cross-attention for effective visual-textual alignment. Specifically, our approach features two key components: Frequency-Memory Fusion (FMF), which enhances low-frequency features by retrieving from a learnable memory bank built on DCT decomposition, and Graph-Aware Cross-Attention (GACA), which aligns visual-textual features via cross-attention and refines them through graph-convolutional aggregation. To address data scarcity, we construct SynMed-VQA, a large-scale synthetic dataset comprising over 2 million question-answer pairs across 9 imaging modalities and 10 major organs, generated with GPT-4o. Extensive experiments on SynMed-VQA and three other standard biomedical VQA benchmarks demonstrate that MedFG-VQA achieves competitive or superior performance compared to much larger models while maintaining significantly lower computational costs, highlighting its efficiency and potential for clinical deployment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.26848v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.