RE-SciVQA: 문맥 관련 검색과 경량 MLLM 적응을 통한 과학 VQA 개선
RE-SciVQA: Improving Scientific VQA With Context-Relevant Retrieval and Lightweight MLLM Adaptation
한국어 초록
과학 문헌을 깊이 이해하려면 본문 외의 핵심 정보를 담은 그림을 해석해야 하는 경우가 많다. 대규모 언어 모델(LLM)을 활용해 이러한 그림에서 통찰을 추출하면 지식 발견을 크게 가속할 수 있다. 과학 시각 질의응답에 관한 기존 연구는 자원 집약적인 학습 파이프라인에 의존하는데, 이는 접근하기 어렵고 막대한 연산 자원을 요구한다. 본 논문은 복잡한 아키텍처를 설계하는 대신, 검색된 컨텍스트의 품질을 개선하고 매개변수 효율적인 LoRA 학습으로 소형 LLM을 미세 조정하는 데 초점을 둔 RE-SciVQA를 제안한다. 간단한 쿼리 확장 단계를 사용하여 관련 섹션 제목을 원래 질문에 덧붙임으로써 검색 범위를 개선한다. 또한 그림 참조와 캡션 정합을 이용해 유사도 점수를 간단히 조정한다. SciVQA 벤치마크에서 RE-SciVQA는 ROUGE-1 F1 점수 73.9%를 달성하여 UniChart(14.7%), ChartGemma(6.9%), Matcha-ChartQA(6.3%) 같은 차트 중심 모델을 능가한다. 관련성을 강화한 RAG 구성은 표준 RAG 베이스라인과 비교해 정확 일치를 11.9%, 퍼지 일치를 29.5% 향상시키며, 전체적으로 14.3%의 이득을 얻는다. 또한 차트 이해 모델이 어려움을 겪는 범주인 닫힌 형식의 무한 시각 질문도 살펴본다. 실험 결과, 합성 캡션 대신 플롯 디지털화를 사용하면 이 질문 유형에서 18.5%의 향상이 나타난다.
원문 초록
A deep understanding of scientific literature often relies on interpreting figures that contain key information beyond the main text. Leveraging Large Language Models (LLMs) to extract insights from these figures can significantly accelerate knowledge discovery. Existing works on Scientific Visual Question Answering rely on resource-intensive training pipelines that are often inaccessible and require large computational resources. Instead of designing complex architectures, we propose RE- SciVQA, which focuses on improving the quality of retrieved context and fine-tuning small LLMs with parameter-efficient LoRA training. Using a simple query expansion step, relevant section headers are appended to the original question to improve the retrieval coverage. In addition, a simple adjustment of similarity scores is applied using figure references and caption alignment. On the SciVQA benchmark, RE-SciVQA achieves a ROUGE-1 F1 score of 73.9%, outperforming chart-focused models such as UniChart (14.7%), ChartGemma (6.9%), and Matcha-ChartQA (6.3%). Our relevance-enhanced RAG setup also improves the exact match by 11.9% and the fuzzy match by 29.5% compared with a standard RAG baseline, resulting in an overall gain of 14.3%. We also examine closed-ended infinite visual questions, a category in which chart-understanding models often struggle. Our experiments show that using plot digitization instead of synthetic captions leads to an 18.5% improvement for this question type.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.00242v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.