arXiv:2609.00948v1 cs.CV

용어에서 다이어그램까지: 과학 다이어그램 이해를 위한 시각-인스트럭션 생성

From Terminology to Diagrams: Visual-Instruction Generation for Scientific Diagram Understanding

Raul Ortega, José Manuel Gómez-Pérez

제출 2026-09-01

한국어 초록

비전-언어 모델(VLM)은 자연 이미지를 사용한 시각적 질의응답(visual question answering)에서 강한 성능을 보여 왔다. 그러나 이들은 여전히 문자 그대로의 장면이 아니라 기능적·관계적 의미를 전달하도록 설계된 과학 다이어그램에서 어려움을 겪는다. 따라서 우리는 과학 교육과정에서 도출한 용어를 활용하여 대규모 다이어그램 그라운딩(diagram-grounded) 지시 데이터를 생성하는 프레임워크를 제안한다. 우리 접근법은 영역 개념을 체계적으로 추출하고, 원자적 사실(atomic facts)을 합성하며, 웹에서 관련 다이어그램을 검색한 뒤, 다이어그램 캡션과 객관식(multiple-choice) 질문 형태의 다중모달 감독(multimodal supervision)을 생성한다. 이 파이프라인을 사용하여 생명·지구·물리 과학 분야에 걸친 19만 4천 개 이상의 다이어그램과 140만 개의 시각 지시로 구성된 SciGram 데이터셋을 구축했다. 노이즈가 많은 웹 데이터와 합성(synthetic) 어노테이션에 의존함에도 불구하고, SciGram으로 파인튜닝한 모델은 TQA, ScienceQA, AI2D를 포함한 다이어그램 중심 벤치마크에서 상당한 향상을 달성하였으며, 더 적은 학습 인스턴스를 사용하면서 최첨단 VLM을 능가하거나 동등한 성능을 보였다. 더 나아가 LLaVA OneVision과 같은 기존 모델에 SciGram을 증강(augmenting)하면 다이어그램 질의응답에서 새로운 최첨단(state-of-the-art) 성능을 달성한다. 우리 결과는 용어 그라운딩(terminology-grounded) 지시 생성이 과학 영역에서 비전-언어 추론을 개선하는 일반적인 전략임을 보여 준다. 과학 다이어그램 이해에 대한 향후 연구를 지원하기 위해 SciGram 데이터셋과 모델을 공개한다.

원문 초록

Vision-language models (VLMs) have demonstrated strong performance in visual question answering with natural images. However, they continue to struggle with scientific diagrams, which are designed to convey functional or relational meaning rather than literal scenes. We therefore introduce a framework for generating large-scale diagram-grounded instruction data by leveraging terminology derived from scientific curricula. Our approach systematically extracts domain concepts, synthesizes atomic facts, retrieves relevant diagrams from the web, and generates multimodal supervision in the form of diagram captions and multiple-choice questions. Using this pipeline, we construct SciGram, a dataset of over 194K diagrams and 1.4M visual instructions across life, earth, and physical sciences. Despite relying on noisy web data and synthetic annotations, models fine-tuned on SciGram achieve substantial improvements on diagram-centric benchmarks, including TQA, ScienceQA, and AI2D, outperforming or matching state-of-the-art VLMs while using fewer training instances. Furthermore, augmenting existing models such as LLaVA OneVision with SciGram establishes new state-of-the-art performance on diagram question answering. Our results highlight the effectiveness of terminology-grounded instruction generation as a general strategy for improving vision-language reasoning in scientific domains. To support future research in scientific diagram understanding, we release both the SciGram dataset and models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00948v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.