expert.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.00948v1cs.CV

용어에서 다이어그램까지: 과학 다이어그램 이해를 위한 시각-인스트럭션 생성

From Terminology to Diagrams: Visual-Instruction Generation for Scientific Diagram Understanding

비전-언어 모델(VLM)은 자연 이미지를 사용한 시각적 질의응답(visual question answering)에서 강한 성능을 보여 왔다. 그러나 이들은 여전히 문자 그대로의 장면이 아니라 기능적·관계적 의미를 전달하도록 설계된 과학 다이어그램에서 어려움을 겪는다. 따라서 우리는 과학 교육과정에서 도출한 용어를 활용하여 대규모 다이어그램 그라운딩(diagram-grounded) 지시 데이터를 생성하는 프레임워크를 제안한다. 우리 접근법은 영역 개념을 체계적으로 추출하고, 원자적 사실(atomic facts)을 합성하며, 웹에서 관련 다이어그램을 검색한 뒤, 다이어그램 캡션과 객관식(multiple-choice) 질문 형태의 다중모달 감독(multimodal supervision)을 생성한다. 이 파이프라인을 사용하여 생명·지구·물리 과학 분야에 걸친 19만 4천 개 이상의 다이어그램과 140만 개의 시각 지시로 구성된 SciGram 데이터셋을 구축했다. 노이즈가 많은 웹 데이터와 합성(synthetic) 어노테이션에 의존함에도 불구하고, SciGram으로 파인튜닝한 모델은 TQA, ScienceQA, AI2D를 포함한 다이어그램 중심 벤치마크에서 상당한 향상을 달성하였으며, 더 적은 학습 인스턴스를 사용하면서 최첨단 VLM을 능가하거나 동등한 성능을 보였다. 더 나아가 LLaVA OneVision과 같은 기존 모델에 SciGram을 증강(augmenting)하면 다이어그램 질의응답에서 새로운 최첨단(state-of-the-art) 성능을 달성한다. 우리 결과는 용어 그라운딩(terminology-grounded) 지시 생성이 과학 영역에서 비전-언어 추론을 개선하는 일반적인 전략임을 보여 준다. 과학 다이어그램 이해에 대한 향후 연구를 지원하기 위해 SciGram 데이터셋과 모델을 공개한다.