arXiv:2608.02833v1 cs.CV

CURV: 커리큘럼 시각적 그라운딩 추론을 통한 차트 이해 능력 향상

CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

제출 2026-08-03

한국어 초록

차트 질의응답(CQA)은 멀티모달 대규모 언어 모델(MLLM)이 시각적 이해와 논리적 추론을 통합할 것을 요구하지만, 현재 모델들은 정확한 시각적 그라운딩(visual grounding)과 일관된 추론 체인을 형성하는 데 어려움을 겪고 있습니다. 외재적 사고의 연쇄(Chain-of-Thought) 프롬프트와 시각적 단서가 성능을 크게 향상시키기는 하지만, 현재 MLLM은 내재적인 시각적 그라운딩 추론 능력이 부족하여 부정확한 인식과 시각적 증거와 단절된 추론을 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 CQA를 각 단계마다 공간적 어텐션(attention) 집중을 통해 논리적 추론과 동적 시각적 그라운딩을 조율하는 다단계 시각적 그라운딩 추론으로 재구성함으로써 내재적 시각 추론 능력을 개발하는 커리큘럼 학습(curriculum learning) 프레임워크인 CURV를 제안합니다. 모델(model) 학습을 돕기 위해, 다양한 차트 유형과 추론 패턴에 걸쳐 확장 가능한 합성 생성을 지원하는 3단계 커리큘럼 데이터셋(dataset)인 CCQA를 추가로 소개합니다. 본 커리큘럼은 기본적인 단일 연산 추론부터 복잡한 다중 차트 구성 작업까지 체계적으로 발전합니다. 실험을 통해 CURV가 베이스라인 대비 최대 $\uparrow20.50\%$의 성능 향상을 달성하고, 실제 벤치마크(최대 $\uparrow12.30\%$) 및 도메인 외(out-of-domain) 멀티모달 추론 작업(최대 $\uparrow10.20\%$)으로의 일반화가 가능함을 보여주며, 차트 이해 능력 향상을 위해 동적 그라운딩을 갖춘 시각 추론을 내재화하는 것의 유효성을 입증합니다. 코드는 https://xhguo7.github.io/CURV/ 에서 확인할 수 있습니다.

원문 초록

Chart question answering (CQA) requires multimodal large language models (MLLMs) to integrate visual comprehension with logical reasoning, yet current models struggle with accurate visual grounding and coherent reasoning chains. While extrinsic chain-of-thought prompting and visual cues significantly improve performance, current MLLMs lack intrinsic visual grounded reasoning capabilities, leading to inaccurate perception and reasoning disconnected from visual evidence. To address these limitations, we propose CURV, a curriculum learning framework that develops intrinsic visual reasoning capabilities by reformulating CQA as multi-step visual grounded reasoning, where each step coordinates logical reasoning with dynamic visual grounding through spatial attention concentration. To assist model learning, we further introduce CCQA, a three-level curriculum dataset with scalable synthetic generation across diverse chart types and reasoning patterns. Our curriculum systematically progresses from basic single-operation reasoning to complex multi-chart compositional tasks. Experiments demonstrate that CURV achieves up to $\uparrow20.50\%$ improvements over baselines and is generalizable to real-world benchmarks (up to $\uparrow12.30\%$) and out-of-domain multimodal reasoning tasks (up to $\uparrow10.20\%$), validating the effectiveness of internalizing visual reasoning with dynamic grounding for enhanced chart understanding capabilities. Code is available at: https://xhguo7.github.io/CURV/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.02833v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.