차트 이해를 위한 멀티모달 정보 융합: MLLM의 발전, 한계, 인지적 향상에 관한 서베이
Multimodal Information Fusion for Chart Understanding: A Survey of MLLMs -- Evolution, Limitations, and Cognitive Enhancement
한국어 초록
차트 이해는 그래픽 데이터와 텍스트 데이터를 매끄럽게 통합하여 의미를 추출해야 하는 대표적인 정보 융합 과제이다. 멀티모달 대규모 언어 모델(MLLM)의 등장은 이 분야에 혁신을 가져왔으나, MLLM 기반 차트 분석의 양상은 여전히 파편화되어 있고 체계적인 정리가 부족하다. 본 서베이는 이 분야의 핵심 구성 요소를 구조화하여 이 초기 단계의 최전선에 대한 포괄적인 로드맵을 제시한다. 먼저 차트에서 시각 정보와 언어 정보를 융합할 때의 근본적인 어려움을 분석한다. 이어서 하위 과제와 데이터셋을 분류하고, 정규(canonical) 벤치마크와 비정규(non-canonical) 벤치마크라는 새로운 분류 체계를 도입하여 이 분야의 확장되는 범위를 부각한다. 그다음 고전적인 딥러닝 기법에서 정교한 융합 전략을 활용하는 최신 MLLM 패러다임에 이르기까지 방법론의 발전 과정을 포괄적으로 제시한다. 현재 모델의 한계, 특히 지각 및 추론 측면의 결함을 비판적으로 검토함으로써, 고급 정렬 기법과 인지적 향상을 위한 강화학습을 포함한 유망한 향후 연구 방향을 제시한다. 본 서베이는 연구자와 실무자가 MLLM이 차트 정보 융합을 어떻게 변화시키고 있는지 체계적으로 이해하도록 돕고, 더욱 견고하고 신뢰할 수 있는 시스템을 향한 진전을 촉진하는 것을 목표로 한다.
원문 초록
Chart understanding is a quintessential information fusion task, requiring the seamless integration of graphical and textual data to extract meaning. The advent of Multimodal Large Language Models (MLLMs) has revolutionized this domain, yet the landscape of MLLM-based chart analysis remains fragmented and lacks systematic organization. This survey provides a comprehensive roadmap of this nascent frontier by structuring the domain's core components. We begin by analyzing the fundamental challenges of fusing visual and linguistic information in charts. We then categorize downstream tasks and datasets, introducing a novel taxonomy of canonical and non-canonical benchmarks to highlight the field's expanding scope. Subsequently, we present a comprehensive evolution of methodologies, tracing the progression from classic deep learning techniques to state-of-the-art MLLM paradigms that leverage sophisticated fusion strategies. By critically examining the limitations of current models, particularly their perceptual and reasoning deficits, we identify promising future directions, including advanced alignment techniques and reinforcement learning for cognitive enhancement. This survey aims to equip researchers and practitioners with a structured understanding of how MLLMs are transforming chart information fusion and to catalyze progress toward more robust and reliable systems.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.10138v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.