MathVis-Fine: 점진적 의존성 유도 학습을 통한 필요성 정렬 시각 감독 기반 다중모달 수학적 추론
MathVis-Fine: Aligning Visual Supervision with Necessity via Progressive Dependency-Guided Training for Multimodal Mathematical Reasoning
사고의 연쇄(Chain-of-Thought, CoT) 추론은 순수 언어 영역에서 다중모달 시나리오로 확장되었지만, 기존 접근법은 시각 입력을 동질적이거나 보조적 신호로 취급하는 경우가 많아 수학 문제 풀이에서 텍스트와 이미지 사이의 복잡하고 샘플별 의존 관계를 포착하지 못한다. 이로 인해 두 가지 핵심 문제가 발생한다. 첫째, 시각 콘텐츠에 대한 감독 신호가 일반화되고 거친 수준에 머물러, 각 샘플에서 시각 정보의 실제 필요성에 맞게 조정되지 않는다. 둘째, 입력 간 보완 관계를 구분하지 않고 시각 보상을 균일하게 적용하면 학습 피드백이 부정확해진다. 이러한 한계는 모델이 정밀한 다중모달 추론을 달성하는 것을 방해한다. 본 연구에서는 수학적 추론에서 세밀한 시각 의존성을 모델링하는 프레임워크를 제안한다. 먼저 MathVis-Fine 데이터셋을 구축하여 세밀한 시각 주석에 시각 의존성 등급을 보강한다. 이 데이터셋을 바탕으로, 각 샘플의 고유한 시각 의존 수준에 따라 정답 정확성 보상과 시각 그라운딩 보상의 균형을 맞추는 2단계 점진적 시각 강화 학습 패러다임을 도입하여 보상 바이어스를 완화하고 감독 정확도를 높인다. 광범위한 실험을 통해 MathVis-Fine 프레임워크가 시각 의존성에 따라 점진적으로 시각 인식을 효과적으로 향상시키며, 다중모달 수학적 추론을 위한 보다 정밀한 학습 프레임워크를 제공함을 보여준다. 논문이 채택되면 데이터셋을 공개할 예정이다.