시각적 표현은 초등 저학년 학습자가 수학 문장제 문제(Math Word Problems, MWP)를 이해하는 데 도움을 줄 수 있지만, 교실에서 활용 가능한 수준의 시각 자료를 생성하는 것은 여전히 어렵습니다. 기존의 기호 기반(symbolic) 시스템은 제어 가능하지만 적용 범위가 제한적이며, 엔드투엔드(end-to-end) 텍스트-투-이미지 시스템은 정확한 수학적 제약 조건을 만족하지 못하는 경우가 많습니다. 본 논문에서는 더 넓은 문제 적용 범위와 확장 가능한 에셋 생성을 바탕으로 초등 저학년 MWP 생성을 지원하는 기호 기반 시각 자료 생성 프레임워크를 제시합니다. 이 프레임워크는 대규모 언어 모델(LLM) 기반 라우팅 층, 세 가지 워크시트 지향형 생성 모듈, 그리고 개방형 환경의 SVG 에셋 획득을 위한 두 가지 폴백(fallback) 메커니즘을 포함합니다. Math2Visual-X를 Stable Diffusion XL, Nano Banana, GPT Image와 비교한 인간 평가(human evaluation)에서 제안된 방법이 전반적으로 가장 우수한 성능을 달성한 것으로 나타났습니다. 이러한 결과는 본 프레임워크가 자동 MWP 시각 자료 생성을 위한 확장 가능하고 교육학적으로 기반을 둔 접근법을 제공함을 시사합니다.
다중모달 대규모 언어 모델(MLLM)은 직접적인 코드 합성을 통해 확장 가능한 벡터 그래픽(SVG)을 생성하는 데 유망한 능력을 보여왔다. 그러나 기존 패러다임은 일반적으로 개방형 루프(open-loop) 방식의 "눈 감고 그리기" 접근법을 채택하여, 중간 시각적 결과를 인식하지 않고 기호적 코드 시퀀스를 생성한다. 이 방법론은 MLLM 비전 인코더에 내재된 강력한 시각적 사전 지식을 심각하게 과소활용하며, SVG 생성을 통합된 시각-공간적 작업이 아닌 분리된 텍스트 시퀀스 모델링 작업으로 취급한다. 결과적으로 모델은 부분적 캔버스 상태와 암묵적 폐색 관계를 추론하는 데 어려움을 겪는데, 이는 시각적으로는 명시적이지만 텍스트적으로는 모호하다.
이 격차를 해소하기 위해, 우리는 SVG 합성을 단계적이고 시각적 문맥 인식 프로세스로 재정의하는 새로운 생성 패러다임인 Render-in-the-Loop를 제안한다. 중간 코드 상태를 누적 캔버스로 렌더링함으로써 모델은 각 단계에서 진화하는 시각적 컨텍스트를 명시적으로 관찰하고, 실시간 피드백을 활용하여 이후 생성을 안내한다. 그러나 우리는 이 시각적 루프를 기존 모델에 단순하게 적용하는 것이 증분적 시각-코드 매핑을 활용하는 능력의 부재로 인해 최적이 아님을 보인다. 이를 해결하기 위해, 먼저 세밀한 경로 분해(fine-grained path decomposition)를 활용하여 고밀도 다중 단계 시각적 궤적을 구성하고, 중간 시각적 상태를 조건으로 하는 다음 기본 요소(primitive) 생성을 위한 시각적 자기 피드백(VSF, Visual Self-Feedback) 학습 전략을 도입한다. 나아가, 퇴화되고 중복된 기본 요소를 효과적으로 필터링하는 Render-and-Verify(RaV) 추론 메커니즘을 제안한다. 다중모달 기반 모델에 적용된 우리의 프레임워크는 표준 MMSVGBench에서 강력한 오픈 가중치(open-weight) 기준 모델들을 능가한다. 이 결과는 텍스트-to-SVG 및 이미지-to-SVG 작업 모두에서 Render-in-the-Loop 패러다임의 뛰어난 데이터 효율성과 일반화 능력을 부각시킨다.
우리는 멀티모달 대규모 언어 모델(MLLM)에 "심상" 시각화를 위한 실행 가능한 메커니즘을 부여하는 시각-기호적 추론 패러다임인 MentalThink를 소개한다. MentalThink의 핵심은 SVG와 함께 생각하는(think-with-SVG) 파이프라인으로, 모델이 다중 턴 추론을 위한 중간 시각적 표현으로서 확장 가능한 벡터 그래픽(SVG) 코드를 생성, 렌더링하고 해석하는 방법을 학습한다. 구조화된 벡터 스케치를 생성함으로써 모델은 공간적 가설을 외재화하고, 결정론적 렌더링을 통해 이를 검사하며, 제한된 기하학적 공간 내에서 추론할 수 있어 인간의 심상(mental imagery) 과정을 효과적으로 모방한다. 우리는 SVG 구문 정렬을 위한 지도 미세조정(SFT)과 중간 시각적 가설의 반복적인 검사, 수정 및 개선을 장려하기 위한 다중 턴 강화학습(RL)을 결합한 2단계 학습 프레임워크를 통해 이 패러다임을 구체화한다. 광범위한 평가를 통해 MentalThink가 공간 이해 및 추론 벤치마크에서 우수한 성능을 달성함(예: VSIBench에서 55.1%, MindCube에서 76.0%)을 입증하며, 실행 가능한 벡터 그래픽이 동적 관점 취득, 시각적 반성, 구성적 장면 구성을 위한 검증 가능한 시각적 작업 공간을 제공함을 보여준다.