Math2Visual-X: 교육학적으로 정렬된 초등 저학년 수학 시각 자료 생성을 위한 모듈형 프레임워크
Math2Visual-X: A Modular Framework for Pedagogically Aligned Lower-Primary Math Visuals Generation
한국어 초록
시각적 표현은 초등 저학년 학습자가 수학 문장제 문제(Math Word Problems, MWP)를 이해하는 데 도움을 줄 수 있지만, 교실에서 활용 가능한 수준의 시각 자료를 생성하는 것은 여전히 어렵습니다. 기존의 기호 기반(symbolic) 시스템은 제어 가능하지만 적용 범위가 제한적이며, 엔드투엔드(end-to-end) 텍스트-투-이미지 시스템은 정확한 수학적 제약 조건을 만족하지 못하는 경우가 많습니다. 본 논문에서는 더 넓은 문제 적용 범위와 확장 가능한 에셋 생성을 바탕으로 초등 저학년 MWP 생성을 지원하는 기호 기반 시각 자료 생성 프레임워크를 제시합니다. 이 프레임워크는 대규모 언어 모델(LLM) 기반 라우팅 층, 세 가지 워크시트 지향형 생성 모듈, 그리고 개방형 환경의 SVG 에셋 획득을 위한 두 가지 폴백(fallback) 메커니즘을 포함합니다. Math2Visual-X를 Stable Diffusion XL, Nano Banana, GPT Image와 비교한 인간 평가(human evaluation)에서 제안된 방법이 전반적으로 가장 우수한 성능을 달성한 것으로 나타났습니다. 이러한 결과는 본 프레임워크가 자동 MWP 시각 자료 생성을 위한 확장 가능하고 교육학적으로 기반을 둔 접근법을 제공함을 시사합니다.
원문 초록
Visual representations can help lower-primary learners understand Math Word Problems, but generating classroom-usable visuals remains difficult. Existing symbolic systems are controllable but limited in coverage, while end-to-end text-to-image systems often fail to satisfy exact mathematical constraints. This paper presents a symbolic visual generation framework for lower-primary MWP generation with broader problem coverage and more scalable asset generation. The framework includes an LLM-based routing layer, three worksheet-oriented generation modules, and two fallback mechanisms for open-world SVG asset acquisition. A human evaluation comparing Math2Visual-X with Stable Diffusion XL, Nano Banana, and GPT Image showed that the proposed method achieved the strongest overall performance. The results indicate that the framework offers a scalable and pedagogically grounded approach for automatic MWP visual generation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22647v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습
MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.
Omni-Diffusion-Distill: 통합 멀티모달 확산 대규모 언어 모델의 소수 스텝 증류
Omni-Diffusion-Distill: Few-Step Distillation of Unified Multimodal Diffusion Large Language Models
통합 멀티모달 확산 대규모 언어 모델(diffusion large language models, dLLM)은 이미지 생성과 멀티모달 이해 모두를 위한 단일 아키텍처를 제공하지만, 이들의 반복적 디코딩은 수십에서 수백 번의 순전파(forward pass)를 필요로 한다. 기존의 소수 스텝(few-step) 증류(distillation) 기법들은 주로 이미지 생성이나 텍스트 생성 중 한쪽에만 초점을 맞추고 있어, 생성과 이해 성능을 모두 보존하면서 완전 이산형 멀티모달 dLLM을 단일한 효율적 학생(student) 모델로 압축하는 방법은 명확하지 않았다. 본 연구에서는 통합 멀티모달 dLLM의 추론 비용을 대폭 줄이면서도 강력한 생성 및 이해 능력을 유지하는 통합 2단계 증류 프레임워크인 Omni-Diffusion-Distill을 제안한다. Omni-Diffusion-Distill은 이산 토큰 공간에서 이미지와 텍스트 모두에 대해 생성과 이해의 증류를 정렬한다. 첫 번째 단계에서 학생 모델은 캐시된 교사(teacher) 궤적을 재생함으로써 디코딩 스텝을 건너뛰도록 학습되며, 두 번째 단계에서는 자체 롤아웃을 따른 중간 상태에서 학생 모델을 미세조정한다. 나아가 병렬 텍스트 디코딩 시 반복을 줄이는 쌍별 충돌 페널티(pairwise collision penalty)와, 이미지 생성에서 날카로워진 교사 분포에 피팅됨으로써 발생하는 엔트로피 붕괴를 방지하는 엔트로피 일치 가이던스(entropy-matched guidance)를 통해 통합 증류에서의 두 가지 성능 저하 원인을 개선한다. Omni-Diffusion-Distill은 멀티모달 dLLM에서 디코딩 효율성과 생성 및 이해 성능 간의 최고 수준(state-of-the-art) 트레이드오프를 달성하여, 이미지 생성을 128 디코딩 스텝에서 8스텝으로, 멀티모달 이해를 512스텝에서 64스텝으로 줄이고 18.2배 및 21.2배의 실제 경과 시간(wall-clock) 속도 향상을 이끌어낸다. 이러한 예산 내에서 텍스트-투-이미지 생성의 경우 GenEval 0.828점과 DPG-Bench 83.0점을 기록하며, 멀티모달 이해의 경우 MM-Vet에서 20.0점, COCO 캡셔닝에서 57.2점의 GPT 판정 점수를 달성한다(동일 스텝 기준 교사 모델의 28.4점 대비 2배).
LLM을 에이전트로 활용하기: 비용은 얼마인가?
Harnessing LLMs as Agents: What Does It Cost?
언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.
ReSolve: 선택적 생성 조정을 통한 후보 추론 재사용
ReSolve: Reusing Candidate Reasoning through Selective Generative Moderation
여러 해법을 샘플링하는 것은 최종 답변뿐만 아니라 중간 연역 과정과 미완성된 논증에도 연산량을 소모합니다. 본 논문에서는 선택적 생성 조정(selective generative moderation)을 통해 이러한 후보 추론 과정을 재사용하는, 학습(training)이 필요 없는 추론(inference) 절차인 ReSolve를 소개합니다. 답변 분포 제어기는 후보 간 의견이 일치하지 않거나 파싱 가능한 답변이 부족할 때 모델을 호출하여 기존 유도 과정을 검토하게 한 뒤, 생성된 해법을 유계 루프(bounded loop)에 통합합니다. 독립적으로 샘플링된 두 개의 후보 풀로 평가한 130개의 경시대회 수학 문제에서 Hybrid 점수 체계 기준, ReSolve는 동일한 4개의 후보에 대한 투표 방식이 기록한 91개 및 92개와 비교해 각각 100개와 99개의 정답을 얻었으며, 두 풀 모두에서 해당 투표 대비 정답이 오답으로 바뀐 경우는 없었습니다. 8개 샘플을 사용한 자기 일관성(self-consistency)은 실질적으로 훨씬 더 많은 토큰을 소비하면서 94개 및 96개의 정답을 얻은 반면, ReSolve는 두 평가에서 토큰을 각각 46.3% 및 47.2% 적게 사용했습니다. 정답 키, 투표 수, 상태별 출력 제한 규칙은 유지한 채 가시적인 유도 과정을 제거한 통제된 절제 연구(ablation)에서는 연산량이 증가했음에도 정답 수가 100개에서 93개로 감소하여 정확도가 떨어졌습니다. 선택적 조정과 항상 켜져 있는 균일(Uniform) 조정은 모두 97개의 문제를 해결했으나, 선택성을 적용함으로써 조정 토큰을 약 54%, 전체 파이프라인 토큰을 6.2% 줄였습니다. 이러한 결과는 후보 추론 과정이 재사용 가능한 추론 연산이라는 점을 뒷받침합니다. 다만 추가 샘플링 대비 정확도 우위나 특화된 경로 지침의 뚜렷한 이점을 입증하지는 않습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.