CORE: 수학적 추론에서 정의-적용 간극을 잇는 개념 지향 강화학습
CORE: Concept-Oriented Reinforcement for Bridging the Definition-Application Gap in Mathematical Reasoning
한국어 초록
대규모 언어 모델(LLM)은 어려운 수학 문제를 풀면서도, 문제가 진정한 이해를 요구할 때에는 개념을 올바르게 적용하지 못하는 경우가 많다. 널리 쓰이는 검증 가능한 보상 기반 강화학습(RLVR) 파이프라인은 최종 답을 강화하지만 세밀한 개념적 신호는 거의 제공하지 않아, 모델은 개념 적용보다는 패턴 재사용 능력만 향상된다. 본 논문은 명시적 개념을 제어 가능한 지도 신호로 전환하는 강화학습 훈련 프레임워크 CORE(Concept-Oriented REinforcement)를 소개한다. 검증 가능한 연습문제를 간결한 개념 설명과 연결한, 고품질이며 오염이 적은 교재 자료에서 출발하여, LLM이 정의를 다시 진술할 수는 있으나 개념과 연계된 퀴즈에서는 실패함을 보이는 타당성 점검을 수행하고 개념적 추론 격차를 정량화한다. 이어서 CORE는 (i) 개념에 정렬된 퀴즈를 합성하고, (ii) 롤아웃 중에 짧은 개념 스니펫을 주입하여 개념으로 프라이밍된 궤적을 유도하며, (iii) 그룹 실패 후의 궤적 대체, 안내 없는 정책을 개념으로 프라이밍된 정책에 정렬하는 가벼운 순방향 KL 제약, 또는 개념에 정렬된 퀴즈에 대한 표준 GRPO를 직접 적용하는 방식으로 개념적 추론을 강화한다. 여러 모델에 걸쳐 CORE는 도메인 내 개념-연습문제 모음과 다양한 도메인 외 수학 벤치마크 모두에서 기본 모델 및 SFT 기준선 대비 일관된 향상을 보인다. CORE는 개념에 정렬된 퀴즈에 대한 직접 학습과 개념이 주입된 롤아웃을 결과 정규화 아래 통합한다. 이는 문제 해결 능력과 진정한 개념적 추론 사이를 잇는 세밀한 개념적 지도를 제공하면서도 알고리즘 및 검증기에 구애받지 않는다.
원문 초록
Large language models (LLMs) often solve challenging math exercises yet fail to apply the concept right when the problem requires genuine understanding. Popular Reinforcement Learning with Verifiable Rewards (RLVR) pipelines reinforce final answers but provide little fine-grained conceptual signal, so models improve at pattern reuse rather than conceptual applications. We introduce CORE (Concept-Oriented REinforcement), an RL training framework that turns explicit concepts into a controllable supervision signal. Starting from a high-quality, low-contamination textbook resource that links verifiable exercises to concise concept descriptions, we run a sanity probe showing LLMs can restate definitions but fail concept-linked quizzes, quantifying the conceptual reasoning gap. CORE then (i) synthesizes concept-aligned quizzes, (ii) injects brief concept snippets during rollouts to elicit concept-primed trajectories, and (iii) reinforces conceptual reasoning via trajectory replacement after group failures, a lightweight forward-KL constraint that aligns unguided with concept-primed policies, or standard GRPO directly on concept-aligned quizzes. Across several models, CORE delivers consistent gains over vanilla and SFT baselines on both in-domain concept-exercise suites and diverse out-of-domain math benchmarks. CORE unifies direct training on concept-aligned quizzes and concept-injected rollouts under outcome regularization. It provides fine-grained conceptual supervision that bridges problem-solving competence and genuine conceptual reasoning, while remaining algorithm- and verifier-agnostic.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.18857v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.