검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.
대규모 추론 모델(LRM)은 뛰어난 추론 능력을 보여주었으나, 여전히 불필요한 추론 단계를 생성하여 상당한 토큰(token) 소모를 유발하는 오버씽킹(overthinking) 문제를 겪고 있습니다. 반추적 키워드를 억제하거나 강제로 추론 길이를 단축하는 기존 방법들은 이 문제를 완화하려 하지만, 필연적으로 필요한 단계를 잘라내고 언더씽킹(underthinking)을 유발하여 성능을 저하시킵니다. 이러한 딜레마를 해결하기 위해 본 논문에서는 잠재 표현(latent representation)을 조사하였으며, 효율적인 추론 단계들이 잠재 공간(latent space) 내의 집중된 영역에 자연스럽게 군집하는 반면, 이 영역을 벗어나는 단계들은 장황한 시퀀스를 생성하는 경향이 있음을 관찰했습니다. 이를 활용하기 위해, 벗어난 은닉 상태(hidden state)를 해당 영역으로 다시 투영하는 이차 계획법(quadratic program)을 통해 추론이 이 영역 내에 집중되도록 유지합니다. 이어 성능 저하 없이 토큰 생성 비용을 줄여 효율적인 추론을 달성하는 새로운 학습(training) 불필요 프레임워크를 제안합니다. 1.5B부터 14B에 이르는 4개 모델과 수학 추론, 코딩, 과학 질의응답 분야의 6개 벤치마크에서 수행된 광범위한 실험을 통해 본 방법의 효과를 검증하였으며, 생성 토큰을 11.8%에서 52.8%까지 줄이면서도 정확도를 최대 12.1% 향상시켰습니다. 코드는 \href{https://github.com/hzn18/Opt4Reasoning}{https://github.com/hzn18/Opt4Reasoning}에서 확인할 수 있습니다.
대규모 추론 모델을 위한 검증 가능한 보상 기반 강화학습(RLVR)은 분산 감소에 의존하며, 이를 위해서는 신뢰할 수 있는 기준선(baseline)과 각 학습 배치 내 높은 프롬프트 다양성이 모두 요구됩니다. 이는 서로 다른 작업의 프롬프트가 매우 다양한 그래디언트 신호를 유도하는 일반 추론 모델용 멀티 도메인 학습에서 특히 어렵습니다. 기존 접근 방식들은 서로 다른 한계를 보입니다. GRPO는 동일한 프롬프트로부터 얻은 롤아웃의 그룹 평균으로 기준선을 추정하므로, 정확한 기준선을 얻으려면 배치 내 고유 프롬프트 수가 줄어들게 되며, 반면 PPO는 정책 규모의 비평가(critic)를 학습시켜 이러한 절충을 피하지만 학습 비용이 대략 두 배로 증가합니다. 본 논문에서는 모델의 내부 상태를 가치 모델로 변환하는 강화학습 알고리즘인 POISE(Policy Optimization with Internal State Value Estimation)를 제안합니다. 경량 프로브는 순전파 동안 이미 계산된 신호를 읽어 기준선을 예측하며, 정책과 함께 온라인으로 학습됩니다. 그래디언트의 비편향성을 보존하기 위해, 독립적인 롤아웃의 내부 상태로부터 각 롤아웃의 가치를 예측하는 교차 롤아웃 구조를 도입합니다. 6개 도메인의 검증 가능한 보상 말뭉치 전반에 걸친 Qwen3-4B 및 OLMo3-7B-Instruct-DPO 실험에서, POISE는 다른 RLVR 베이스라인들을 능가하는 동시에 더 안정적인 학습을 달성했습니다. 나아가 해당 프로브는 별도의 대규모 언어 모델(LLM) 크기 가치 모델에 필적하는 성능을 보이고, 다양한 작업으로 일반화되며, 정책 규모가 커져도 정확도를 유지합니다. 모델의 내부 표현을 활용함으로써 POISE는 안정적인 정책 최적화를 가능하게 합니다.