검증 가능한 보상을 활용한 강화학습(RL)은 롤아웃 예산의 상당 부분을 학습 신호를 제공하지 않는 상태에 소비합니다. 본 연구에서는 이를 샘플링 분포 자체에 대한 질문으로 재구성합니다. 즉, 고정된 롤아웃 예산 하에서 어떤 상태 분포가 정책 그래디언트 추정량의 분산을 최소화하는가 하는 점입니다. 이에 대한 해답은 닫힌 형식(closed-form)의 네이만 배분(Neyman allocation), $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$으로 도출되며, 이는 GRPO의 그룹 상대적 이점(group-relative advantage)과 자연스럽게 연결되고 외재적으로 부과된 스케줄 없이도 정책이 향상됨에 따라 창발적인 역방향 커리큘럼(reverse curriculum)을 유도합니다. 이러한 원리를 바탕으로, 접두 문맥(prefix) 재생 버퍼와 비용이 들지 않는 분산 프록시를 사용하는 GRPO의 플러그인 수정 기법인 VSR(Variance-driven State Resampling)을 제안합니다. 수학적 추론 벤치마크 및 긴 주기의 에이전트(agentic) 과제(Sokoban, BabyAI)에서 VSR은 업데이트당 생성되는 토큰 수를 줄이면서도 대부분의 벤치마크에서 GRPO 및 GiGPO보다 우수한 성능을 달성합니다.
검증 가능한 보상을 사용한 강화학습(RLVR, Reinforcement Learning with Verifiable Rewards)은 LLM의 추론 능력을 크게 향상시켰지만, 점점 더 많은 증거들이 이 방법이 주로 분포 샤프닝(distribution sharpening)을 수행한다는 것을 시사한다. 즉, 베이스 모델이 이미 생성하는 추론 경로에 확률 질량을 집중시키는 것이다.
따라서 최근 연구들은 마르코프 체인 몬테카를로(Markov Chain Monte Carlo) 또는 순차 몬테카를로(Sequential Monte Carlo)를 통해 파워 분포 $π_α\propto π_{\text{base}}^α$에서 샘플링함으로써, 보상 신호 없이도 RLVR의 성능 향상을 얻고자 한다. 본 연구는 이러한 샘플러들이 현실적인 연산 예산 하에서 $π_α$로 수렴하지 못한다는 것을 보이며, 이들의 성능 향상이 적절한 채점(grading)을 적용한 단순한 Best-of-$N$을 통해 대부분 재현될 수 있음을 보인다. 이는 이러한 샘플러들이 $π_α$를 근사함으로써가 아니라 고확률 시퀀스를 선택함으로써 성공한다는 것을 시사하며, 자연스럽게 다음과 같은 질문을 제기한다: 파워 분포 자체가 추구할 가치가 있는 목표인가?
우리는 베이스 모델을 $π_α$에 맞추어 미세조정(fine-tuning)함으로써 샘플러의 수렴 문제를 완전히 피하는 방식으로 이 가설을 직접 검증한다. 이 전략은 기존 샘플러들보다 목표 분포를 훨씬 더 충실하게 근사함에도 불구하고, 이 전략이 얻는 성능 향상은 노이즈가 많고 특정 모델과 샘플링 과제에 한정된다.
종합적으로, 우리의 결과는 파워 샘플링의 가치가 $π_α$를 충실히 목표로 하는 데 있는 것이 아니라, 베이스 모델이 이미 가능성이 높다고 판단하는 시퀀스를 추출하는 더 단순한 목표에 있음을 시사한다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.
언어 모델(LM)은 대개 동일한 질문에 대해 여러 방식으로 답할 수 있지만, 검증 가능한 보상을 활용한 강화학습(RLVR)은 모델이 어떤 정답을 생성하든 개의치 않습니다. 익숙한 답의 1,000번째 복사본이든 모델이 이전에 한 번도 생성한 적 없는 답이든, 정답인 해법은 동일한 보상을 받게 됩니다. 그러나 모델이 학습(training)되면서 여러 올바른 해법을 유지하도록 하는 것에는 잠재적인 가치가 있습니다. 예를 들어, 다중 모드(mode)는 사용자에게 선택권을 제공하고 전반적인 모델 성능을 향상시키는 문제 해결 전략을 제공할 수 있습니다. 본 논문에서는 검증기(verifier)가 정확도와 발견된 모드를 모두 반환하는 다중 해법 작업 벤치마크인 ModeBench를 소개합니다. 그런 다음 ModeBench를 사용하여 RLVR 사후 학습(post-training) 과정에서 해법의 다양성이 어떻게 변화하는지 측정합니다. 그 결과, 정확도가 유지되거나 향상되더라도 RLVR 사후 학습은 더 적은 수의 정답 모드로 확률을 집중시키며, 나아가 최신 프론티어(frontier) 모델들은 이미 고도로 집중되어 있음을 발견했습니다. 이에 따라 발견된 모드당 검증된 예시 하나를 리플레이 버퍼(replay buffer)에 저장하고 저장된 모드들을 균등하게 학습하는 해법인 Re:Max를 제안합니다. 따라서 한 번 발견된 해법도 반복해서 발견된 해법만큼 자주 연습됩니다. 세 가지 모델 스케일, 두 가지 RL 목적 함수, 그리고 더 어려운 작업 구성 전반에 걸쳐, 리플레이는 정책(policy)의 성공 빈도뿐만 아니라 성공할 수 있는 서로 다른 방식의 다양성 또한 개선함을 확인했습니다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 주로 상호작용 후의 스칼라 결과 보상을 통해 에이전트 경험을 학습 신호로 전환합니다. 그러나 그룹 상대적 목적 함수의 경우, 모든 롤아웃이 동일한 보상을 받으면 해당 궤적이 작업에 필요한 요소와 에이전트가 실패하는 방식에 대한 유용한 정보를 드러낼 수 있음에도 불구하고 이러한 신호가 사라집니다. 우리는 이와 상호보완적인 질문을 던집니다. 사후적 통찰(hindsight)이 에이전트에게 행동하기 전에 무엇을 예측할 수 있었는지를 가르쳐줄 수 있을까요? 우리는 상호작용 이전 시점에서의 예측을 지도하기 위해 사후 경험을 사용하는 전향적 학습(prospective learning)을 도입하고, 이를 자기 회고 증류(Self-Retrospection Distillation, SRD)로 구체화합니다. 직관적으로 완료된 궤적은 유용했을 지식과 피해야 했을 함정을 드러내며, SRD는 이 특권적 사후 통찰을 동일한 정책의 궤적 비인지 사전 예측으로 증류합니다. 사전 예측은 학습 목표로만 기능하며 추론 시 명시적으로 생성될 필요가 없습니다. 10가지 도구 통합 추론 및 장기적 에이전트 작업 전반에서, SRD는 RLVR 및 자기 증류 베이스라인을 보완하여 최대 24.2%p의 성능 향상을 달성합니다. 특히 모델 규모 전반에 걸쳐 롤아웃 그룹의 37~98%가 균일한 보상을 보여 보상 대조가 부족한 경우에도 SRD는 샘플링된 궤적으로부터 학습 신호를 활용할 수 있어 그 이점이 두드러집니다. 그룹의 98%가 전면 실패하는 2B 설정에서 RLVR 학습은 0.0%의 성공률로 끝나는 반면, 동일한 롤아웃 예산 하에서 SRD를 추가하면 60.6%에 도달합니다. 우리의 결과는 사후 에이전트 경험이 행동을 평가하거나 개선하는 것뿐만 아니라 상호작용 이전에 예측적 표현을 형성하는 데에도 유용함을 시사합니다.
모방 학습(IL)은 언어 모델 에이전트가 전문가의 행동을 재현하도록 가르치지만, 그 행동을 그럴듯한 실수와 구별하도록 가르치지는 못합니다. 자기 반성(self-reflection) 기법은 대안적 선택지에 모델을 노출시키지만, 고정된 근거(rationale)와 행동을 모방하기 위해 지도 미세조정(SFT)을 사용합니다. 본 논문에서는 검증 가능한 보상을 활용한 강화학습(RLVR)을 통해 모델이 행동을 직접 판단하도록 학습시키는 '에이전트 비판적 학습(ACT)'을 제안합니다. ACT는 전문가 궤적의 각 상태에서 전문가 행동과 초기 정책에서 샘플링된 대안 행동을 짝지어 그 순서를 무작위로 섞습니다. 모델은 자체적인 추론 과정을 생성하지만 전문가 행동을 선택했을 때만 보상을 받습니다. ACT는 시연(demonstration) 데이터를 재사용하고, 참조 근거를 요구하지 않으며, 모델 크기 전반에 걸쳐 쌍(pair)의 재사용을 허용합니다. ACT는 IL 이전의 웜업 단계로 적용되며, 선택적으로 이후에 강화학습을 거칠 수 있고, 추론 시에는 후보군 비교를 요구하지 않습니다. ALFWorld-ID, WebShop, ScienceWorld 전반에서 Qwen3-8B 및 Olmo-3-7B-Instruct를 대상으로 평가한 결과, ACT는 IL 대비 평균 5.85점, ACT를 적용하지 않은 IL$\to$RL 대비 4.12점의 성능 향상을 기록하는 동시에 ALFWorld-OOD 성능도 개선했습니다. ScienceWorld에서 Olmo 모델을 사용했을 때 전체 파이프라인은 CoT 프롬프팅 대비 15.36점, ACT를 적용하지 않은 IL$\to$RL 대비 9.23점 향상되었습니다. ACT$\to$IL과 전체 파이프라인 모두 지도 반성(supervised reflection) 베이스라인을 능가했습니다. 고정된 쌍이나 동일한 학습 시간을 적용한 대조군 실험은 이러한 성능 향상이 추가 데이터나 학습량이 아닌 ACT 목적 함수 자체에서 기인함을 보여줍니다. 추론 특화 사후 학습을 거치지 않고도 독립형 ACT 체크포인트는 MATH-500 및 GPQA-Diamond에서 평가된 모델 중 가장 높은 평균 점수를 달성하여, 행동 비교가 생성을 보완함을 입증합니다.
최근 의료 멀티모달 모델(multimodal model)은 더 큰 말뭉치, 더 넓은 모달리티 적용 범위, 강화된 추론 지향 학습(training)을 통해 발전해 왔으나, 지속 사전학습(continued pretraining, CPT) 및 사후 학습(post-training) 전반에 걸친 효과적인 데이터 설계는 여전히 어려운 과제로 남아 있습니다. 의료 데이터 소스는 구조, 세분성, 정보 밀도가 크게 다르며, 광범위한 지식 습득에서 후기 단계의 통합으로 학습이 진행됨에 따라 그 유용성도 변화합니다. 한편 사후 학습은 단답형 시각적 질문 답변(VQA)이 지배적인 경우가 많아 정보성이 높고 답변과 일치하는 설명을 위한 감독을 충분히 제공하지 못합니다. 본 논문에서는 단계 인식형 데이터 설계를 중심으로 구축된 4B 및 27B 규모의 범용 의료 멀티모달 기반 모델(foundation model) 패밀리인 InfiMed2를 소개합니다. 소스 맞춤형 처리를 통해 광범위한 임상 지식과 문맥이 풍부한 생물의학 시각적 근거를 결합한 556.8억(55.68B) 토큰(token) 규모의 말뭉치를 구축했습니다. 본 CPT 파이프라인은 먼저 비전 인코더를 적응시킨 다음 광범위한 의료 지식을 구축하고, 최종적으로 학습률 감쇠 단계에서 근거 중심의 데이터 혼합으로 전환합니다. 지도 미세조정(SFT)을 위해 답변 안정성, 답변 마스킹 재구성, 정확도 제약 선별을 활용하여 시각적 질문 답변 반응을 재생성함으로써 더 유익하고 답변 일관성을 갖춘 감독 신호를 생성합니다. 4B 모델은 검증 가능한 보상을 통한 강화학습(RLVR)으로 추가 최적화되었습니다. 5개 의료 멀티모달 벤치마크(benchmark) 전반에서 InfiMed2-4B는 RLVR 적용 후 66.73%의 평균 정확도를 달성하여 더 큰 규모의 Qwen3.5-9B를 능가했으며, InfiMed2-27B는 73.72%를 기록하여 평가된 오픈 가중치(open-weight) 모델 중 가장 높은 성능을 달성했습니다.
현대 언어 모델(model)은 신뢰할 수 있는 지능의 근본적인 요구사항인 '언제 답변하지 말아야 하는지 아는 것'을 충족하지 못하고 있습니다. 벤치마크(benchmark)에서 인상적인 정확도를 달성했음에도 불구하고, 이러한 모델들은 오답이 치명적인 결과를 초래할 수 있는 경우에도 확신에 찬 환각(hallucination)을 생성합니다. GSM8K, MedQA, GPQA에 대한 평가(evaluation) 결과, 프론티어 모델들은 심각한 페널티에 대한 명시적인 경고가 있음에도 거의 답변을 기권(abstain)하지 않는 것으로 나타났으며, 이는 프롬프트(prompt)가 답변을 하지 않는 것보다 어떤 답변이라도 내놓는 것을 보상하는 학습(training) 방식을 뒤집을 수 없음을 시사합니다. 이에 대한 해결책으로, 우리는 검증 가능한 보상 기반 강화학습(RLVR)을 수정하여 이진 보상 대신 삼원 보상(정답 +1, 기권 0, 오류 -$\lambda$)을 사용하는 '강화된 망설임(Reinforced Hesitation, RH)'을 제안합니다. 논리 퍼즐에 대한 통제된 실험에 따르면, $\lambda$를 다양화함에 따라 파레토 프론티어(Pareto frontier)를 따라 서로 다른 모델이 생성되며, 각 학습 페널티는 그에 대응하는 위험 영역에 최적화된 모델을 도출합니다. 즉, 낮은 페널티는 적극적인 답변자를, 높은 페널티는 보수적인 기권자를 만들어냅니다. 동일한 프론티어가 MATH Level 4--5 및 의료 질의응답(medical QA)에서도 유지되며, 새로운 데이터셋(dataset)으로도 전이됩니다. 이어 우리는 학습된 기권을 조율 신호(coordination signal)로 활용하는 두 가지 추론(inference) 전략을 도입합니다. 캐스케이딩(cascading)은 위험 감수 성향이 감소하는 순서로 모델에 쿼리를 라우팅하며, 셀프 캐스케이딩(self-cascading)은 기권 시 동일한 모델에 다시 질의합니다. 두 전략 모두 더 적은 연산 비용으로 다수결 투표(majority voting)보다 우수한 성능을 보입니다. 이러한 결과는 기권을 1급 학습 목표(first-class training objective)로 확립하여 "모르겠습니다"를 실패가 아닌 조율 신호로 전환하고, 모델이 자신의 한계에 대해 보정된 정직성을 통해 신뢰를 얻을 수 있도록 합니다.
검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.
적응형 다중 검증기(multi-verifier) 시스템은 검증기 카탈로그, 가용성, 정산, 정보 여과(filtration) 또는 점수 산정기가 정책에 따라 변경되더라도 일반적으로 엔드포인트 품질-비용 격차를 통해 비교됩니다. 본 연구에서는 검증기 라우팅을 계약 조건부 식별 문제로 정형화합니다. 해당 계약은 요청 지원, 검증기 카탈로그, 실현된 가용성, 자원 정산, 온라인 여과, 추적 후 점수 산정을 기록하며, 매칭된 경로 대비는 정책 좌표만을 변경합니다. ROUTEAUDIT은 이 계약에 세 가지 측정 가능한 객체를 추가합니다. 계약 격자(contract lattice)는 모든 허용 가능한 브리지 순서에 대해 좌표 증분을 평균화하고 결과 기여도와 경로 민감도를 함께 보고합니다. 정책 독립적 응답 테이프는 적응형 정책이 서로 다른 관측치를 드러낼 때 쌍체 순차 대비를 식별합니다. 불완전 매칭의 경우, 요청 수준 경계는 관측된 상태로 남아 있는 잠재적 결과를 활용하여 엄밀한 유한 모집단 구간을 제공합니다. 이 프로토콜은 오라클 조인 전에 유료 관측치와 원장 이벤트를 커밋하고 각 비교에 대한 기여도 인증서를 반환합니다. 보류된 두 개의 원시-꼬리(raw-tail) 캐시에서 매칭된 정적 SF+SA는 캐스케이드와 동일하며, 전체 정적 대비 0.1797 및 0.1250의 외견상 이득을 검증기 세트 에지에 귀속시킵니다. 1,319개의 보류된 작업 요청에 대해, 학습 기반 및 RLVR 연구는 매칭된 정적의 0.9484 대비 각각 0.9522 및 0.9553의 품질을 보고합니다. RLVR-정적 쌍체 차이는 +0.0068이며 요청 쌍체 구간은 $[0.0015, 0.0122]$, 요청별 학습 시드 계층적 구간은 $[0.0006, 0.0131]$입니다. 통제된 기여도 복원은 경로 평균 절대 오차 0.0011 및 엔드포인트 재구성 오차 0.0004를 산출합니다. 요인, 브리지 순서 및 확률적 제공자 연구를 통해 인증서 인터페이스를 평가하며, RLVR은 동일한 식별 계약 하에서 학습된 정책 스트레스 테스트를 제공합니다.
대규모 추론 모델을 위한 검증 가능한 보상 기반 강화학습(RLVR)은 분산 감소에 의존하며, 이를 위해서는 신뢰할 수 있는 기준선(baseline)과 각 학습 배치 내 높은 프롬프트 다양성이 모두 요구됩니다. 이는 서로 다른 작업의 프롬프트가 매우 다양한 그래디언트 신호를 유도하는 일반 추론 모델용 멀티 도메인 학습에서 특히 어렵습니다. 기존 접근 방식들은 서로 다른 한계를 보입니다. GRPO는 동일한 프롬프트로부터 얻은 롤아웃의 그룹 평균으로 기준선을 추정하므로, 정확한 기준선을 얻으려면 배치 내 고유 프롬프트 수가 줄어들게 되며, 반면 PPO는 정책 규모의 비평가(critic)를 학습시켜 이러한 절충을 피하지만 학습 비용이 대략 두 배로 증가합니다. 본 논문에서는 모델의 내부 상태를 가치 모델로 변환하는 강화학습 알고리즘인 POISE(Policy Optimization with Internal State Value Estimation)를 제안합니다. 경량 프로브는 순전파 동안 이미 계산된 신호를 읽어 기준선을 예측하며, 정책과 함께 온라인으로 학습됩니다. 그래디언트의 비편향성을 보존하기 위해, 독립적인 롤아웃의 내부 상태로부터 각 롤아웃의 가치를 예측하는 교차 롤아웃 구조를 도입합니다. 6개 도메인의 검증 가능한 보상 말뭉치 전반에 걸친 Qwen3-4B 및 OLMo3-7B-Instruct-DPO 실험에서, POISE는 다른 RLVR 베이스라인들을 능가하는 동시에 더 안정적인 학습을 달성했습니다. 나아가 해당 프로브는 별도의 대규모 언어 모델(LLM) 크기 가치 모델에 필적하는 성능을 보이고, 다양한 작업으로 일반화되며, 정책 규모가 커져도 정확도를 유지합니다. 모델의 내부 표현을 활용함으로써 POISE는 안정적인 정책 최적화를 가능하게 합니다.
검증 가능한 보상을 활용한 강화학습(RLVR)은 추론 모델을 위한 핵심 사후 학습(post-training) 기법이지만, 유용한 궤적을 발견하기 어렵거나 탐험(exploration)이 좁아질 때 순수 온-정책(on-policy) 학습은 비효율적일 수 있습니다. 기존의 자기 유도 방식들은 대체로 현재 또는 이전 단계의 학습자가 이미 보유한 역량을 재사용합니다. 우리는 그 대신 학습 과정 후반에 발현되는 역량 역시 학습에 활용할 수 있는지 질문을 던집니다. 모델이 자신의 미래 자아로부터 학습할 수 있을까요? 본 논문에서는 정책이 자신보다 더 강력한 이후 시점의 체크포인트로부터 지침을 받는 시간적 자기 증류(temporal self-distillation)를 제안합니다. 우리는 가장 유용한 시간적 교사가 반드시 가장 강력한 교사일 필요는 없다고 가설을 세웠습니다. 즉, 교사는 충분히 새로운 역량을 제공하는 동시에 해당 역량이 쉽게 전이될 수 있을 만큼 호환성을 유지해야 하며, 이는 가까운 미래 체제(near-future regime)의 필요성을 시사합니다. 우리는 상호 보완적인 두 가지 메커니즘을 통해 이 원리를 연구합니다. Near-Future Policy Optimization(NPO)은 검증된 미래 자아의 궤적을 사용하여 오프-정책(off-policy) 행동 전이를 수행하는 반면, Near-Future Policy Distillation(NPD)은 학습자가 생성한 궤적에서 온-정책 토큰 수준 전이를 수행합니다. 또한, 시간적 지침이 유용한 시점과 롤백할 거리를 적응적으로 결정하여 미래 자아 지침을 반복적인 자기 부트스트랩 과정으로 전환하는 AutoNPO를 추가로 제안합니다. 8개의 이미지-텍스트 벤치마크 전반에서 NPO는 GRPO 성능을 60.25에서 62.84로 향상시키고 AutoNPO는 63.15에 도달했으며, 텍스트 전용 및 비디오 추론에서도 일관된 성능 향상을 보였습니다. NPD 환경에서 가까운 미래 교사는 증류 직후의 성능이 더 낮음에도 불구하고 지속적인 강화학습 후 63.23에 도달하여 먼 미래 교사의 61.92를 넘어섰습니다. 종합적으로 이러한 결과는 효과적인 시간적 자기 증류가 단순히 교사의 능력치에만 의존하는 것이 아니라, 새롭게 획득한 역량과 학습자와의 호환성 간의 균형에 달려 있음을 시사합니다.
검증 가능한 보상 기반 강화학습(RLVR)은 대규모 언어 모델(LLM)의 수학적 추론 능력을 크게 향상시켰습니다. 최근 연구들은 궤적의 다양성을 높이기 위해 RLVR 롤아웃에 탐색 기법을 도입하고 있으나, 다양성만으로는 탐색으로 유도된 롤아웃 정책이 현재 정책보다 반드시 개선된다고 보장할 수 없습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 유한 예산 검벨 탐색(finite-budget Gumbel search)을 청크 단위의 수학적 추론에 맞게 조정한 학습 프레임워크인 APIVIS를 제안합니다. APIVIS는 각 롤아웃 그룹 내에서 직접 생성한 응답과 탐색을 거친 응답을 결합하여, 탐색을 통해 발견된 개선 사항이 정보 가치가 높은 상대적 보상을 생성하도록 합니다. 나아가 탐색으로 개선된 토큰에 선택적 지도를 적용함으로써, 균일한 그룹 보상으로 인해 GRPO가 비효율적이 되는 상황에서도 학습 신호를 보존합니다. 본 연구는 정확한 가치 기반 선택이 탐색된 각 상태에서 검증기 기대 보상을 개선하며, 유계 가치 추정 오차(bounded value-estimation error) 하에서의 근사적 보장과 함께 이러한 보장이 전체 롤아웃 정책으로 확장됨을 보입니다. 널리 인정받는 수학적 추론 벤치마크와 다양한 모델 규모에서 진행된 실험을 통해 경쟁력 있는 탐색 기반 방식 대비 상당한 성능 향상을 입증하여 APIVIS의 유효성을 검증합니다.
검증 가능한 보상을 통한 강화학습(RLVR)은 최종 정답의 정합성을 통해 수학적 추론을 감독하지만 개별 토큰에 대한 안내는 거의 제공하지 못합니다. 온-정책(on-policy) 증류(OPD)는 학생이 생성한 응답에 대해 조밀한 피드백을 제공하지만, 교사의 선호도가 반드시 정합성을 반영하는 것은 아닙니다. 최근의 하이브리드 방식들은 OPD와 검증기 기반 이점(advantage)을 결합하거나 교사 비율을 활용해 작업 크레딧에 다시 가중치를 부여합니다. 그러나 교사의 안내는 검증기 기반 그룹 정규화 이후에 반영되며, 토큰 재가중치 부여가 각 응답에 할당된 전체 작업 크레딧을 반드시 보존하는 것은 아닙니다. 본 논문에서는 응답 및 토큰 수준 모두에서 단일 GRPO 스타일 업데이트 내에 검증기와 교사 신호를 통합하는 UECR-GRPO(Unified Entropy-Calibrated Credit Redistribution for GRPO)를 제안합니다. 경로-효용 통합(Path-Utility Unification, PUU)은 단일 KL 정규화 목적 함수에서 검증기 보상과 교사 대 앵커 경로 로그 비율을 결합합니다. 온-정책 구현에서는 길이 정규화된 교사 점수를 사용하며 그룹 정규화 및 PPO 클리핑 이전에 두 보상을 결합하여, 교사의 증거가 응답 순위 결정에 영향을 미칠 수 있도록 합니다. 그런 다음 엔트로피 보정 재분배(Entropy-Calibrated Redistribution, ECR)는 부호가 있는 교사-이전 정책 간 토큰 격차를 사용하여 검증기 기반 컴포넌트를 재분배합니다. 전체 어휘 교사 엔트로피는 불확실한 안내를 감쇠시키는 한편, 응답별 제로섬 투영은 클리핑 이전에 전체 작업 크레딧과 토큰별 부호를 보존합니다. 5개의 수학적 추론 벤치마크 전반에서 UECR-GRPO는 Qwen3-1.7B 및 Qwen3-4B 학생 모델을 통해 각각 17.21%와 65.09%의 평균 \(\mathrm{Avg@12}\) 정확도를 달성하여, 각 규모의 가장 강력한 기준선 모델보다 0.89%p 및 0.56%p 더 높은 성능을 보였습니다.
LLM 추론용 검증 가능한 보상 강화학습(RLVR)에서 롤아웃당 그래디언트 스텝 수로 결정되는 오프-정책 정도가 중요도 샘플링 비율 분산과 클리핑 동작을 바꿔 업데이트를 지배하는 토큰을 달리한다는 점을 이론 분석으로 설명하고, 토큰 그룹별 중요도 샘플링 비율 분산에 맞춰 클리핑 경계를 조정하는 Adaptive Clip Policy Optimization(ACPO)을 제안한다. 3B·7B 모델의 수학 문제 풀이, 표 QA, 논리 퍼즐 등 추론 벤치마크에서 ACPO가 DAPO, CISPO 등 강력한 베이스라인을 능가한다.
While in-context learning is generally shown to be effective in Large Language Models (LLMs), bad contexts can cause performance degradation and mode collapse, a phenomenon we call "pigeonholing." **Unintentionally bad** contexts can happen without malicious jailbreaking intents: For example, a user asks the model to justify an incorrect math theorem or fails to correct the model's buggy code. Specifically, we investigate ``pigeonholing" in two scenarios: (1) when the user suggests a solution, and (2) when the conversation context includes the assistant's previous (incorrect) responses. Our experiments across 10 verifiable and open-ended tasks with 10 different models show that pigeonholing manifests in several ways: (1) repeating the incorrect answers from context (leading to 38-40% performance drop), (2) converging on a narrow set of answers in coding and text generation without exploring alternatives, and (3) flipping stance on controversial topics to align with the user or the assistant's previous claims. We find that pigeonholing worsens almost monotonically with the number of conversation turns (performance drops by additional 14+% as repeated mistakes increase from 1 to 5), and pigeonholing-induced mode collapse can happen even when the provided example is correct. As a step toward mitigation, we propose RLVR with synthetic errors which improves models by 43-60% under bad contexts compared to vanilla RLVR baselines.
검증 가능 보상 강화학습(RLVR)은 단일 샘플 정확도를 향상시킬 수 있지만, 반복 샘플링에서는 모델을 더 나쁘게 만들 수 있다. 우리는 이 pass@k inversion을 연구한다: 학습 후 정책은 큰 $k$에서 베이스 모델보다 더 적은 수의 서로 다른 문제를 풀 수 있다. 실패는 경계 프롬프트에 집중되는데, 여기서 베이스 모델은 샘플링으로는 복구 가능하지만 유한한 RLVR 롤아웃 그룹에서 신뢰할 만큼 자주 나타나기에는 너무 희소한 드문 정답 궤적을 포함한다. 우리는 이중 모드 설명이 이를 증거 부재(absence-of-evidence) 실패로 설명한다고 주장한다: 드문 정답 궤적은 RLVR이 이를 충분히 자주 샘플링하고 강화하기 전에 사라질 수 있다. 주요 기여는 이러한 진단적·기제적 프레이밍이다. 문제별 베이스 앵커링(PBA)은 의도적으로 단순한 개념 증명이다: 충분한 고정 베이스 정답 증거로 프롬프트를 선명화하고, 위험한 프롬프트를 베이스 분포에 앵커링한다. Omni-MATH-Test에서 세 가지 학습 시드에 걸쳐, MATH500을 보조 고커버리지 검증 벤치마크로 사용할 때, PBA는 매칭된 GRPO 대비 \PassK{1}과 고예산 커버리지 모두를 개선한다. 3000-프롬프트 체제 통제 진단 연구는 시드 전반에서 예상된 특성과 일치한다: 일반 GRPO는 베이스에서 풀 수 있는 경계 프롬프트를 잃지만, PBA는 드문 검증기-양성 궤적을 보존한다. 우리는 수학적 검증기를 검증기 안내 최적화의 통제된 테스트베드로 사용한다; 동일한 pass@k inversion 위험은 반복적인 시각, 공간, 또는 차트 추론 시도가 외부 도구나 검증기로 확인될 때 ECCV 관련 비전-언어 에이전트에도 적용된다. 추론 사후 학습은 얼마나 강하게 최적화할지뿐만 아니라, 어떤 프롬프트를 안전하게 최적화할 수 있는지도 결정해야 한다.
장기 지평(long-horizon) LLM 에이전트 강화학습에서 약한 정책은 종종 유사한 실패를 반복하여 정보가 적은 롤아웃 궤적을 만들고, 효과적인 정책 최적화를 제한한다. 기존 스킬 중심 방법들은 재사용 가능한 스킬을 최적화, 필터링, 또는 내재화함으로써 탐험을 개선한다. 그러나 이들은 진화하는 정책에 대한 적응형 학습 시점 지원으로 설계되기보다는 스킬 자체에 중심을 둔다. 이를 해결하기 위해, 우리는 스킬을 동적 학습 스캐폴드로 재구성하는 정책 중심 학습 패러다임을 제안한다. 우리의 프레임워크인 Pats는 최신 정책의 롤아웃 그룹을 증거 카드(evidence cards)로 변환하고, 과제별 평가를 사용하여 이후 롤아웃에 사용되는 컨텍스트를 조정한다. 구체적인 안내는 약한 정책이 어려운 과제를 완수하도록 돕는다. 정책이 개선됨에 따라 불필요한 컨텍스트는 명시적 안내에 대한 의존을 줄이면서 유용한 롤아웃 변이를 보존하도록 수정되거나 제거된다. 정책은 표준 RLVR을 사용하여 환경 보상으로 최적화되며, 학습 스캐폴드는 배포 시 폐기된다. ALFWorld와 WebShop에서 Pats는 강력한 기준선 대비 최대 18.6% 개선을 달성한다. 7개의 검색-증강 QA 벤치마크 전반에서 기준선보다 32.1% 적은 프롬프트 토큰을 사용하면서도 경쟁력을 유지한다.
검증 가능한 보상을 사용하는 강화학습(RLVR)은 언어 모델의 추론 능력을 크게 향상시켰지만, 비전-언어 모델로의 확장은 동시에 넓고, 정확히 검증 가능하며, 재현 가능한 학습 데이터의 부족으로 제약을 받고 있다. 본 논문은 다중 도메인 시각 추론을 위한 분류체계 기반 환경인 Trace를 제안한다. Trace는 과제 구성을 장면 문법(scene grammar)과 실행 가능한 과제 프로그램으로 분해하여 시각적 구현과 답 계산을 분리한다. 공유 의미 상태(shared semantic state)가 렌더링된 이미지, 프롬프트, 타입이 지정된 답, 검증기 상태, 재생 가능한 인스턴스 추적(trace)을 결정한다. 이로 생성된 환경은 277개의 장면 문법과 11개의 시각 도메인에 걸쳐 1,000개의 과제로 구성되며, 통제된 의미적·시각적 변이를 포함한다. 64,000개의 Trace 인스턴스에 대한 RLVR은 Qwen2.5-VL-3B에서 3.51%p, Qwen2.5-VL-7B에서 4.06%p만큼 24개 외부 벤치마크의 매크로 평균을 향상시켰으며, 이는 넓은 절차적 학습이 생성된 과제 분포를 넘어 전이될 수 있음을 보여준다. 프로젝트 페이지: https://maveryn.github.io/trace/.