멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.
RLVR에서 GRPO가 모든 토큰에 균일한 크레딧을 부여하는 한계를 줄이기 위해, 모델을 자신의 검증된 궤적으로 조건화할 때 발생하는 토큰별 KL 발산을 GRPO 그래디언트의 곱셈 가중치로 쓰는 SC-GRPO를 제안한다. 수학·코드·에이전트 작업 5개 벤치마크에서 GRPO 대비 8.1%, DAPO 대비 5.9% 성능 향상과 더 강한 OOD 일반화를 보이며, 외부 교사를 사용하는 OPD도 능가한다.
현재 언어 모델은 텍스트로부터 기호 음악(symbolic music)을 생성할 수 있으며, 기존 연구들은 음악성(musicality)에 집중해 왔습니다. 그러나 많은 응용 분야에서는 명시적인 제약을 만족하는 악보를 요구하지만, 모델들은 이러한 제약들을 동시에 만족하는 데 어려움을 겪고 있습니다. 프로그램 방식으로 검증 가능한 8개 계열의 제약 조건에 대한 2,180개 항목으로 구성된 벤치마크인 MusicConstraintBench에서, Llama-3.1-70B는 단일 제약 항목의 0.630을 만족하지만 4개 제약 항목에서는 0.044만을 만족합니다. 이를 해결하기 위해 인간의 주석, 보상 모델, 또는 음악 도메인의 지도 미세조정(supervised fine-tuning) 없이 검증기 보상(verifier reward)만으로 그룹 상대 정책 최적화(GRPO)를 통해 언어 모델을 학습시키는 MusicRLVR을 소개합니다. MusicRLVR은 (1) 비정형 악보를 걸러내는 엄격한 검증 게이트(hard validation gate), (2) 이진 보상과 달리 부분적으로 올바른 출력을 구분하는 계열별 단계적 점수 부여(graded per-family credit), (3) 모든 제약을 한 번에 만족했을 때 주어지는 전체 만족 보너스를 포함합니다. 광범위한 실험을 통해 MusicRLVR은 4시간 미만의 학습으로 혼합 제약 조건에서 Qwen3-4B-Instruct-2507의 성능을 0.160에서 0.797로 향상시켜 Llama-3.1-70B를 능가함을 보였으며, 확인되지 않은 속성 조합, 범위를 벗어난 매개변수, 그리고 학습 프롬프트보다 더 많은 수의 제약 조건에 대해서도 일반화됨을 입증했습니다. 이 방법론은 Qwen3-8B에도 전이되며, 학습된 두 모델 모두 일반 벤치마크에서 유의미한 정확도 손실을 보이지 않았습니다.
시계열 캡셔닝(time series captioning)은 시계열 이해의 핵심적인 단계이며, 신호와 자연어 사이를 잇는 가교 역할을 할 수 있습니다. 지도 미세조정(SFT)은 더 큰 모델의 캡션에 의존하므로 해당 모델의 품질을 뛰어넘을 수 없습니다. 강화학습(RL)은 이를 넘어설 수 있지만, 기존 보상은 다른 양식(modality)과 과제를 위해 설계되어 시계열 도메인의 개방형 생성(open-ended generation)에는 잘 전이되지 않습니다. 본 연구에서는 보상으로 캡션-시계열 식별(caption-to-series identification)을 활용하는 검증 가능한 보상 기반 강화학습(RLVR) 파이프라인인 LineupRL을 제안하여 이를 해결합니다. 보상 모델은 차트가 아닌 생성된 캡션과 원시 값 형태의 후보 시계열을 읽고, 여러 오답 선택지(distractors) 중에서 설명된 시계열을 선택해야 하는 동결된 대규모 언어 모델(LLM) 검증기입니다. 이러한 매칭은 질문을 작성하거나 캡션을 직접 평가하는 것보다 검증기에 훨씬 적은 부담을 주므로, 상용(off-the-shelf) LLM으로도 보상을 제공할 수 있습니다. 두 가지 캡셔닝 벤치마크뿐만 아니라 예측기가 캡션만 확인하는 예측 및 재구성 과제에서도 LineupRL은 모든 지표에서 SFT 및 RL 기준선을 능가합니다. 또한 LineupRL로 학습된 3B 비전-언어 모델(VLM)은 24분의 1에 불과한 파라미터 수로도 SFT 기준선이 증류된 원본 72B VLM을 능가합니다. 사례 연구를 통해 LineupRL이 보상 해킹(reward hacking)에 강건하며, 이를 통해 학습된 캡셔너가 추세를 추적함과 동시에 주요 지점의 값을 정확히 명시함을 보여줍니다.
많은 계산은 독립적인 하위 목표나 서로 겹치지 않는 상태 갱신이 교환 가능(commute)하기 때문에 여러 개의 유효한 실행 순서를 허용한다. 검증 가능한 보상을 사용하는 강화학습(reinforcement learning with verifiable rewards)은 보통 성공한 각 궤적(trace)을 서로 별개의 토큰 시퀀스로 취급하므로, 직렬화(serialization) 선택이 논리적 의존성으로 오인될 수 있다. 우리는 인접한 연산 쌍을 네이티브 검증기(native verifier)로 재실행하는 Verifier-Certified Rule Transport(VCRT)를 제안한다. 두 순서가 모두 수용되고 동일한 정규 상태(canonical state)에 도달하는 쌍은 교환 인증서(commutation certificate)를 제공하며, 거부되거나 상태가 바뀌는 역순은 반다이아몬드(anti-diamond)를 제공한다. VCRT는 반다이아몬드를 사용하여 진정한 선행 조건을 보존하고, 인증된 각 궤도(orbit)의 전체 확률 질량에 정책 크레딧을 할당한다. 또한 교환 후 일관성, 원본 유지(source retention), 정책 드리프트(policy drift)를 제약한다. 우리는 공유된 익명화 관계 그래프 인터페이스를 통해 ProofWriter, CLRS, Lean 전반에서 하나의 환경을 제외하는(leave-one-environment-out) 전이를 평가한다. 모든 학습과 체크포인트 결정은 홀드아웃 평가 이전에 고정되며, 홀드아웃 평가는 탐색이나 검증기 피드백 없이 항목당 하나의 그리디 궤적을 사용한다. VCRT는 가장 강력한 대응 기준선의 64.53%에 비해 77.60%의 매크로 통과율을 달성하였으며, 이는 13.06%p의 짝지은(paired) 향상이다(95% 부트스트랩 신뢰구간 [12.58, 13.54]). 이 향상의 대부분은 33.49%p를 기록한 Lean에서 나오며, ProofWriter와 CLRS는 평균 2.85%p 향상된다. 메커니즘 테스트는 일관되게 반다이아몬드 지도(supervision)를 지지하는 반면, No-Orbit은 전체 VCRT와 통계적으로 구별되지 않는다. 이 증거는 정확한 궤도 집계(exact orbit aggregation)가 전반적인 이점을 준다는 점을 입증하지 못한다.
검증 가능 보상 강화학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 널리 사용되지만, 그렇게 얻어진 모델의 일반화 가능성은 여전히 잘 이해되지 않고 있다. 본 연구에서는 수십억 매개변수 규모에서 매개변수 효율적 RLVR 미세조정에 대한 최초의 비공허 일반화 상한을 제시한다. 우리의 접근법은 PAC-Bayes 압축 상한을 이 설정에 맞게 조정하고, Gumbel-max 재매개변수화(reparameterization) 트릭을 적용하여 토큰 생성의 고유한 확률성을 다룬다. 이 상한을 실용화하기 위해 RLVR을 온-정책 지식 증류, TinyLoRA, 모델 양자화와 통합하는 Progressive RLVR 프레임워크를 제안한다. Progressive RLVR은 경험적으로 표준 LoRA 미세조정 성능의 84–97%를 유지하면서 14,796배 더 압축 가능한 모델을 생성한다. 우리는 이 프레임워크가 수학 문제 풀이, 프로그래밍, 일반 지식 추론, Text-to-SQL 네 영역에서 비공허 일반화 상한을 제공함을 보인다. 우리의 상한은 기본 모델의 정확도를 9–51% 초과하며, 미세조정된 모델의 정확도와 6–11% 이내의 차이에 있다.
건물은 전력망 조건에 대응하여 냉방 부하를 이동시킬 것으로 기대된다. 열에너지 저장(TES)은 이러한 이동을 가능하게 하지만, 이를 잘 스케줄링하려면 저장 제약 하에서 수 시간 앞을 내다보는 계획이 필요하다. 모델 예측 제어(MPC)와 강화학습은 여러 건물에 걸쳐 확장하기 어렵다. 본 연구는 대신 검증 가능한 보상을 사용한 강화학습(RLVR)을 통해 오픈 가중치 추론 모델을 적응시킨다. 정확한 오프라인 동적 계획법(DP) 행동 값을 모든 후보 행동에 대한 밀집 보상으로 변환한다. 30개의 학습 프롬프트만 사용하여, 강화 미세조정(RFT)은 모델을 상위 수준 스케줄러로 학습시키며, 텍스트 기반 상태와 예측으로부터 시간별 히트펌프 설정값을 출력한다. 평가는 정확한 DP가 계산 가능하고 최적해가 알려진 의도적으로 단순한 사무실 건물 TES 벤치마크를 사용한다. RFT는 오픈 가중치 모델의 배출량을 70.5에서 61.2 kg-CO2로 줄이며, 60.8 kg-CO2인 DP 최적값에 근접한다. GPT-5는 과제별 학습 없이 거의 DP 및 MPC와 동등한 성능을 보이는 한편, 비추론 LLM인 GPT-4o는 저장 없음 기준선보다 더 높은 배출량을 생성하므로, 추론 시점의 추론이 중요해 보인다. 추적 분석에 따르면 RFT는 새로운 전략을 만드는 것보다 관찰 가능한 계획 패턴(후보 비교, 선행 계획, 실행 가능성 검사)을 주로 안정화한다. 강건성 및 일반화 테스트는 무엇이 이전되는지 명확히 한다: 강화된 계획 패턴은 예측 오류와 미경험 TES 조건에서도 지속되며 배터리 과제로도 이전되지만, 그 다른 구조가 성능 향상을 제한한다. DP 기반 검증 가능한 보상은 오픈 가중치 추론 모델을 건물 저장 스케줄링에 적응시키는 실용적인 방법을 제공한다. 이 결과는 전체 건물 제어에 대한 고충실도 테스트와 도시 규모 에너지 관리를 위한 확장 가능한 검증기에 대한 동기를 제공한다.
편미분 방정식(PDE)은 과학 및 공학 모델링의 근간이지만, 신뢰할 수 있는 수치 솔버를 구축하는 것은 여전히 노동 집약적이며 이산화 기법, 안정성 조건, 경계 처리에 대한 전문 지식을 요구한다. 최근 연구에서는 PDE 풀이를 대규모 언어 모델(LLM)의 코드 생성 과제로 구성하기 시작했지만, 기존 접근 방식은 주로 추론 시점에서 작동하며 모델 자체를 적응시키기보다는 프롬프팅, 디버깅, 자기 수정, 테스트 시간 스케일링에 의존한다. 동시에, 검증 가능한 보상을 활용한 강화학습이 코드 및 수학 추론을 위한 사후 학습 패러다임으로 부상했지만, 이러한 검증기는 일반적으로 이진적이다: 컴파일러가 실행되거나, 테스트가 통과되거나. 이러한 신호는 과학적 정확성의 등급 구조를 무시하는데, 두 솔버가 모두 실행되더라도 해의 정확도에서 수십 배 이상 차이가 날 수 있다. 본 연구에서는 다중 PDE 솔버 코드 생성을 위한 강화학습 사후 학습 프레임워크인 RLVP(Reinforcement Learning with Verifiable Physics)를 소개한다. RLVP는 하이브리드 검증기로 이 검증 가능성 격차를 해소한다: 엄격한 프로그램 유효성 검사가 실행 가능성을 보장하는 한편, 연속 물리학 보상이 함수 공간 정확도와 PDE 잔차 일관성을 평가한다. 단일 정책이 쌍곡형, 포물형, 타원형, 비압축성 유동 시스템을 아우르는 다양한 PDE 계열에 걸쳐 사후 학습된다. RLVP는 PDE 벤치마크에서 사전학습 및 지도학습 단독 기준 모델 모두를 능가하며, 보류된 PDE에 대한 제로샷 성능 향상 전이를 보여준다. RLVP로 사후 학습된 소규모 LLM이 분포 내 PDE 솔버 생성에서 최첨단 모델을 프롬프팅하는 것보다 우수한 성능을 발휘할 수 있음을 보인다. 학습된 정책은 수치적 모티프에서 조합성의 증거를 나타낸다: 학습에 사용된 PDE로부터 습득한 스텐실, 시간 진행 기법, 경계 처리 기본 요소를 재조합하여 미지의 PDE 문제를 위한 솔버를 생성한다.
Claude, Codex-GPT, Grok, Gemini 네 프론티어 모델을 실행 기반 판정자(유닛 테스트)로 경쟁시켜 순위를 매긴 뒤, 검증된 풀이로 Qwen2.5-Coder 학생 모델을 위한 커리큘럼을 공동 구축하는 경쟁 후 협력(compete-then-collaborate) 프레임워크를 제안한다. 검증된 솔루션을 모방하는 SFT는 이미 역량 있는 코더 모델의 성능을 오히려 저하시키는 반면, 동일 커리큘럼을 검증 가능한 보상 강화학습(RLVR) 환경으로 활용하면 경쟁 문제에서 +49% 상대적 향상을 달성하여 AI 교사 협력의 핵심 가치가 답변 모방이 아닌 검증 가능한 학습 환경 구축에 있음을 보인다.
검증 가능한 보상(RLVR)만으로는 스타일·구조 등 비검증 속성이 무시되는 문제를 해결하기 위해, VARL은 생성기-판별기 적대적 프레임워크로 검증 보상과 인간 데모 기반 학습 신호를 곱셈 방식으로 결합한다. 버그 수정·스토리 생성·countdown-code 등 다양한 도메인에서 RLVR의 정확도 향상을 유지하면서도 다양성 붕괴와 보상 해킹을 크게 억제하고 인간 유사 출력을 달성했다.
Reinforcement Learning with Verifiable Rewards (RLVR) has become a widely adopted technique for enhancing the reasoning ability of Large Language Models (LLMs). However, the effectiveness of RLVR strongly depends on the capability of base models. This issue arises because it requires the model to have sufficient capability to perform high-quality exploration, which involves both effectiveness and diversity. Unfortunately, existing methods address this issue by imitating expert trajectories, which improve effectiveness but neglect diversity. To address this, we argue that the expert only needs to provide guidance only at critical decision points rather than the entire reasoning path. Based on this insight, we propose MENTOR: Mixed-policy Expert Navigation for Token-level Optimization of Reasoning, a framework that provides expert guidance only at critical decision points to perform effective and diverse exploration in RLVR. Extensive experiments show that MENTOR enables models capture the essence of expert strategies rather than surface imitation, thereby performing high-quality exploration and achieving superior overall performance. Our code is available online.
Critic-free reinforcement learning with verifiable rewards (RLVR), exemplified by Group Relative Policy Optimization (GRPO), avoids training a value function (critic) and reduces memory and compute overhead relative to critic-based PPO pipelines for aligning large language models. However, GRPO-style advantage estimation depends on prompt-local (within-prompt-group) reward statistics and can be unstable. In particular, when all rollouts in a prompt group receive identical rewards, the within-group reward variance becomes zero, and group normalization yields zero advantages for that group, impeding learning in cold-start regimes with binary verifiers. We introduce BV-Blend, a critic-free framework that stabilizes advantage estimation by combining prompt-local on-policy statistics with semantic-cluster-conditioned historical moments. BV-Blend maintains EMA-tracked reward moments for each cluster, derives a confidence weight from a standard error of the mean (SEM) proxy, and uses this weight to blend historical and prompt-local baseline and variance statistics into a standardized advantage for PPO-style clipped updates. Experiments on verifiable reasoning benchmarks show that BV-Blend improves training stability and performance, and remains robust in regimes where group-normalized methods may stall.
정답 없이 점수 기반 최적화 과제에서 결정적 실행 피드백을 연속 보상으로 쓰는 RiVER(Ranking-induced VERifiable) 프레임워크를 제안하며, 스케일 지배와 빈도 지배를 인스턴스별 순위 비교와 보정된 보상 형성으로 완화한다. AtCoder Heuristic Contest 12개 과제로 학습한 결과 ALE-Bench에서 Qwen3-8B·GLM-Z1-9B-0414의 rating 순위를 각각 8.9%·9.4% 올렸고, 정답 없이 학습했음에도 LiveCodeBench·USACO 같은 정확한 해 벤치마크에서도 평균 2.4%·3.5% 전이 성능 향상을 보였다.
Geo-Strat-RL은 지질 생성기와 실행 가능 검증기로 성층 단면도 관측과 이벤트 연대기를 만드는 합성 환경이며, 검증 가능한 보상 강화학습(RLVR)으로 비전-언어 모델(VLM)의 지질 이벤트 복원을 학습한다. RLVR은 보류 테스트 성층도에서 지질 내용 점수를 높였고, 성층 단면도 도메인에서 학습한 지질 추론이 지진 탐사용 합성 관측 형식으로도 전이되는 것을 보였다.
검증 가능한 보상을 활용한 강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 도구가 되었지만, 현재의 방법들은 단순성과 크레딧 할당(credit assignment) 사이의 상충 관계에 직면해 있습니다. GRPO와 같은 그룹 상대적(group-relative) 방법은 크리틱(critic) 학습을 피하지만, 일반적으로 궤적(trajectory) 수준의 어드밴티지를 모든 토큰에 할당합니다. 액터-크리틱(actor-critic) 방법은 더 조밀한 학습 신호를 제공하지만, 자체적인 학습 불안정성이 있는 학습된 가치 함수가 필요합니다. 본 논문에서는 VIMPO를 소개합니다. VIMPO는 KL-정규화된 강화학습의 최적성 조건에서 정책-암시적(policy-implied) 가치 함수를 도출하는 크리틱 없는 정책 최적화 방법입니다. 자기회귀 생성(autoregressive generation)의 경우, 결과적인 가치 재귀(value recurrence)는 정책-참조 로그 비율(policy-reference log-ratios)로 표현될 수 있으며, 궤적의 끝에는 미래 보상이 남지 않는다는 종단 조건에 의해 고정됩니다. 이를 통해 크리틱을 학습시키지 않고도 결과 수준의 검증 가능한 보상을 통합하는 간단한 가치 손실을 얻을 수 있습니다. 동일한 도출 과정은 크리틱 없는 액터 어드밴티지도 산출하며, 이를 통해 VIMPO는 가치 손실을 통한 보상 통합과 PPO 스타일 액터 업데이트를 통한 정책 개선을 분리할 수 있습니다. 수학 RLVR 벤치마크에서 VIMPO는 MATH-500, AIME 2024, AIME 2025, OlympiadBench 전반에 걸쳐 GRPO보다 개선된 성능을 보였으며, 특히 경쟁 스타일의 평가에서 더 큰 향상을 보였습니다. 노이즈가 있는 보상 하에서도 VIMPO는 GRPO에 대한 일관된 우위를 유지하며, 이는 정책-암시적 가치 최적화가 크리틱 없는 학습의 실용적 단순성을 유지하면서 더 세밀한 크레딧 할당을 제공할 수 있음을 시사합니다.