SPLIT-RL: 주장 수준 이점을 활용한 단계별 지각-언어 추론 학습
SPLIT-RL: Staged Perception-Language Reasoning Training with Claim-Level Advantages
한국어 초록
비전-언어(Vision-Language, VL) 추론은 모델이 이미지로부터 관련성 있고 정확한 정보를 추출하는 과정(시각적 추론, VR)과, 이로부터 답을 추론하는 과정(언어적 추론, LR)을 모두 수행해야 합니다. 검증 가능한 보상을 사용하는 강화학습은 일반적으로 최종 답변 보상을 포함하는 단일 사고의 연쇄(Chain-of-Thought, CoT)를 통해 두 과정을 함께 학습합니다. 이는 모든 CoT 토큰에 동일한 시퀀스 수준 이점을 부여하므로 능력별 오류를 구분하지 못합니다. 본 논문에서는 VR과 LR을 서로 분리된 단계에서 학습하는 단계별 사후 학습 접근법인 SPLIT-RL을 제안합니다. 한 그룹의 롤아웃이 한 번에 하나의 능력에 대해서만 달라지기 때문에, 그룹 상대적 이점은 해당 능력을 분리해 내며 각 단계는 단계별 보상을 통해 최적화됩니다. 나아가 VR 단계의 롤아웃을 원자적 시각 주장으로 분해하고 시각적 유형 그룹 형성을 기반으로 주장 수준에서 세분화된 이점을 제공하는 주장 수준 이점(CLA-GRPO)을 도입합니다. 비록 두 단계로 학습되지만, 학습된 정책은 추론 시점에 단일 CoT 호출을 사용하는 GRPO 모델처럼 평가됩니다. 이러한 프로토콜 하에서 SPLIT-RL은 2B부터 30B-A3B에 이르는 Qwen3-VL 모델들과 InternVL3.5-8B 전반에서 GRPO 대비 평균 정확도를 1.4-6.1점 향상시킵니다. 오라클 기반 진단을 사용하여 각 능력을 평가한 결과, 답변 전용 GRPO는 지각 능력을 변화시키지 않는 반면, SPLIT-RL은 VR과 LR을 모두 향상시키는 것으로 나타났습니다.
원문 초록
Vision-Language (VL) reasoning requires a model to both extract relevant and accurate information from an image (visual reasoning, VR), and to infer the answer from it (language reasoning, LR). Reinforcement learning with verifiable rewards typically trains both through a single chain-of-thought with a final-answer reward. This gives every CoT token the same sequence-level advantage, failing to distinguish capability specific errors. We propose SPLIT-RL, a staged post-training approach that trains VR and LR in disjoint phases. Because a group's rollouts differ along one capability at a time, the group-relative advantage isolates it, and each phase is optimized using phase-specific reward. We further introduce Claim-Level Advantage (CLA-GRPO), which decomposes VR-phase rollouts into atomic visual claims and provides a fine-grained advantage at claim level based on visual-type group formation. Although trained in two phases, trained policy is evaluated like GRPO model, with a single CoT call at inference time. Under this protocol, SPLIT-RL improves average accuracy over GRPO by 1.4-6.1 points across Qwen3-VL models from 2B to 30B-A3B and InternVL3.5-8B. Evaluating each capability using an oracle based diagnostic shows that answer-only GRPO leaves perception unchanged, whereas SPLIT-RL improves both VR and LR.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
판사 해킹의 속도는 무엇이 결정하는가? 판사 능력 대 정책-판사 간 격차
Who Sets the Pace of Judge Hacking? Judge Capability versus the Policy-Judge Gap
동결된 무참조(reference-free) LLM 판사(judge)를 대상으로 GRPO를 통해 정책(policy)을 학습시킬 때 판사는 더 많은 답변을 수용하지만, 사후 분석 결과 홀드아웃 탐욕적 정확도(held-out greedy accuracy)에서는 아무런 이득도 감지되지 않았습니다. 총 12개의 (정책, 판사) 조합 전체에서 시드 평균 이득은 결코 0.04를 넘지 않았습니다. 동일한 방식으로 정답 보상(gold-reward)을 적용한 대조군에서는 1.5B 정책의 탐욕적 정확도가 +0.054 [0.013, 0.096] 상승했으므로, 이 정책에서 나타난 평탄한 정확도는 판사 보상에 특화된 현상입니다. 반면 0.5B 정책의 경우 정답 보상에서도 감지 가능한 이득이 없었습니다. 확인된 상승세를 보인 네 개 조합에서 학습-롤아웃(training-rollout) 정확도의 초기 상승은 정답 보상 조건에서와 마찬가지로 대부분 샘플링 첨예화(sampling sharpening)에 기인했습니다. 이어서 강화학습(RL)이 판사의 위양성(false positive)을 악용하는 범위와 속도를 결정하는 것이 정책-판사 간 격차인지, 아니면 판사 자체인지를 질문합니다. 0.5B 및 1.5B Qwen2.5 정책을 크기가 최소 동등 이상인 네 가지 판사(Qwen2.5-1.5B/3B/7B, Llama-3.2-3B)에 대해 학습시키고, 1.5B 정책은 더 작은 하나의 판사(Qwen3-0.6B)에 대해서도 학습시켰습니다. 판사 해킹의 깊이(정체기, plateau)는 판사를 따랐습니다. 이는 판사 AUC와 상관관계(12개 조합에서 스피어만 상관계수 -0.69 [-0.94, -0.14])를 보였으며, 동일 계열 내에서는 더 큰 판사가 덜 심하게 속았습니다. 속도(시작 시점, onset)의 경우, 사전에 지정된 두 쌍이 격차 기반 설명과 상충했습니다(사전 지정된 임계값에서 격차가 더 큰 조합이 3.5배 더 일찍 속았습니다). 12개 조합으로는 어느 평가 지표에서도 판사 AUC와 격차를 공식적으로 분리해낼 수 없습니다. 더 작은 판사는 계열과 템플릿에서도 차이가 나긴 하지만, 정책만큼 큰 판사보다 더 일찍 속아 넘어가지 않았습니다. 홀드아웃된 세 판사에 대한 블라인드 테스트에서 해시 잠금된 스텝-0 예측기는 스텝-0 AUC를 능가하지 못했으나, 세 개 조합으로는 둘을 분리해 비교할 수 없습니다. 7-8B 규모에서 세 개 계열의 판사들은 0.37, 0.67, 0.85에서 정체기에 도달했습니다.
에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수
LLM Value Functions for Credit Assignment in Agentic RL
대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.
검증 가능한 보상을 활용한 강화학습을 위한 분산-최적 상태 리샘플링
Variance-Optimal State Resampling for Reinforcement Learning with Verifiable Rewards
검증 가능한 보상을 활용한 강화학습(RL)은 롤아웃 예산의 상당 부분을 학습 신호를 제공하지 않는 상태에 소비합니다. 본 연구에서는 이를 샘플링 분포 자체에 대한 질문으로 재구성합니다. 즉, 고정된 롤아웃 예산 하에서 어떤 상태 분포가 정책 그래디언트 추정량의 분산을 최소화하는가 하는 점입니다. 이에 대한 해답은 닫힌 형식(closed-form)의 네이만 배분(Neyman allocation), $μ_{\mathrm{var}}^π(s) \propto d^π(s)\,σ_π(s)$으로 도출되며, 이는 GRPO의 그룹 상대적 이점(group-relative advantage)과 자연스럽게 연결되고 외재적으로 부과된 스케줄 없이도 정책이 향상됨에 따라 창발적인 역방향 커리큘럼(reverse curriculum)을 유도합니다. 이러한 원리를 바탕으로, 접두 문맥(prefix) 재생 버퍼와 비용이 들지 않는 분산 프록시를 사용하는 GRPO의 플러그인 수정 기법인 VSR(Variance-driven State Resampling)을 제안합니다. 수학적 추론 벤치마크 및 긴 주기의 에이전트(agentic) 과제(Sokoban, BabyAI)에서 VSR은 업데이트당 생성되는 토큰 수를 줄이면서도 대부분의 벤치마크에서 GRPO 및 GiGPO보다 우수한 성능을 달성합니다.
EmoGavel: 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반 그라운딩 인식 강화학습
EmoGavel: Grounding-Aware Reinforcement Learning with Verifiable Rewards for Multimodal Emotion Preference Learning
멀티모달 감정 선호도 학습은 쌍별 비교(pairwise comparison)를 활용하여 어떤 개방형 감정 설명이 인간의 판단과 더 밀접하게 일치하는지 식별합니다. 그러나 기존 방법들은 주로 최종 선호도 결정에만 집중하며, 오류가 있는 내용을 국소화하고 수정하기 위한 명시적 감독을 거의 제공하지 않습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 멀티모달 감정 선호도 학습을 위한 검증 가능한 보상 기반의 그라운딩(grounding) 인식 강화학습 프레임워크인 EmoGavel을 제안합니다. 먼저 제어된 오류 구성 정보를 활용하여 선호도 예측, 오류 국소화, 수정 및 누락된 증거 복구를 공동으로 학습하는 그라운디드 지도 미세조정(Grounded SFT)을 도입합니다. 그런 다음 선호도 게이트 기반 그라운딩 보상과 동적 제로 분산 구조(dynamic zero-variance rescue)를 결합한 그라운딩 인식 그룹 상대 정책 최적화(GA-GRPO)를 통해 이러한 검증 가능한 결과를 최적화함으로써, 선호도 정확성을 우선시하고 전체 오답 그룹에서 학습 신호를 복구합니다. EmoPrefer 및 제어된 오류 평가 세트에 대한 실험 결과, EmoGavel은 강력한 오류 그라운딩 성능을 유지하면서 자연스러운 선호도 예측과 제어된 오류 식별 성능을 모두 향상시키는 것으로 나타났습니다. 코드와 모델 체크포인트는 논문 채택 후 공개될 예정입니다.
한 단계 더 어렵게, 지나치지 않게: GRPO에서 커리큘럼 난이도 점진적 확장의 이점과 한계
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
커리큘럼 학습(Curriculum learning)은 일반적으로 학습 샘플을 쉬운 것부터 어려운 순서로 구성합니다. GRPO에서는 중간 난이도 샘플이 유익한 그룹 상대적 학습 신호를 생성할 가능성이 더 높기 때문에 온라인 선택 시 매력적이며, 이를 우선시하면 학습 효율성을 향상시킬 수 있습니다. 그러나 이러한 샘플을 지속적으로 선택하는 것이 최종 모델 성능의 극대화로 이어지는지, 또는 더 어려운 샘플로 점진적으로 나아가는 것이 학습에 도움이 될 수 있는지는 여전히 불분명합니다. 한편, 정책(policy)이 발전함에 따라 샘플 난이도 또한 변화하므로, 고정된 난이도 추정치는 현재 정책과 불일치할 수 있습니다. 따라서 본 연구에서는 현재 정책에 따라 샘플 난이도를 재추정하고, 쉬운 것부터 어려운 것으로 진행하는 커리큘럼 학습의 원리에 착안하여 활성 난이도 구간을 점진적으로 더 어려운 샘플 쪽으로 전환하는 단계별 커리큘럼을 설계하고 평가합니다. GSM8K 실험 결과, 지속적인 중간 난이도 선택이 가장 우수한 성능을 달성하지는 못하는 것으로 나타났습니다. 3개의 무작위 시드 전반에 걸쳐, 적당히 더 어려운 난이도 구간으로 진행했을 때 테스트 정확도는 고정 중간 커리큘럼의 $0.6449 \pm 0.0024$와 비교하여 $0.6591 \pm 0.0077$로 향상되었습니다. 그러나 난이도 구간을 더 어렵게 추가로 확장하면 정확도가 $0.6405 \pm 0.0053$으로 감소합니다. 이러한 결과는 단계별 난이도 확장이 지속적인 중간 난이도 선택보다 뛰어난 성능을 보일 수 있지만, 그 이점이 단조적이지는 않음을 보여줍니다. 따라서 효과적인 GRPO 커리큘럼은 중간 난이도를 넘어 확장함으로써 이점을 얻을 수 있지만, 지나치게 어려운 샘플로의 과도한 진행은 피해야 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.