골디락스 RL: 추론을 위한 희소 보상 탈출을 위한 작업 난이도 조율
Goldilocks RL: Tuning Task Difficulty to Escape Sparse Rewards for Reasoning
한국어 초록
강화학습(RL)은 언어 모델에서 추론 능력을 이끌어내기 위한 강력한 패러다임으로 부상했습니다. 그러나 희소 보상(sparse reward)에 의존하는 방식은 모델이 최소한의 피드백만으로 방대한 탐색 공간을 탐색해야 하므로 표본 효율성(sample efficiency)을 크게 떨어뜨립니다. 고전적인 커리큘럼 학습(curriculum learning)은 복잡도를 기준으로 데이터를 정렬하여 이를 완화하고자 하지만, 기존 연구들은 주로 소규모 데이터셋을 대상으로 하여 현대 언어 모델 학습에 일반적인 대규모 설정으로 직접 전이되지 않습니다. 또한, 특정 모델에 적합한 데이터 순서를 파악하기 어려운 경우가 많습니다. 이를 해결하기 위해, 각 후보 문제에 대한 모델의 롤아웃 전반에 걸친 보상의 표준편차를 예측하는 선택기(Selector) 네트워크를 활용하는 적응형 데이터 선택 전략인 골디락스(Goldilocks)를 제안합니다. 이 선택기는 GRPO로 모델을 학습시키는 동안 모델의 현재 능력에 비해 너무 쉽지도 너무 어렵지도 않은 문제(골디락스 원리)에 해당하는, 예측된 보상 변동성이 높은 문제를 우선시합니다. 이미 본 샘플에 대한 모델의 성능을 활용함으로써 선택기는 모델의 진화하는 능력에 지속적으로 적응합니다. OpenMathReasoning 및 Polaris 데이터셋 전반에서 골디락스는 표준 GRPO 대비 일관된 성능 향상을 보였으며, 해당 GRPO 성능에 도달하는 데 최대 78% 적은 최적화 단계를 필요로 했습니다.
원문 초록
Reinforcement learning has emerged as a powerful paradigm for unlocking reasoning capabilities in language models. However, relying on sparse rewards makes this process highly sample-inefficient, as models must navigate vast search spaces with minimal feedback. While classic curriculum learning aims to mitigate this by ordering data based on complexity, prior works have primarily targeted small datasets and do not directly transfer to the large-scale settings typical of modern language model training. Furthermore, the right ordering for a specific model is often unclear. To address this, we propose Goldilocks, an adaptive data-selection strategy that uses a Selector network to predict the standard deviation of rewards across the model's rollouts for each candidate question. The Selector prioritizes questions with high predicted reward variability, corresponding to questions that are neither too easy nor too hard for the model's current capabilities (Goldilocks principle), while training the model with GRPO. By leveraging the model's performance on seen samples, the Selector continuously adapts to the model's evolving abilities. Across the OpenMathReasoning and Polaris datasets, Goldilocks consistently improves over standard GRPO, requiring up to 78% fewer optimization steps to reach the corresponding GRPO performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
한 단계 더 어렵게, 지나치지 않게: GRPO에서 커리큘럼 난이도 점진적 확장의 이점과 한계
A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
커리큘럼 학습(Curriculum learning)은 일반적으로 학습 샘플을 쉬운 것부터 어려운 순서로 구성합니다. GRPO에서는 중간 난이도 샘플이 유익한 그룹 상대적 학습 신호를 생성할 가능성이 더 높기 때문에 온라인 선택 시 매력적이며, 이를 우선시하면 학습 효율성을 향상시킬 수 있습니다. 그러나 이러한 샘플을 지속적으로 선택하는 것이 최종 모델 성능의 극대화로 이어지는지, 또는 더 어려운 샘플로 점진적으로 나아가는 것이 학습에 도움이 될 수 있는지는 여전히 불분명합니다. 한편, 정책(policy)이 발전함에 따라 샘플 난이도 또한 변화하므로, 고정된 난이도 추정치는 현재 정책과 불일치할 수 있습니다. 따라서 본 연구에서는 현재 정책에 따라 샘플 난이도를 재추정하고, 쉬운 것부터 어려운 것으로 진행하는 커리큘럼 학습의 원리에 착안하여 활성 난이도 구간을 점진적으로 더 어려운 샘플 쪽으로 전환하는 단계별 커리큘럼을 설계하고 평가합니다. GSM8K 실험 결과, 지속적인 중간 난이도 선택이 가장 우수한 성능을 달성하지는 못하는 것으로 나타났습니다. 3개의 무작위 시드 전반에 걸쳐, 적당히 더 어려운 난이도 구간으로 진행했을 때 테스트 정확도는 고정 중간 커리큘럼의 $0.6449 \pm 0.0024$와 비교하여 $0.6591 \pm 0.0077$로 향상되었습니다. 그러나 난이도 구간을 더 어렵게 추가로 확장하면 정확도가 $0.6405 \pm 0.0053$으로 감소합니다. 이러한 결과는 단계별 난이도 확장이 지속적인 중간 난이도 선택보다 뛰어난 성능을 보일 수 있지만, 그 이점이 단조적이지는 않음을 보여줍니다. 따라서 효과적인 GRPO 커리큘럼은 중간 난이도를 넘어 확장함으로써 이점을 얻을 수 있지만, 지나치게 어려운 샘플로의 과도한 진행은 피해야 합니다.
Range-GRPO: 보상 구간 간 쌍별 관계를 통한 정책 최적화
Range-GRPO: Policy Optimization via Pairwise Relations among Reward Intervals
대규모 언어 모델(LLM)의 활용이 확대됨에 따라, 이를 다운스트림 작업에 적응시키기 위한 사후 학습의 중요성이 점점 커지고 있다. 그러나 특히 참조 정답이나 실행 가능한 검증기가 없는 분야에서는 신뢰할 수 있는 감독(supervision)을 확보하는 데 여전히 많은 비용이 든다. LLM-as-a-judge는 레이블이 없는 응답에 대해 확장 가능한 유사 보상(pseudo-reward)을 제공하지만, 단일 점수(point score)는 보상의 불확실성을 명시적으로 나타내지 못한다. 이는 유사 보상을 콘포멀하게 보정된(conformally calibrated) 보상 구간으로 표현하려는 동기가 된다. 우리는 제한된 레이블 데이터와 레이블이 없는 프롬프트를 결합하는 반지도(semi-supervised) 사후 학습 프레임워크인 Range-GRPO를 제안한다. Group Relative Policy Optimization(GRPO)에서는 학습 신호가 각 롤아웃 그룹 내에서의 상대적 보상 비교에 의존한다. 제안하는 목적 함수는 보상 구간을 점 보상(point reward)으로 축소하는 대신 쌍별(pairwise)로 비교함으로써, 구간 불확실성이 이러한 신호의 크기와 방향 모두에 영향을 미칠 수 있도록 한다. 이론적 분석을 통해 이러한 차이를 규명하고, 모든 보상 구간이 점으로 축소될 때 제안된 목적 함수가 Dr.GRPO의 어드밴티지(advantage)로 환원됨을 보인다. 실험적으로 Range-GRPO는 평가된 반지도 학습 방법들 중에서 분포 내(in-distribution) 및 분포 외(out-of-distribution) 평균 성능이 가장 높으면서도 더 적은 학습 자원을 필요로 한다.
사후 집중 관점에서 본 확률 기반 강화학습의 재고
Rethinking Probability-Based Reinforcement Learning From Posterior Concentration
확률 기반 보상을 활용한 검증기 없는(verifier-free) 강화학습(RL)은 외부 검증기를 사용할 수 없는 일반 추론 태스크에서 대규모 언어 모델(LLM)을 학습(training)하기 위한 유망한 방식을 제공합니다. 그러나 특히 긴 호흡의 추론(long-horizon reasoning)에서 이러한 보상의 신뢰성은 아직 충분히 연구되지 않았습니다. 본 연구는 확률 보상에서 길이에 의존하여 발생하는 실패 모드를 규명하고, 이를 사후 집중 현상(Posterior Concentration Phenomenon, PCP)이라 명명합니다. 우리는 추론 과정(reasoning trace)이 길어짐에 따라 추론 과정을 조건부로 하는 참조 답변의 확률이 분산이 낮은 구간으로 축소되는 경우가 빈번함을 보입니다. 이 현상은 거의 구별할 수 없는 보상으로 이어져, GRPO 기반 설정에서 확률 기반 정책 최적화(policy optimization)를 불안정하고 비효율적으로 만듭니다. 이에 착안하여, 우리는 더 나은 최적화 안정성과 토큰(token) 효율성을 위해 PCP를 명시적으로 고려하는 검증기 없는 강화학습 프레임워크인 집중 인식 사후 보상 기반 강화학습(Reinforcement Learning with Concentration-aware Posterior Rewards, RLCPR)을 제안합니다. 이 프레임워크는 두 가지 구성 요소를 가집니다. 첫째는 생성 전에 집중이 발생하기 쉬운 롤아웃을 줄이는 불확실성 인식 데이터 샘플링이며, 둘째는 사후 보상이 붕괴될 때 불필요하게 긴 추론 과정에 페널티를 부여하는 집중 인식 정규화(regularization)입니다. 광범위한 실험 결과, RLCPR은 더 높은 토큰 효율성과 더불어 일반 영역 및 수학적 추론 과제를 포함한 7개 벤치마크(benchmark) 중 6개에서 기존 최고 수준의 검증기 없는 강화학습 기준선(baseline) 대비 최대 4.0% 우수한 성능을 보였습니다.
MetaRubric: 루브릭 기반 강화학습을 위한 보상 학습
MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
루브릭 기반 강화학습(RL)은 개별 응답 요구사항에 부분 점수를 부여함으로써 개방형 과제로 보상 기반 최적화를 확장합니다. 그러나 루브릭 판정 모델은 요구되는 정보나 행동이 응답에 없음에도 불구하고 높은 기준 점수를 부여할 수 있으며, 본 논문에서는 이러한 실패 모드를 '공허한 점수 부여(Vacuous Credit)'라고 명명합니다. 이러한 점수 부여는 필수 정보가 제거된 후에도 지속되며, 응답의 GRPO 어드밴티지 부호를 역전시킬 수 있습니다. 이 문제를 해결하기 위해, 우리는 증거 인식 정책 최적화와 응답 유도 루브릭 적응을 번갈아 수행하는 MetaRubric을 제안합니다. 우리는 각 프롬프트에서 과제와 관련된 하나의 사실을 변경하여 반사실적(counterfactual) 대응물을 구성합니다. 정책 최적화 과정에서는 응답이 요구되는 루브릭 기준을 충족하기에 충분한 증거를 포함할 때만 점수가 부여됩니다. 각 정책 최적화 단계 이후에는 현재 정책의 응답을 바탕으로 원래 기준과 반사실적 기준을 수정하며, 이때 각 프롬프트의 사실에 따라 해석되는 원래 프롬프트의 초기 루브릭 의미는 보존합니다. 또한 관찰된 정책 오류를 더 잘 해결하기 위해 단계 경계에서 기준 가중치를 조정합니다. 다양한 백본에 걸쳐 MetaRubric은 정적 판정 모델 기반 GRPO 대비 PubMedQA 정확도를 6.00~20.40% 포인트 향상시켰으며, HealthBench-Hard 및 두 개의 멀티모달 의료 벤치마크에서도 추가적인 성능 향상을 달성했습니다.
RISED: 에이전트 다중 환경 선택 및 자기 증류를 위한 루브릭
RISED: RubrIcs for agentic multi-environment Selection and sElf-Distillation
다양한 상호작용 환경에서 단일 대규모 언어 모델(LLM) 에이전트를 공동으로 학습(training)시키는 것은 제너럴리스트 에이전트로 나아가는 경로로서 점점 더 많은 주목을 받고 있습니다. 기존의 커리큘럼 및 데이터 선택 전략은 종종 환경(environment) 수준에서 학습을 할당하거나 국소적인 보상(reward) 기반 신호에 우선순위를 두며, 프롬프트(prompt) 그룹 선택 시 환경 간 현재 롤아웃(rollout) 사이의 관계를 명시적으로 고려하지 않습니다. 한편, 환경마다 학습되는 속도가 다르기 때문에 배치(batch) 내에 전체 실패 및 전체 성공 롤아웃 그룹이 공존할 수 있으며, 이로 인해 해당 데이터에는 그룹 상대적 보상 신호가 남지 않게 됩니다. 이러한 두 가지 과제는 다중 환경 강화학습(RL)에서 스칼라 보상에만 의존하는 것의 한계를 부각합니다. 즉, 스칼라 보상은 환경 간 관계에 대한 제한적인 정보만 제공하며, 보상이 동일할 때는 그룹 내 보상 대조를 제공하지 못합니다. 이는 학습을 유도하기 위해 롤아웃 행동을 기술하는 루브릭(rubric)과 같은 더 풍부한 텍스트 피드백의 필요성을 동기부여합니다. 보상으로서의 루브릭 활용을 넘어, 본 연구는 온라인 데이터 선택과 정책 감독을 모두 유도하도록 루브릭을 재목적화합니다. LLM 판별기(judge)는 환경 전반에 걸쳐 공유되는 사전 정의된 루브릭 어휘를 사용하여 각 롤아웃에 태그를 지정합니다. 생성된 프로필은 이미 선택된 데이터와의 중복을 제한하면서 혼합 환경 배치의 전반적인 행동 구성과 일치하는 데이터 선택을 안내합니다. 사용 가능한 긍정적 루브릭(바람직한 행동 설명)은 온-정책(on-policy) 자기 증류 교사 모델(model)을 위한 특권적 맥락(privileged context)을 제공하여 추가적인 토큰(token) 수준의 감독을 공급하는 반면, 부정적 루브릭(원치 않는 행동 설명)은 이후의 롤아웃 생성이 반복되는 실패 모드에서 벗어나도록 유도합니다. 이러한 구성 요소들이 결합하여 RISED를 형성합니다. 여러 모델 백본에 걸쳐 RISED는 환경 전반에서 가장 높은 평균 통과율을 달성하며 모든 개별 환경에서 1위 또는 2위를 기록합니다. RISED에 대한 루브릭 기반 분석은 이러한 성능 향상에 수반되는 행동 변화를 추가로 규명할 수 있습니다.
이산적 주석, 연속적 선호: 정확하고 일반화 가능한 미적 이미지 크롭을 위한 지도 방식의 재고
Discrete Annotation, Continuous Preference: Rethinking Supervision for Accurate and Generalizable Aesthetic Image Cropping
미적 이미지 크롭(Aesthetic image cropping)은 미학과 구도 측면에서 이미지의 최적 크롭 영역을 식별하는 것을 목표로 합니다. 주석이 달린 데이터 기반의 지도(supervision) 방식이 기본적이지만, 기존 데이터셋이 (1) 인간의 주관성과 (2) 고정된 샘플링 그리드에 국한된 엄격한 이산성(rigidity discreteness)을 겪는다는 오랜 문제로 인해 해당 분야의 발전이 저해되어 왔습니다. 이러한 결함이 있는 주석은 학습된 모델의 정확도와 일반화 성능을 제한할 뿐만 아니라 공정한 평가를 심각하게 왜곡합니다. 이를 극복하기 위해, 본 연구에서는 크롭 공간 전반에 걸쳐 인간의 크롭 선호를 다중 피크를 가지며 연속적이고 뚜렷한(sharp) 필드로 모델링할 것을 제안합니다. 우리는 (1) 피크 클러스터링, (2) 오프-래티스(off-lattice) 정밀화, (3) 네거티브 셰이핑, (4) 필드 조립을 통해 이산적 주석으로부터 조밀한 선호 지형을 복원하는 연속 선호 필드(CPF, Continuous Preference Field)를 도입합니다. 이를 기반으로, CPF 보상을 활용하여 GRPO로 최적화된 VLM 기반 크롭 모델인 CPIC를 학습시켰으며, 이는 템플릿 붕괴를 극복하고 최고 수준의 성능과 뛰어난 도메인 외(out-of-domain) 일반화를 달성합니다. 마지막으로, 오랜 벤치마크 평가 위기를 해결하기 위해 기존 정답(ground-truth) 박스를 포괄적으로 재보정하는 CPICD를 도입합니다. 주류 벤치마크 전반에서 그리드에 종속된 아티팩트를 보정하기 위해 CPF를 활용함으로써, CPICD는 향후 크롭 연구를 위한 엄격하고 신뢰할 수 있는 기반을 구축합니다. 광범위한 실험과 사용자 연구는 우리가 제안한 CPF, CPIC, CPICD의 우수성을 입증합니다. 코드, 모델, 데이터는 https://github.com/zzqingz/CPIC 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
42 pages, 23 figures