arXiv:2505.11595

Spectral Policy Optimization: Coloring your Incorrect Reasoning in GRPO

Peter Chen, Xiaopeng Li, Ziniu Li, Xi Chen, Tianyi Lin

제출 2025-05-16

원문 초록

Reinforcement learning (RL) has demonstrated significant success in enhancing reasoning capabilities in large language models (LLMs). One of the most widely used RL methods is Group Relative Policy Optimization (GRPO)~\cite{Shao-2024-Deepseekmath}, known for its memory efficiency and success in training DeepSeek-R1~\cite{Guo-2025-Deepseek}. However, GRPO stalls when all sampled responses in a group are incorrect -- referred to as an \emph{all-negative-sample} group -- as it fails to update the policy, hindering learning progress. The contributions of this paper are two-fold. First, we propose a simple yet effective framework that introduces response diversity within all-negative-sample groups in GRPO using AI feedback. We also provide a theoretical analysis, via a stylized model, showing how this diversification improves learning dynamics. Second, we empirically validate our approach, showing the improved performance across various model sizes (7B, 14B, 32B) in both offline and online learning settings with 10 benchmarks, including base and distilled variants. Our findings highlight that learning from all-negative-sample groups is not only feasible but beneficial, advancing recent insights from \citet{Xiong-2025-Minimalist}.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.11064v1cs.LG공통 태그 Reinforcement Learning (RL), Diversity

RLVR에서 해법 모드 붕괴의 측정 및 완화

Measuring and Mitigating Solution Mode Collapse in RLVR

언어 모델(LM)은 대개 동일한 질문에 대해 여러 방식으로 답할 수 있지만, 검증 가능한 보상을 활용한 강화학습(RLVR)은 모델이 어떤 정답을 생성하든 개의치 않습니다. 익숙한 답의 1,000번째 복사본이든 모델이 이전에 한 번도 생성한 적 없는 답이든, 정답인 해법은 동일한 보상을 받게 됩니다. 그러나 모델이 학습(training)되면서 여러 올바른 해법을 유지하도록 하는 것에는 잠재적인 가치가 있습니다. 예를 들어, 다중 모드(mode)는 사용자에게 선택권을 제공하고 전반적인 모델 성능을 향상시키는 문제 해결 전략을 제공할 수 있습니다. 본 논문에서는 검증기(verifier)가 정확도와 발견된 모드를 모두 반환하는 다중 해법 작업 벤치마크인 ModeBench를 소개합니다. 그런 다음 ModeBench를 사용하여 RLVR 사후 학습(post-training) 과정에서 해법의 다양성이 어떻게 변화하는지 측정합니다. 그 결과, 정확도가 유지되거나 향상되더라도 RLVR 사후 학습은 더 적은 수의 정답 모드로 확률을 집중시키며, 나아가 최신 프론티어(frontier) 모델들은 이미 고도로 집중되어 있음을 발견했습니다. 이에 따라 발견된 모드당 검증된 예시 하나를 리플레이 버퍼(replay buffer)에 저장하고 저장된 모드들을 균등하게 학습하는 해법인 Re:Max를 제안합니다. 따라서 한 번 발견된 해법도 반복해서 발견된 해법만큼 자주 연습됩니다. 세 가지 모델 스케일, 두 가지 RL 목적 함수, 그리고 더 어려운 작업 구성 전반에 걸쳐, 리플레이는 정책(policy)의 성공 빈도뿐만 아니라 성공할 수 있는 서로 다른 방식의 다양성 또한 개선함을 확인했습니다.

arXiv:2608.16666v3cs.AI공통 태그 Reinforcement Learning (RL)

Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크

Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents

구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.

arXiv:2606.12247v2cs.CY공통 태그 Diversity

3인칭 감사를 넘어서: 사용자 중심 LLM 바이어스 연구를 위한 상황화된 상호작용 감사

Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research

대규모 언어 모델(LLM)의 편향 연구는 모델이 인구 집단을 외부 대상으로서 어떻게 표상하거나 평가하는지를 연구하는 3인칭 감사에 주로 초점을 맞추어 왔다. 그러나 이 패러다임은 감사에 사용자가 부재하다는 구조적 사각지대를 간과한다. 실제로 LLM은 개방적이고 개인적인 상호작용에서 사용되며, 이때 모델은 사용자를 암묵적으로 표상하고 그에 맞춰 응답을 조정한다. 동일한 요청이 누가 묻느냐에 따라 다른 응답을 낳는다면, 편향은 모델이 타인을 서술하는 방식이 아니라 대화 상대를 대하는 방식에서 나타난다. 1인칭 편향에 대한 실증 연구가 늘고 있으나, 서로 다른 단서, 결과 지표, 타당화 방식을 사용하여 결과를 비교하기 어렵다. 본 논문은 이러한 문헌을 위한 공통 진단 프레임워크인 상황 기반 상호작용 감사(SIA)를 제안한다. SIA는 이름과 표면적 표지, 글쓰기 스타일과 방언, 명시된 정체성이라는 사용자 프로필 신호의 유형론을 설계 원칙 및 결과 지표와 함께 도입하여 연구를 비교하고 누적할 수 있게 한다. 우리는 이 프레임워크를 아홉 개 과업 영역과 세 가지 모델에 걸친 칠레인의 이름과 성에 대한 사례 연구로 구현하고, 실무자를 위한 지침과 연구자를 위한 미해결 질문으로 마무리한다.

arXiv:2607.22305v2cs.AI공통 태그 Diversity

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2606.18209v2cs.LG공통 태그 Diversity

분류를 위한 데이터셋 증류 재고: 증류 세트가 코어셋보다 우수한가?

Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?

데이터셋 증류(DD)는 대규모 데이터셋의 정보를 소수의 합성 샘플로 압축하여 효율적인 학습을 위한 간결한 학습 세트를 합성하는 것을 목표로 하는, 데이터 중심 머신러닝의 주요 접근법으로 부상했다. 그러나 DD 방법은 표준 ERM부터 단일/다중 교사 지도에 이르기까지 일관되지 않은 평가 프로토콜 하에서 평가되는 경우가 많아, 증류된 데이터 자체의 효과를 평가 방식과 분리하여 파악하기 어렵다. 또한 많은 기존 방법은 압축된 데이터셋을 실제 샘플의 부분집합으로 제한하면 표현력이 근본적으로 제한된다는 가정에 기반하여, DD가 코어셋 선택(CS)과 같은 데이터 가지치기 접근법보다 우수하다고 주장한다. 본 연구에서는 표준화된 데이터셋과 평가 프로토콜을 사용한 대규모 실험을 통해 DD 방법의 본질적 효과를 비판적으로 평가한다. 우리는 ImageNet-1K, ImageNet100, ImageNette에서 널리 채택된 세 가지 학습 프로토콜을 사용하여 일곱 가지 최신(SOTA) DD 방법을 네 가지 CS 전략과 비교 평가한다. 실험 결과, 일부 DD 방법은 단순한 무작위 부분집합조차 능가하지 못하며, SOTA DD 접근법도 대규모 데이터셋에서 코어셋과 비슷하거나 더 나쁜 성능을 보이면서 구축 비용은 상당히 더 높은 것으로 나타났다. 정확도 외에도 압축된 세트의 대표성, 다양성, 품질을 평가한 결과, 코어셋이 원본 데이터 분포를 일관되게 더 잘 포괄하는 것을 확인했다. 이러한 결과는 현재 DD 방법의 실용적 이점이 제한적임을 보여 주며, 코어셋이 여전히 경쟁력이 있고 데이터 중심 학습에서 계산적으로 더 효율적인 대안인 경우가 많음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.