arXiv:2608.11674v1 cs.LG

GCPO: LLM 롤아웃 강화학습에서 부분공간 기하 진단 및 제약

GCPO: Diagnosing and Constraining Subspace Geometry in Rollout RL for LLMs

Kai Yang, Jingwei Xu, Wanyu Wang, Kai-Yuan Guo, Zhenbo Yu, Yi Wang, Yu Qiao

제출 2026-08-12

한국어 초록

GRPO와 같은 온-정책 롤아웃 방법은 대규모 언어 모델(LLM)의 사후 학습에서 핵심적이지만, 학습 불안정, 과제 간 능력 저하, 응답 길이 팽창 문제가 자주 발생한다. 기존 연구는 집계 업데이트의 부분공간(subspace) 기하를 규명해 왔으나, 이 기하의 단계별 변화와 모델 성능과의 관계는 여전히 불명확하다. 우리는 Principal-Subspace Overlap을 도입한다. 이는 사전학습 가중치의 지배적 특이 부분공간(dominant singular subspaces)에 대한 개별 롤아웃 업데이트를 차원 보정(dimension-corrected)하여 측정하는 지표이다. 평균 중첩(overlap)은 낮더라도 일시적인 급등(spike)이 성능 저하를 앞서는 경우가 많다. 이에 대응하여 GCPO(Geometrically Constrained Policy Optimization)를 제안한다. GCPO는 강한 양방(bilateral) 직교 투영(orthogonal projection)을 적용해 업데이트를 여(complementary) 부분공간으로 제한함으로써, 구조적으로 이러한 이탈(excursion)을 방지한다. Qwen3-8B와 GLM4-9B에서 수학적 추론, 코드 생성, 도구 사용(tool-use) 과제 전반에 걸쳐 GCPO는 GRPO 및 DAPO, GSPO를 포함한 최근 변형들보다 일관되게 우수하며, 기본 모델 대비 최대 27.69점, 최강 기준선 대비 최대 2.37점 향상을 보였다. 또한 GCPO는 일반 역량을 유지하고 응답 길이 팽창을 없애며 정책 엔트로피(policy entropy)를 안정화한다. 우리의 결과는 안정적인 강화학습 사후 학습을 위한 새로운 진단 관점과 원칙적인 설계 관점을 제공한다.

원문 초록

On-policy rollout methods such as GRPO are central to post-training of large language models, yet they frequently suffer from training instabilities, cross-task capability degradation, and response-length inflation. Although prior work has characterized the subspace geometry of aggregate updates, the stepwise variation of this geometry and its relationship to model performance remain unclear. We introduce Principal-Subspace Overlap, a dimension-corrected measure of individual rollout updates relative to the dominant singular subspaces of pretrained weights. Despite low average overlap, transient spikes often precede performance degradation. To address this, we propose GCPO (Geometrically Constrained Policy Optimization), which applies hard bilateral orthogonal projections to constrain updates to the complementary subspaces, preventing such excursions by construction. Across mathematical reasoning, code generation, and tool-use tasks on Qwen3-8B and GLM4-9B, GCPO consistently outperforms GRPO and recent variants, including DAPO and GSPO, improving over the base models and the strongest baseline by up to 27.69 and 2.37 points, respectively. Furthermore, GCPO preserves general capabilities, eliminates response-length inflation, and stabilizes policy entropy. Our findings provide a new diagnostic lens and a principled design perspective for stable reinforcement learning post-training.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.11674v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.