다중 보상 강화학습에서 집계로 유발되는 보상 해킹의 규명과 완화
Uncovering and Mitigating Aggregation-Induced Reward Hacking in Multi-Reward Reinforcement Learning
한국어 초록
대규모 언어 모델의 강화학습 미세조정은 다양한 역량에 걸쳐 더 풍부한 지도 신호를 제공하기 위해, 검증 가능한 규칙, 태스크별 평가기, 학습된 보상 모델(reward model) 등 여러 보상 차원을 점점 더 많이 채택하고 있다. 이러한 차원들은 일반적으로 고정된 집계 가중치로 스칼라화된다. 본 연구는 집계 자체가 보상 해킹(reward hacking)을 유발하는 실패 양상을 규명한다. 정적 투영(static projection)은 질적으로 서로 다른 보상 프로필을 하나의 스칼라로 뭉뚱그려, 최적화가 가장 쉽거나, 가장 밀도가 높거나, 보상 신호에서 체계적으로 유리한 차원으로 쏠리게 만든다. 학습이 진행되는 동안 이는 정책(policy)을 최적이 아닌 프로필에 가두고, 더 높은 태스크 성능을 낼 수 있는 더 균형 잡힌 프로필로의 수렴을 막는다. 이를 해결하기 위해 우리는 상대적 부족분(relative shortfall), 보상 변동성(reward volatility), 최근 진척도(recent progress)의 세 가지 신호로 집계 가중치를 재배분하는 경량 온라인 방법인 Adaptive Multi-Reward Projection(AMRP)을 제안한다. AMRP는 뒤처지거나, 불안정하거나, 정체된 차원에 대한 압력을 높이고 포화된 차원에 대한 압력은 완화한다. GRPO 환경에서 구조화된 추론, 인용 기반 생성(citation-grounded generation), 개방형 정렬(open-ended alignment)에 걸쳐, AMRP는 고정 및 동적 가중치 베이스라인보다 보상 프로필의 균형과 다운스트림 성능을 일관되게 향상시킨다. 또한 GDPO 및 PPO에서도 효과를 유지하여 여러 강화학습 알고리즘과의 호환성을 뒷받침한다. 코드는 https://github.com/yyhappier/AMRP.git 에서 확인할 수 있다.
원문 초록
Reinforcement learning fine-tuning of large language models increasingly adopts multiple reward dimensions, including verifiable rules, task-specific evaluators, and learned reward models, to provide richer supervision across diverse capabilities. These dimensions are commonly scalarized with fixed aggregation weights. We identify a failure mode in which aggregation itself induces reward hacking: static projection aliases qualitatively different reward profiles into a single scalar, steering optimization toward whichever dimensions are easiest, densest, or systematically favored by the reward signal. Over training, this traps the policy in suboptimal profiles and prevents convergence to better-balanced ones that would yield higher task performance. To address this, we propose Adaptive Multi-Reward Projection (AMRP), a lightweight online method that reallocates aggregation weights using three signals, relative shortfall, reward volatility, and recent progress, increasing pressure on lagging, unstable, or stagnant dimensions while relieving saturated ones. Across structured reasoning, citation-grounded generation, and open-ended alignment under GRPO, AMRP consistently improves reward-profile balance and downstream performance over fixed and dynamic weighting baselines; it also remains effective with GDPO and PPO, supporting compatibility across RL algorithms. Our code is available at https://github.com/yyhappier/AMRP.git.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00213v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.