arXiv:2611.24005v1 stat.ML

보상 이득 불균형이 순위에 미치는 영향: 루브릭 기반 보상 집계의 재고찰

How Reward Gain Imbalance Shapes Ranking: Rethinking Rubric-Based Reward Aggregation

Zhengyuan Fan, Zhonghua Wu, Tianyu Cheng, Qun Chen

제출 2026-11-19

한국어 초록

루브릭 기반 강화학습은 대규모 언어 모델을 인간 선호에 정렬하기 위한 보상을 구성하며, 일반적으로 판정자가 개별 기준에 부여한 연속 점수를 동일하게 집계한다. 그러나 기준 간 점수 이질성은 후보 순위를 왜곡할 수 있다. 기존 연구는 판정자 개선, 기준 가중치 학습, 집계 방식 정교화에 초점을 맞춰 왔으며, 점수 이질성과 순위 사이의 상호작용은 충분히 이해되지 못하고 있다. 우리는 이러한 이질성을 \emph{보상 이득 불균형}으로 정식화한다. 즉, 각 기준은 충족된 응답과 충족되지 않은 응답에 대한 기대 점수의 차이인 고유한 보상 이득을 가지고 집계 보상에 들어간다. 직관과 달리, 실험 결과 정답 레이블을 사용하더라도 이 불균형을 제거하면 순위 정확도가 낮아진다. 이를 설명하기 위해 임의의 두 후보 간 보상 차이를 기본 충족 신호, 보상 이득 불균형 항, 잔차 항으로 정확히 분해하여, 보상 이득 불균형이 기본 신호를 약화하거나 증폭할 수 있음을 보이고, 순위 오류가 대체로 불균형이 신호를 약화하는 쌍에 집중됨을 발견한다. 이 분석에 기반하여, 불균형을 단순히 제거하는 대신 각 기준이 보상 차이에 기여하는 정도를 제한하는 적응형 이중 중심 클리핑 집계(\textbf{D}ual-\textbf{C}enter \textbf{C}lipping, DCC)를 제안한다. 현재 후보 그룹의 점수만 사용하여 후보 간 기준별 점수 차이에 공통 상한을 부과하는 클리핑 구간을 결정함으로써, 연속적인 판정 정보를 보존하면서 극단적인 점수의 과도한 영향을 제한한다....

원문 초록

Rubric-based reinforcement learning constructs rewards for aligning large language models with human preferences, typically by equally aggregating continuous scores that a judge assigns to individual criteria. However, scoring heterogeneity across criteria can distort candidate rankings. Existing work has focused on improving judges, learning criterion weights, or refining aggregation, whereas the interaction between scoring heterogeneity and ranking remains insufficiently understood. We formalize this heterogeneity as \emph{reward gain imbalance}: each criterion enters the aggregated reward with its own reward gain, the gap between its expected scores on satisfied and unsatisfied responses. Counterintuitively, our experiments show that removing this imbalance, even with ground-truth labels, lowers ranking accuracy. To explain this, we derive an exact decomposition of the reward difference between any two candidates into a base satisfaction signal, a reward gain imbalance term, and a residual term, showing that reward gain imbalance can attenuate or amplify the base signal, and finding that misrankings usually concentrate on pairs where it attenuates. Guided by this analysis, we propose the adaptive \textbf{D}ual-\textbf{C}enter \textbf{C}lipping aggregation (DCC), which bounds each criterion's contribution to the reward difference instead of simply removing the imbalance. Using only the scores of the current candidate group, it determines a clipping interval that imposes a common upper bound on per-criterion score differences between candidates, limiting the excessive influence of extreme scores while preserving continuous judgment information....

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24005v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.