ODRPO: Ordinal Decompositions of Discrete Rewards for Robust Policy Optimization
한국어 초록
대규모 언어 모델(LLM)의 정렬은 장문 질의응답과 개방형 인스트럭션 따르기와 같은 검증 불가능한 도메인에서 AI 피드백 기반 강화학습(Reinforcement Learning from AI Feedback, RLAIF)을 활용한다. 이러한 도메인은 보통 프롬프트 민감성과 샘플링 랜덤성으로 인해 본질적으로 확률적인, 세분화된 다단계 이산 보상(예: 1-10 루브릭)을 제공하기 위해 LLM 기반 자동 평가기(auto-rater)에 의존한다. 우리는 자동 평가기의 확률성을 실증적으로 검증했으며, 이는 GRPO와 MaxRL 같은 표준 어드밴티지 추정기로 전파되어 이를 오염시킬 수 있음을 확인했다. 노이즈가 섞인 보상 샘플은 정규화 통계를 왜곡하고 전역 학습 신호를 저하시킬 수 있다. 실증적으로 더 많은 보상을 샘플링하고 다수결 투표를 적용하면 노이즈를 줄이고 성능을 개선할 수 있지만, 이 접근법은 계산 비용이 크다. 이러한 병목을 해결하기 위해, 우리는 이산 보상을 서수적 이진 지표의 연속으로 분해함으로써 평가 노이즈를 구조적으로 분리하는 프레임워크인 $\textbf{O}$rdinal $\textbf{D}$ecomposition for $\textbf{R}$obust $\textbf{P}$olicy $\textbf{O}$ptimization($\textbf{ODRPO}$)를 제안한다. 점차 더 어려워지는 이러한 성공 임계값 전반에서 어드밴티지를 독립적으로 계산하고 누적함으로써, ODRPO는 이상치 평가가 전역 업데이트를 오염하는 것을 방지하는 동시에, 암묵적이고 분산을 고려한 학습 커리큘럼을 형성한다. 실증적으로 ODRPO는 Qwen2.5-7B와 Qwen3-4B 모델에서 견고한 성능을 달성했으며, FACTS-grounding-v2에서는 최대 14.8%, Alpaca-Evals에서는 7.5%의 상대적 향상으로 기존 기준선을 능가했다. 결정적으로, 이러한 향상은 거의 무시할 수 있는 학습 시간 오버헤드로 달성되었는데, ODRPO는 표준 추정기와 비교해 각 스텝마다 추가 계산을 요구하지 않는다. 최적화 안정성을 확인하는 이론적 분석에 힘입어, ODRPO는 현대 RLAIF의 노이즈가 큰 이산 평가 환경에서 모델 정렬을 위한 확장 가능하고 견고한 프레임워크를 제공한다.
요약
대규모 언어 모델(Large Language Models, LLMs)의 정렬은 점점 강화학습 from AI Feedback(Reinforcement Learning from AI Feedback, RLAIF)에 의존하고 있으며, 특히 장문 질의응답이나 열린형 지시 따르기처럼 정답을 명확히 검증하기 어려운 영역에서 그 중요성이 더욱 커지고 있습니다. 그러나 이와 같은 비검증형 과제에서는 LLM 기반 자동 평가자(auto-rater)가 제공하는 1점부터 10점까지의 다층 이산 보상이 프롬프트 표현과 샘플링 랜덤성에 크게 흔들릴 수 있어, 보상 신호 자체가 안정적이지 않다는 문제가 드러납니다. 저자들은 이러한 평가 노이즈가 Group Relative Policy Optimization(GRPO)이나 MaxRL 같은 표준 advantage 추정기의 정규화 통계를 왜곡하여, 개별 샘플의 이상치가 전체 학습 방향을 흐릴 수 있음을 실증적으로 보여줍니다. 이러한 문제를 단순히 보상을 여러 번 샘플링해 다수결로 보정하는 방식으로 완화할 수는 있지만, 자동 평가 호출 비용이 크게 증가한다는 점에서 현실적인 제약이 따릅니다. 이에 따라 제안된 Ordinal Decomposition for Robust Policy Optimization(ODRPO)은 단일 보상을 여러 개의 순서형 이진 기준으로 분해하여, 각 임계값마다 advantage를 독립적으로 계산하고 누적하는 새로운 정렬 프레임워크입니다. 이 방식은 한 번의 noisy evaluation이 전역 통계를 직접 오염시키는 것을 막는 동시에, 비교적 쉬운 성공 기준에서 점차 어려운 기준으로 이동하는 암묵적 커리큘럼을 형성해 학습을 더욱 안정적으로 만듭니다. 이 방법론의 핵심은 보상의 크기를 한 번에 다루는 대신, “적어도 이 기준을 만족하는가”라는 순차적 판단으로 바꾸어 노이즈의 영향을 국소화한다는 데 있습니다. 각 순서형 경계에서 계산된 신호는 서로 독립적으로 축적되므로, 특정 점수 하나의 흔들림이 전체 그룹의 평균과 분산을 크게 망가뜨리는 현상을 줄일 수 있습니다. 또한 이 분해는 단순한 휴리스틱이 아니라, discrete reward 환경에서 전역 스칼라 목적함수를 다시 복원할 수 있다는 이론적 근거를 갖추고 있어 최적화 안정성에 대한 설명력도 제공합니다. 저자들은 Kendall’s coefficient of concordance(W) 분석을 통해 자동 평가자 자체가 상당한 확률적 변동성을 가진다는 사실을 확인했으며, 이는 ODRPO가 왜 필요한지를 강하게 뒷받침합니다. 실험적으로는 Qwen2.5-7B와 Qwen3-4B 계열 모델에서 FACTS-grounding-v2와 Alpaca-Evals를 포함한 벤치마크를 평가하여, 기존 방법보다 최대 14.8퍼센트와 7.5퍼센트의 상대적 향상을 기록했습니다. 특히 이러한 개선은 학습 단계에서 추가 계산 부담을 거의 요구하지 않는다는 점에서 의미가 크며, ODRPO가 단지 성능 향상 기법을 넘어 실제 대규모 정렬 파이프라인에 바로 적용 가능한 확장성 높은 방법임을 보여줍니다. 결국 이 연구는 노이즈가 큰 이산 보상 환경에서 정책 최적화를 어떻게 더 견고하게 설계할 수 있는지를 제시하며, RLAIF 시대의 모델 정렬에 새로운 방법론적 방향을 제안합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.