PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20008v1cs.LG

VIMPO: 대규모 언어 모델(LLM)을 위한 가치-암시적 정책 최적화

VIMPO: Value-Implicit Policy Optimization for LLMs

검증 가능한 보상을 활용한 강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 도구가 되었지만, 현재의 방법들은 단순성과 크레딧 할당(credit assignment) 사이의 상충 관계에 직면해 있습니다. GRPO와 같은 그룹 상대적(group-relative) 방법은 크리틱(critic) 학습을 피하지만, 일반적으로 궤적(trajectory) 수준의 어드밴티지를 모든 토큰에 할당합니다. 액터-크리틱(actor-critic) 방법은 더 조밀한 학습 신호를 제공하지만, 자체적인 학습 불안정성이 있는 학습된 가치 함수가 필요합니다. 본 논문에서는 VIMPO를 소개합니다. VIMPO는 KL-정규화된 강화학습의 최적성 조건에서 정책-암시적(policy-implied) 가치 함수를 도출하는 크리틱 없는 정책 최적화 방법입니다. 자기회귀 생성(autoregressive generation)의 경우, 결과적인 가치 재귀(value recurrence)는 정책-참조 로그 비율(policy-reference log-ratios)로 표현될 수 있으며, 궤적의 끝에는 미래 보상이 남지 않는다는 종단 조건에 의해 고정됩니다. 이를 통해 크리틱을 학습시키지 않고도 결과 수준의 검증 가능한 보상을 통합하는 간단한 가치 손실을 얻을 수 있습니다. 동일한 도출 과정은 크리틱 없는 액터 어드밴티지도 산출하며, 이를 통해 VIMPO는 가치 손실을 통한 보상 통합과 PPO 스타일 액터 업데이트를 통한 정책 개선을 분리할 수 있습니다. 수학 RLVR 벤치마크에서 VIMPO는 MATH-500, AIME 2024, AIME 2025, OlympiadBench 전반에 걸쳐 GRPO보다 개선된 성능을 보였으며, 특히 경쟁 스타일의 평가에서 더 큰 향상을 보였습니다. 노이즈가 있는 보상 하에서도 VIMPO는 GRPO에 대한 일관된 우위를 유지하며, 이는 정책-암시적 가치 최적화가 크리틱 없는 학습의 실용적 단순성을 유지하면서 더 세밀한 크레딧 할당을 제공할 수 있음을 시사합니다.