학습 정책 최적화의 신기루: LLM 강화학습의 실질적 목표로서의 단조 추론 정책
The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning
LLM 강화학습(RL) 사후학습에서 학습 엔진과 추론 엔진의 구현 차이로 발생하는 학습-추론 불일치(training-inference mismatch) 문제를 다루며, 기존 연구들이 학습 정책 개선에만 집중한 반면 실제 배포에 사용되는 추론 정책의 단조적 개선을 목표로 하는 새로운 원칙인 MIPI(Monotonic Inference Policy Improvement)를 제안한다. 이를 구현한 2단계 프레임워크 MIPU는 샘플러 참조 업데이트와 추론 측 갭 프록시 기반의 수용 기준을 결합하여, FP8 양자화 롤아웃 환경에서 Qwen3-4B 및 Qwen3-1.7B 모델에 대해 추론 성능과 학습 안정성을 향상시킨다.