arXiv 2603.03378
초록 정보가 없습니다.
이 이메일 도메인이 관측된 논문 2건
초록 정보가 없습니다.
비동기 RLHF 파이프라인에서 롤아웃 생성과 정책 최적화를 분리할 때 발생하는 오래된 롤아웃(stale rollout)의 영향을 비동기 GRPO 환경에서 분석하여, 스테일니스 지연 S와 학습률 η의 곱에 비례하는 O(S·η) 크기의 서로게이트 그래디언트 편향이 발생함을 이론적으로 증명하였다. 이를 바탕으로 η ≪ min{R_batch/(S·G_upd), R_crit/(T·G_upd)}라는 두 가지 제약 조건을 도출하여, 안정적인 학습률 상한이 스테일니스에 독립적으로 보이는 현상이 horizon-limited 구간에서만 나타나는 이유를 설명하였다.