오프-정책 비율의 해체: 비동기 강화학습을 위한 엔트로피 정규화 신뢰 영역
Deconstructing Off-Policy Ratios: Entropy-Normalized Trust Regions for Asynchronous Reinforcement Learning
비동기 강화학습(RL)은 롤아웃 생성과 정책 최적화를 중첩하여 대규모 언어 모델(LLM)의 사후 학습을 가속하지만, 그로 인해 발생하는 오래된 오프-정책 데이터는 최적화를 불안정하게 만들고 정책 붕괴를 초래할 수 있습니다. 기존 방법들은 비율의 크기만을 기준으로 토큰을 제어하며 모든 위치에 단일 임계값을 적용합니다. 본 논문에서는 비율의 자연스러운 스케일이 토큰 엔트로피에 의해 결정되며, 따라서 궤적 중간의 가중치 업데이트로 인한 편차가 이 스케일 내에 유지되고 진정한 탐험을 담고 있음을 보입니다. 나아가 0에 가까운 확률이 학습-추론 불일치를 국소 엔트로피가 허용하는 범위를 훨씬 넘어 노이즈로 증폭시키는, 이러한 스케일링을 깨뜨리는 간과되었던 저엔트로피 영역을 식별합니다. 크기 임계값은 이러한 노이즈를 허용하고 탐험을 버리게 됩니다. 이에 따라 본 연구는 엔트로피 정규화 신뢰 영역(ENTR)을 제안합니다. 긴 호흡의 에이전트 태스크와 수학적 추론 벤치마크 전반에 걸쳐 ENTR은 기존 비동기 방식들보다 우수한 성능을 보입니다. 가장 강력한 기준선 대비 BrowseComp-Plus에서 avg@1을 $6.9\%$ 향상시키고, 최대 $30$개 정책 버전의 지연까지 안정적으로 학습하며, $2.6\times$의 속도 향상과 함께 동기식 GRPO와 대등한 성능을 달성합니다.