arXiv:2611.24059v1 cs.LG

재샘플링하지 말고 재생하라: 장기 지평 RL 전문가의 오프폴리시 통합

Replay, Don't Resample: Off-Policy Consolidation of Long-Horizon RL Experts

Zhenrui Yue, Gongxiaohui Chen, Huimin Zeng, Honglei Zhuang, Jiashuo Sun, Zhen Han, Dong Wang

제출 2026-11-19

한국어 초록

최첨단 사후 학습은 일반적인 방식을 따른다. 즉 도메인별로 강화학습(RL)으로 전문가를 하나씩 학습한 뒤, 다중 교사 온폴리시 증류(MOPD)로 전문가들을 하나의 모델로 통합한다. 이러한 통합은 비용이 많이 든다. 학생이 모든 환경에서 다시 샘플링해야 하고, 전문가가 샘플링된 모든 토큰을 채점해야 하며, 학생이 최종 전문가의 드리프트를 물려받기 때문이다. 그러나 본 연구는 전문가들의 RL 실행이 통합에 필요한 것, 즉 샘플링 확률과 보상이 포함된 롤아웃을 전문가들이 학습한 순서대로 이미 만들어 두었다고 주장한다. 본 연구는 이 학습 로그를 전문가의 순서대로 학생에게 재생하는 다중 전문가 재생 정책 증류(MRPD)를 제안한다. 각 단계에서 이렇게 채점된 궤적에 대해 정책 경사를 다시 계산하고, 기록된 접두사에서 최종 전문가의 분포를 증류한다. 전문가 자신의 궤적을 따르면 학습-추론 불일치가 줄고 학생이 클립 범위 안에 머물므로, 재생은 기원상 오프폴리시이지만 통합 내내 준온폴리시이다. MRPD는 아무것도 샘플링하지 않고 환경이나 보상 모델도 호출하지 않는다. 트레이너가 유일한 프로세스이며, 전문가를 통합하는 데에는 전문가를 학습하는 데 쓴 연산의 약 7분의 1만 든다. 추론, 검색, SQL의 세 가지 장기 지평 에이전트 도메인에서 MRPD는 최고의 학생 모델을 만들어 온라인 RL 기준선을 크게 능가하고, 동일한 전문가로부터 MOPD보다 훨씬 적은 비용으로 MOPD를 넘어선다. 동일한 로그에 대한 분석은 재생된 궤적이 이득의 대부분을 담당하며 정책 경사와 증류 항 모두 이득에 기여함을 보여 준다. 가장 흥미롭게도 로그의 순서가 그 양이나 보상보다 더 중요하며, 이는 전문가 학습 로그가 데이터 혼합이 아니라 커리큘럼임을 시사한다.

원문 초록

Frontier post-training follows a common recipe: train one expert per domain with reinforcement learning (RL), then consolidate the experts into one model via multi-teacher on-policy distillation (MOPD). Such consolidation is expensive: the student samples in every environment again, an expert scores every sampled token, and the student inherits the drift of the final experts. Yet we argue that the experts' RL runs have already produced what consolidation needs: rollouts with their sampling probabilities and rewards, in the order the experts learned from them. We propose multi-expert replay policy distillation (MRPD), which replays these training logs through the student in the experts' order. At each step, the policy gradient is recomputed on these scored trajectories, and the final experts' distributions are distilled at the logged prefixes. Following the experts' own trajectory reduces the training-inference mismatch and keeps the student within the clip range, so the replay is off-policy in origin but quasi-on-policy throughout consolidation. MRPD samples nothing and calls no environment or reward model: the trainer is the sole process, and consolidating the experts costs only about a seventh of the compute used to train them. On three long-horizon agentic domains (reasoning, search and SQL), MRPD yields the best student model, substantially outperforming online RL baselines, and surpassing MOPD from the same experts at a fraction of MOPD's cost. Our analysis on the same logs shows that the replayed trajectories carry most of the gain, and that both the policy gradient and the distillation term add to it. Most interestingly, the order of the logs matters more than their amount or rewards, suggesting that expert training logs are a curriculum, not a data mixture.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24059v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.