arXiv:2610.03361v1 cs.LG

승자를 따르라: 크리틱 없는 RFT를 위한 교차 엔트로피 방법 기반의 보수적 정책 개선

Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT

Joery Ariën de Vries, Neil David Lawrence, Zhenwen Dai

제출 2026-10-02

저자 비고

arXiv Comments

Poster at NeurIPS 2026

한국어 초록

에이전트형 대규모 언어 모델(LLM)을 위한 크리틱 없는(critic-free) 강화 미세조정(RFT)은 목표 분산을 줄이기 위해 반복적인 롤아웃(rollout)을 통해 그룹 기준선을 계산하는 GRPO 방식의 방법을 통해 주로 이루어집니다. 그러나 이러한 설정은 반복적인 롤아웃을 얻기 비실용적이고 공격적인 업데이트가 길고 드물게 검증된 궤적의 노이즈를 고착화하는 라이브 서비스나 보안 샌드박스와 같은 상태 유지(stateful) 환경에서 동작하는 에이전트에는 적합하지 않습니다. 본 논문에서는 교차 엔트로피 방법을 RFT에 적용한 크리틱 없는 정책 학습 알고리즘인 Follow the Winners(FTW)를 제안합니다. 이는 그룹 롤아웃을 리플레이 버퍼(replay-buffer) 샘플에 대한 서열 필터로 대체하여 반환값의 순서 통계량에서 다항 집중(polynomial concentration)을 달성합니다. 우리는 제어를 추론으로 보는(control-as-inference) 관점을 통해 FTW를 도출하며, 이를 통해 GRPO와 DPO를 특정 모델링 선택으로 복원할 수 있음을 보여줍니다. 또한 GRPO는 위험 중립적인 반면, DPO와 FTW는 FTW가 제어하는 유계된 위험 추구 오프셋을 공유한다는 점을 규명합니다. 우리는 이러한 오프셋이 샘플의 서열 필터를 통한 분산 감소의 고유한 트레이드오프인 반면, 크리틱 모델은 바이어스와 분산 사이의 또 다른 트레이드오프를 유도함을 밝힙니다. 에이전트형 LLM 사후 학습으로 확장했을 때, FTW는 Sokoban 및 Search-R1 기준선에서 GRPO 및 PPO와 대등한 성능을 보이며, 가치 모델이나 그룹 롤아웃을 CPU 메모리로 대체하는 실행 가능한 트레이드오프를 보여줍니다.

원문 초록

Critic-free reinforcement fine-tuning (RFT) for agentic large language models is often done through GRPO-style methods, which compute a group baseline over repeated rollouts to reduce target variance. However, this setup is ill-suited to agents acting in stateful environments such as live services or security sandboxes, where repeated rollouts are impractical to obtain and aggressive updates entrench the noise of long, sparsely verified trajectories. We propose \textit{Follow the Winners} (FTW), a critic-free policy-learning algorithm that adapts the cross-entropy method to RFT, replacing group rollouts with an ordinal filter on replay-buffer samples that yields polynomial concentration in the order statistic of returns. We derive FTW through a control-as-inference lens, which also recovers GRPO and DPO as specific modelling choices, identifying GRPO as risk-neutral while DPO and FTW share a bounded risk-seeking offset that FTW controls. We identify this offset as an inherent trade-off of variance reduction through ordinal filters on samples, whereas a critic model induces a different trade-off between bias and variance. Scaled to agentic LLM post-training, FTW matches GRPO and PPO on Sokoban and Search-R1 baselines, showing a viable trade-off from a value model or group rollouts to CPU memory.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03361v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.