trent.ai

이 이메일 도메인이 관측된 논문 2건

arXiv:2605.08982v4cs.LG

파티클 몬테카를로 트리 탐색

Particle Monte Carlo Tree Search

몬테카를로 트리 탐색(MCTS)은 강화학습(Reinforcement Learning)에서 정책 개선과 행동 선택을 위해 널리 사용되는 접근법입니다. MCTS의 순차적이고 결정론적인 특성으로 인해, 병렬 연산을 활용하여 MCTS의 실행 시간을 원칙적으로 확장(scaling)하는 것은 여전히 주요한 과제로 남아 있습니다. 본 연구에서는 신경망(neural network) 평가에 적합하며, 배치(batch) 병렬화를 통한 GPU 가속을 위해 설계되었고, MCTS의 원칙적인 근사 정책 개선 해석을 유지하는 병렬 MCTS 알고리즘인 파티클 MCTS(PMCTS)를 소개합니다. 실증적으로 PMCTS는 병렬 연산에 따라 우수한 확장성을 보이며 체스, 19x19 바둑, 9x9 바둑, 가드너 체스, 스네이크, Brax의 고전 제어 환경, 소코반에서의 대규모 언어 모델(LLM) 추론을 포함한 널리 쓰이는 이산 및 연속 행동 벤치마크 도메인 전반에서 널리 사용되는 휴리스틱 기반 베이스라인을 일관되게 능가하거나 대등한 성능을 보입니다.

arXiv:2610.03361v1cs.LG

승자를 따르라: 크리틱 없는 RFT를 위한 교차 엔트로피 방법 기반의 보수적 정책 개선

Follow the Winners: Conservative Policy Improvement with the Cross-Entropy Method for Critic-Free RFT

에이전트형 대규모 언어 모델(LLM)을 위한 크리틱 없는(critic-free) 강화 미세조정(RFT)은 목표 분산을 줄이기 위해 반복적인 롤아웃(rollout)을 통해 그룹 기준선을 계산하는 GRPO 방식의 방법을 통해 주로 이루어집니다. 그러나 이러한 설정은 반복적인 롤아웃을 얻기 비실용적이고 공격적인 업데이트가 길고 드물게 검증된 궤적의 노이즈를 고착화하는 라이브 서비스나 보안 샌드박스와 같은 상태 유지(stateful) 환경에서 동작하는 에이전트에는 적합하지 않습니다. 본 논문에서는 교차 엔트로피 방법을 RFT에 적용한 크리틱 없는 정책 학습 알고리즘인 Follow the Winners(FTW)를 제안합니다. 이는 그룹 롤아웃을 리플레이 버퍼(replay-buffer) 샘플에 대한 서열 필터로 대체하여 반환값의 순서 통계량에서 다항 집중(polynomial concentration)을 달성합니다. 우리는 제어를 추론으로 보는(control-as-inference) 관점을 통해 FTW를 도출하며, 이를 통해 GRPO와 DPO를 특정 모델링 선택으로 복원할 수 있음을 보여줍니다. 또한 GRPO는 위험 중립적인 반면, DPO와 FTW는 FTW가 제어하는 유계된 위험 추구 오프셋을 공유한다는 점을 규명합니다. 우리는 이러한 오프셋이 샘플의 서열 필터를 통한 분산 감소의 고유한 트레이드오프인 반면, 크리틱 모델은 바이어스와 분산 사이의 또 다른 트레이드오프를 유도함을 밝힙니다. 에이전트형 LLM 사후 학습으로 확장했을 때, FTW는 Sokoban 및 Search-R1 기준선에서 GRPO 및 PPO와 대등한 성능을 보이며, 가치 모델이나 그룹 롤아웃을 CPU 메모리로 대체하는 실행 가능한 트레이드오프를 보여줍니다.