Reinforcement learning has proven to be a valuable tool in the creation of advanced AI and robotic systems, contributing to everything from game playing (Silver et al., 2016; 2017; Wurman et al., 2022) to robotics (Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026) to foundation models (Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025). Through trial and error, these AI systems typically learn a single, near-optimal behavior to solve their tasks. However, there are many use cases in which one would like to assert some level of control, after training is completed, over how the task is solved. We refer to these modifications of a core task as styles. We combine universal value function approximators (UVFAs) with carefully selected training scenarios, learning algorithms, and data augmentation to create a framework for coaching agents that exhibit styles in complex domains. We demonstrate the framework's application in the AAA video games Horizon Forbidden West and Gran Turismo, and in an open-source humanoid test domain. Despite the different nature of the domains--car racing, stylized game combat, and humanoid walking--each agent shows strong coherence to the style requests while still satisfying the main task in its domain. Importantly, the techniques outlined in this paper allow an end user to choose the final behavior at run time, giving them flexible control over the final executed performance.
몬테카를로 트리 탐색(MCTS)은 강화학습(Reinforcement Learning)에서 정책 개선과 행동 선택을 위해 널리 사용되는 접근법입니다. MCTS의 순차적이고 결정론적인 특성으로 인해, 병렬 연산을 활용하여 MCTS의 실행 시간을 원칙적으로 확장(scaling)하는 것은 여전히 주요한 과제로 남아 있습니다. 본 연구에서는 신경망(neural network) 평가에 적합하며, 배치(batch) 병렬화를 통한 GPU 가속을 위해 설계되었고, MCTS의 원칙적인 근사 정책 개선 해석을 유지하는 병렬 MCTS 알고리즘인 파티클 MCTS(PMCTS)를 소개합니다. 실증적으로 PMCTS는 병렬 연산에 따라 우수한 확장성을 보이며 체스, 19x19 바둑, 9x9 바둑, 가드너 체스, 스네이크, Brax의 고전 제어 환경, 소코반에서의 대규모 언어 모델(LLM) 추론을 포함한 널리 쓰이는 이산 및 연속 행동 벤치마크 도메인 전반에서 널리 사용되는 휴리스틱 기반 베이스라인을 일관되게 능가하거나 대등한 성능을 보입니다.
강화학습이나 명시적 메모리를 추가하기 전에, 의도적으로 단순한 행동 클로닝 정책이 시각적으로 풍부한 1인칭 게임에서 얼마나 진전할 수 있는지 연구한다. Cortex는 동결된 DINOv3 인코더 위 6층 트랜스포머로 구성되며 학습 가능한 파라미터 1,098만 개를 갖춘 컴팩트 Quake 정책이다. 공개 Pixels2Play 코퍼스의 Quake 하위 집합으로 학습한다: 6,849개 녹화(약 474.7시간)이며, 키보드 및 마우스 동작을 포함한 1,709만 개의 캐시된 의사결정 프레임으로 표현된다. 샘플링된 하나의 학습 에포크는 517,048개의 4프레임 윈도우를 사용하며, 일회성 특징 추출을 제외하고 RTX 5080 한 대에서 정책 헤드 최적화에 3.3분이 걸린다. Quake E1M1에서 120초짜리 확률적 에피소드 20개로 구성된 두 개의 독립 배치를 평가한다. Cortex는 레벨을 완료하지는 못하지만 모든 에피소드가 시작 문, 버튼 방, 게이트 하강 구간에 도달한다. 각 배치의 20개 에피소드 중 19개는 최소 한 번의 킬을 기록한다. 동일한 시간 제어 하네스 아래에서, 공개된 P2P-150M 및 NitroGen 체크포인트는 각각 5개의 동일 시간 에피소드에서 더 얕은 진행을 보인다. 이 비교는 참조 표본 크기가 작고 네이티브 인터페이스가 다르다는 점에서 제한적이다. 어블레이션 결과, 더 밀집한 시각 토큰은 전투와 생존을 개선하는 반면, 더 긴 최적화와 단순한 행동 이력은 오프라인 지표는 개선하지만 플레이 성능을 일관되게 개선하지는 않는다. 남은 실패는 공변량 이동(covariate shift)과 일치하며, 표적화된 교정 데이터의 필요성을 뒷받침한다. 정책 구현, 체크포인트, 대표 롤아웃을 공개한다.
대규모 언어 모델(LLM)은 게임의 규칙을 실행 가능한 코드, 즉 코드 세계 모델(Code World Model, CWM)로 합성할 수 있으며, 고전적 플래너(planner)가 이를 탐색한다. 이러한 모델은 일반적으로 샘플링된 궤적에서 높은 전이(transition) 정확도를 달성하면 수용된다. 우리는 이것이 계획(planning)을 위한 적합성의 잘못된 개념임을 주장한다. 우리는 네 가지를 보인다. (1) LLM 합성 CWM은 100% 전이 정확도로 샘플링 게이트를 통과하고 플래너 자체의 탐색 분포에서 $\geq 98\%$ 상태 정확도를 달성할 수 있지만, 잘못된 $<1\%$가 정확히 핵심 역학에 해당하기 때문에 플레이에서 체계적으로 패배할 수 있다. 생략된 규칙의 플레이 비용은 $0.091$이다(시드 클러스터링 95% CI $[0.065,0.117]$, $n=4800$). 우리는 이를 검증-정확(verified-vs-correct) 간극이라 부르며, 합성 파이프라인 전체를 통해 이를 확인한다. (2) 피해는 정량적 법칙 $\mathrm{danger}=\mathrm{play\_cost}\times(1-\mathrm{rarity})^N$를 따르며, $(1-\mathrm{rarity})^N$ 게이트 미스 팩터는 정확함이 증명되고 플레이 비용은 경험적으로 유계(bounded)됨이 밝혀진다. (3) 이 실패는 더 많은 데이터로 보완되지 않는다. LLM 합성은 규칙 추론(rule inference)이 아니라 규칙 번역(rule translation)처럼 동작하며, 모델(GPT-5.x)과 데이터 체제(DAgger 및 표적 예제 포함)를 가로질러 생략된 규칙을 추론하지 못했다. (4) 동일한 메커니즘은 불완전 정보 CWM의 신념 추론(belief-inference) 함수에서도 재현된다. 우리는 커버리지 경계를 증명한다(크기 $N$ 게이트는 $N\gtrsim b^{d_{\max}}$일 때 식별 가능(identifying)하다). 이는 Kuhn poker와 같은 얕은 게임에서 간극이 나타나지 않는 이유를 설명하며, 게이트는 통과하지만 모든 게임에서 패배하는 검증되었지만 틀린(verified-but-wrong) 추론 함수인 Beacon을 수작업으로 구성한다. 이 결과들은 계획 지향 세계 모델의 적합성이 샘플링된 전이에 대한 예측 정확도가 아니라 탐색 분포에서 또는 플레이를 통해 직접 측정되어야 함을 시사한다.
Long-horizon strategic planning in complex strategy games demands concurrent reasoning across multiple decision domains under imperfect information and sparse reward. Existing LLM-based agents suffer from three systematic failures: scene blindness from raw tile coordinates, context overflow and domain coupling from monolithic state dumps, and shallow cross-game learning that treats each episode in isolation. We present SAGA, an LLM multi-agent framework with three mechanisms each directly targeting one class of failure: (i) a Map-Semantic Scene Graph that encodes typed spatial relations among game entities into per-unit natural-language context, resolving spatial blindness without global token inflation; (ii) a Tool-Augmented Planner that pulls fine-grained domain state on demand and dispatches per-domain directives to dedicated specialist controllers, eliminating context overflow, domain coupling, and mechanical constraint violations; and (iii) a Dual-Horizon Feedback Loop that combines periodic within-game goal generation with structured cross-game causal post-mortem, enabling principled strategic evolution without manual reward engineering. Evaluated on FreeCiv, SAGA attains the highest mean civilization score -- the environment's sole sparse objective reward -- with lower variance than the two strongest baselines, and is the only method that significantly surpasses every baseline on infrastructure construction, the resource axis most readily sacrificed under multi-objective conflict. It outscores the two strongest baselines in most head-to-head games while cutting output tokens (the dominant decoding cost) by 27%. Equipped with the cross-game evolution module, SAGA reaches the highest end-of-chain score across five successive episodes. Ablation studies confirm that each architectural component contributes independently to this advantage.