본 연구에서는 토카막 핵융합로 설계의 제약 조건이 있는 다목적 최적화를 위한 실용적 도구로서 심층 강화학습(DRL)을 조사한다. 과제는 안정적인 운전에 필요한 네 가지 운전 한계를 만족하면서, 높은 에너지 이득과 긴 에너지 가둠 시간을 달성하는 동시에 건설 비용을 최소화하는 설계 구성을 최적화하는 것이다. 물리와 공학이 결합된 평가로 인해 목적 함수와 제약 조건이 블랙박스이므로, 기존 탐색 전략으로는 최적해를 찾기 어렵다. 이를 해결하기 위해 토카막 핵융합로 설계에 보상 제약 정책 최적화(RCPO)를 구현한다. 이 방법은 여러 제약 조건을 보상 함수에 통합하여 정책을 실현 가능한 해로 유도하고 설계 최적화 과정을 단순화한다. 수치 결과에 따르면 제안한 DRL 기반 접근법은 다른 데이터 기반 최적화 방법보다 운전 제약을 만족하는 실현 가능한 설계를 더 많이, 더 효율적으로 찾아내며, 이는 향후 효율적인 원자로 설계에 대한 DRL의 잠재력을 보여준다.
본 논문은 학습된 역시간 동역학을 유한한 격자에서 이산화하는 점수 기반 확산 샘플링의 시간 간격 할당을 연구한다. 균일 스케줄과 수작업 스케줄이 표준으로 쓰이지만, 이들의 고정적이고 임의적인 규정은 최적이 아닐 수 있다. 본 논문은 샘플링 시계의 속도를 제어로 취급하여 시간 변환을 학습하는 연속시간 제어 정식화인 적응적 재매개변수화 시간(ART)을 제안한다. 학습된 시계에서의 균일 격자는 확산 시간에서 적응적인 시간 간격을 유도하며, 오일러 오차의 최저차 대리 지표가 할당 목적함수를 정의한다. 그 결과로 얻어지는 고차원 결정론적 제어 문제를 풀기 위해, 스케줄 학습을 연속시간 강화학습으로 전환하는 보조적 무작위 가우시안 정책 정식화인 ART-RL을 도입한다. 최적에서 ART-RL이 ART와 동등함을, 즉 최적 가우시안 정책의 평균이 ART를 푼다는 것을 증명한다. 또한 정책 평가와 정책 개선의 특성화를 확립하고, 구현 가능한 액터-크리틱 갱신을 이끄는 궤적 기반 모멘트 항등식을 유도한다. 통제된 저차원 설정부터 이미지 생성에 이르는 실험은, ART로 학습된 스케줄을 시간 격자만 바꾸어 기존 샘플러에 적용했을 때 동일한 예산에서 강력한 기준선보다 샘플 품질이 일관되게 향상됨을 보여준다. 학습된 스케줄은 또한 재학습 없이 샘플링 예산, 데이터셋, 솔버, 파이프라인, 표현 공간 전반으로 전이되는 폭넓은 일반화 능력을 보인다.
보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.
많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.
자연어 프로필로부터 임의의 캐릭터를 충실하게 연기하는 범용 롤플레잉 에이전트를 구축하는 일은 여전히 어렵다. 명시적 추론은 모델이 응답 전에 숙고하도록 도울 수 있으나, 일반적인 추론이 반드시 캐릭터 충실도를 보존하는 것은 아니다. 이에 우리는 심리학에 기반한 사고 연쇄 프레임워크인 Psy-CoT를 제안한다. Psy-CoT는 응답 전 추론을 상호작용 지각, 심리적 공감, 논리적 구성이라는 세 가지 역할 특화 단계로 분해하여, 모델이 표면적 패턴을 단순히 모방하는 대신 프로필로부터 동적으로 사고하도록 한다. 구조화된 추론은 토대를 제공하지만 그것만으로는 충분하지 않으며, 모델을 캐릭터 충실도에 더 정렬하기 위해서는 강화학습이 필수적이다. 그러나 우리는 LLM 기반 보상 모델 아래에서, 보상 모델을 속이는 일반적인 문구와 진정으로 역할에 특화된 문구가 동일한 그래디언트 신호를 받는다는 점을 관찰한다. 이러한 속임은 학습이 진행되면서 누적되어, 모델이 두 가지를 똑같이 최적의 선택으로 간주하도록 오도한다. 이를 해결하기 위해 우리는 역할 인식 정책 최적화(Role-Aware Policy Optimization, RAPO)를 제안한다. RAPO는 프로필로 유도되는 엔트로피 차이를 이용해 그래디언트에 비대칭적으로 가중치를 부여하여, 양의 어드밴티지 하에서는 역할 특화 토큰을 증폭하고 음의 어드밴티지 하에서는 이를 감쇠한다. CoSER, CharacterBench, CharacterEval에서의 실험은 Psy-CoT가 기존 롤플레잉 CoT 방법들을 능가하고, RAPO가 여러 모델 규모에 걸쳐 일관되게 GRPO를 능가함을 보여준다.
다양한 최적화 문제에 걸쳐 강력한 최적화 일반화 성능을 달성하면서 학습 자원은 제한적으로 요구하는 것은 최적화 지향 대규모 언어 모형(LLM)에게 여전히 어려운 문제이다. 그러나 기존의 학습 기반 방법들은 일반적으로 대규모 지도 데이터, 비용이 큰 중간 단계 검증, 방대한 계산 자원을 필요로 하면서도, 다양한 최적화 구조에 대해서는 제한된 최적화 일반화 성능을 보인다. 본 논문에서는 추론 후 모델링 및 풀이 패러다임과, 검증 가능한 보상을 사용하는 강화학습(RLVR)을 결합한 2단계 학습 프레임워크를 통해 학습된 경량 최적화 특화 LLM인 \textsc{MiniOpt}를 제안한다. MiniOpt는 최적화 정식화와 최적화 결과의 완결성을 강화함으로써 구조 지향적 최적화 학습을 촉진한다. 여덟 개의 최적화 벤치마크에 대한 폭넓은 실험은 MiniOpt가 훨씬 적은 매개변수와 학습 데이터를 요구하면서도 기존의 학습 기반 최적화 모델들을 일관되게 능가함을 보여준다. 최적화 일반화를 더 깊이 이해하기 위해, 우리는 최적화 구조 이해와 수치 매개변수 처리를 분리하는 보완적인 매개변수 분리 평가 프로토콜을 도입한다. 결과는 MiniOpt가 매개변수 분리 설정에서도 기존 최적화 특화 모델들보다 훨씬 더 잘 최적화 능력을 유지함을 보여주며, 이는 성능 향상이 주로 더 강한 최적화 구조 이해에서 비롯됨을 시사한다. 이러한 발견은 효율적이고 일반화 가능한 최적화 특화 LLM으로 향하는 효과적인 경로를 보여준다. 코드는 https://github.com/Hsiang-1/MiniOpt 에서 이용할 수 있다.
네트워크 깊이의 스케일링(scaling)은 현대 파운데이션 모델 성공의 핵심적인 원동력이었으나, 최근 연구들에 따르면 깊은 레이어들이 충분히 활용되지 못하는 경우가 많다는 점이 지적되고 있습니다. 본 논문에서는 신경망을 깊게 만드는 기본 메커니즘인 잔차 연결(residual connection)을 최적화(optimization) 관점에서 재조명합니다. 엄밀한 분석을 통해 잔차 연결의 배치가 수렴 거동을 근본적으로 결정할 수 있으며, 나아가 수렴 속도에 지수적 격차까지 유발함을 증명합니다. 이러한 통찰을 바탕으로, 데이터로부터 잔차 연결성을 매개변수화하고 학습하는 원리적이고 경량화된 프레임워크인 적응형 신경망 연결 재할당(ANCRe, Adaptive Neural Connection Reassignment)을 제안합니다. ANCRe는 극히 미미한 연산 및 메모리 오버헤드($<1\%$)만으로 잔차 연결을 적응형으로 재할당하는 동시에, 네트워크 깊이를 더욱 효과적으로 활용할 수 있도록 합니다. 대규모 언어 모델(LLM)의 사전학습, 확산 모델(diffusion model), 깊은 ResNet에 걸친 광범위한 수치 실험을 통해, 기존 잔차 연결 대비 일관되게 가속화된 수렴, 향상된 성능, 증대된 깊이 효율성을 입증합니다.
인간 시연에서 물체에 가해지는 힘과 토크를 중심으로 한 접촉 렌치 공간(contact wrench space) 가이던스를 강화학습에 적용하는 CHORD 프레임워크를 제안하며, 서로 다른 신체 구조의 로봇도 인간 시연의 기계적 효과를 공유 표현으로 비교할 수 있게 한다. 4,739개의 양손 정교 조작 태스크 벤치마크에서 82.12%의 평균 성공률을 달성하고, 전신 조작 태스크에서도 90.77%의 성공률로 실제 로봇 환경까지 정책 이전을 검증했다.
인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.
무인 항공기(UAV)를 공중 기지국으로 배치하는 문제는 비볼록이며 조합적이므로, 실용적인 방법들은 먼저 연속적인 공역을 균일 격자나 클러스터링 중심점 같은 유한한 후보 위치 집합으로 이산화한 뒤 그 집합 위에서 최적화한다. 유클리드 거리만으로 구성된 후보 집합은 채널을 고려하지 않아, 가시선 확률과 전체 주파수 재사용 하에서 달성 가능한 전송률을 제한하는 동일 채널 간섭을 무시한다. 어떤 최적화기도 후보 집합에 없는 위치는 선택할 수 없으므로, 기하학적 구성이 놓친 좋은 위치는 탐색이 시작되기도 전에 사라진다. 본 논문은 후보 집합 자체를 최적화 대상으로 삼는 2단계 프레임워크인 전송률 인지 양자 지원 그래프 응축(Rate-Aware Quantum-Assisted Graph Condensation, RA-QAGC)을 제안한다. 첫 번째 단계는 계층 가중 달성 가능 전송률, 평균 동일 채널 간섭, 명시적인 최소 전송률 페널티를 내장한 비용을 어닐링하여 후보 집합을 구성하며, 그 결과 간결하고 이동 가능한 경유지 그래프를 얻는다. 두 번째 단계는 분산형 독립 Q-러닝 에이전트로 해당 그래프 위의 궤적을 학습하며, 중앙집중식 결합 행동 테이블을 UAV당 하나의 간결한 테이블로 대체한다. RA-QAGC는 최근의 그래프 신경망 및 심층 Q-네트워크 기법을 포함한 일곱 가지 기준 방법보다 우선순위 계층 처리량을 21--54\% 향상시키며, 총 처리량에서는 유의미한 손실이 없고, 편대 밀도가 높아질수록 격차가 커진다. 또한 최근 항공 네트워킹 연구에서 옹호하는 양자 영감 수락 규칙을 검토하였으며, 그 터널링 하한이 시험한 어떤 편대 규모에서도 고전적 시뮬레이티드 어닐링에 비해 측정 가능한 이점을 제공하지 않는 반면, 어닐링 자체는 탐욕적 배치와 무작위 배치를 명확히 능가함을 보고한다.
Adversarial team games (ATGs) with asymmetric information, such as adversarial path-finding, goal search, and reachability games on graphs, require strategies that are robust to hidden opponent types, such as a hidden goal flag, and to deception. Under asymmetric information, deception is seen as strategic shifts in the type distribution such that the omniscient opponent can collude with Nature and condition its play on the observed type. Existing risk-neutral solution concepts, such as Bayesian Nash equilibrium (BNE), are sensitive to distribution shifts, while distributionally robust approaches provide guarantees only within a prescribed ambiguity set. To address these limitations, we introduce Probabilistically Robust Minimax-Regret Equilibrium (PR-MRE), a novel equilibrium concept that combines the distribution-free robustness of minimax-regret reasoning with probabilistic information from a nominal type distribution. PR-MRE minimizes worst-case regret over a high-confidence subset of the type space, providing protection against strategic redistribution of probability mass while avoiding the conservatism of fully distribution-free approaches. We show that, for finite normal-form Bayesian games, approximate PR-MRE computation can be formulated as a robust bilinear program and derive a tractable semidefinite relaxation. We then adapt this relaxation into a novel meta-solver within a robust double-oracle framework, PRMRE-PSRO, enabling population-based learning of approximate PR-MRE strategies via deep reinforcement learning best responses. Experiments on graph-structured adversarial team games demonstrate that PR-MRE discovers strategies with substantially improved worst-case performance across hidden types compared to risk-neutral Bayesian Nash equilibrium solutions, resulting in more robust behavior under strategic distribution shifts.
Reinforcement learning has proven to be a valuable tool in the creation of advanced AI and robotic systems, contributing to everything from game playing (Silver et al., 2016; 2017; Wurman et al., 2022) to robotics (Levine et al., 2016; Andrychowicz et al., 2020; Luo et al., 2025; D\"urr et al., 2026) to foundation models (Ouyang et al., 2022; Noukhovitch et al., 2024; Sun et al., 2024; Guo et al., 2025). Through trial and error, these AI systems typically learn a single, near-optimal behavior to solve their tasks. However, there are many use cases in which one would like to assert some level of control, after training is completed, over how the task is solved. We refer to these modifications of a core task as styles. We combine universal value function approximators (UVFAs) with carefully selected training scenarios, learning algorithms, and data augmentation to create a framework for coaching agents that exhibit styles in complex domains. We demonstrate the framework's application in the AAA video games Horizon Forbidden West and Gran Turismo, and in an open-source humanoid test domain. Despite the different nature of the domains--car racing, stylized game combat, and humanoid walking--each agent shows strong coherence to the style requests while still satisfying the main task in its domain. Importantly, the techniques outlined in this paper allow an end user to choose the final behavior at run time, giving them flexible control over the final executed performance.
Continual post-training is becoming a central paradigm for adapting vision-language models to evolving tasks. Recent studies report that reinforcement learning is less prone to forgetting than supervised fine-tuning, motivating the view that RL is inherently resistant to forgetting. However, this view remains insufficiently validated, as existing evidence is largely drawn from outdated or homogeneous benchmarks. We revisit this assumption by introducing MRCL, a Multimodal Reasoning Continual Learning benchmark built from recent and diverse multimodal reasoning tasks. Experiments on MRCL show that standard reinforcement learning still suffers from catastrophic forgetting during continual post-training. We trace the failure to an objective mismatch. The KL regularization used in common policy optimization methods is evaluated on current-task data, whereas forgetting is caused by behavioral drift on prior-task distributions. To address this problem, we propose Continual Policy Optimization (CPO), a replay-free method grounded in a prior-task behavioral KL objective. CPO derives a local Fisher surrogate from the historical KL objective and uses parameter movement as a gradient-free proxy for Fisher sensitivity, enabling sparse regularization with negligible additional overhead. Experiments on three model scales and comparisons with multiple RL baselines show that CPO consistently reduces forgetting while maintaining effective adaptation and preserving broader pretrained capabilities. The implementation code is available at https://github.com/MaolinLuo/CPO.
Multimodal deep search requires an agent to solve open-world problems by chaining search, tool use, and visual reasoning over evolving textual and visual context. Two bottlenecks limit current systems. First, existing tool-use harnesses treat images returned by search, browsing, or transformation as transient outputs, so intermediate visual evidence cannot be re-consumed by later tools. Second, training data is usually built by fixed curation recipes that cannot track the target agent's evolving capability. To address these challenges, we first introduce a visual-native agent harness centered on an image bank reference protocol, which registers every tool-returned image as an addressable <image:N> reference and makes intermediate visual evidence reusable by later tools. On top of this harness, On-policy Data Evolution (ODE) runs a closed-loop data generator that refines itself across rounds from rollouts of the policy being trained. This per-round refinement makes each round's data target what the current policy still needs to learn. The same framework supports both diverse supervised fine-tuning data and policy-aware reinforcement learning data curation, covering the full training lifecycle of the target agent. Across 8 multimodal deep search benchmarks, ODE improves the Qwen3-VL-8B agent from 24.9% to 39.0% on average. At 30B, ODE raises the average score from 30.6% to 41.5%. Further analyses validate the effectiveness of image bank reuse, especially on complex tasks requiring iterative visual refinement, while rollout-feedback evolution yields more grounded SFT traces and better policy-matched RL tasks than static synthesis.
LLM 에이전트의 단계별 평가를 위해 별도 프로세스 보상 모델 없이, RL 사후학습에서 얻은 학습 정책과 참조 정책 간 로그 확률 비율인 진행 이점(progress advantage)으로 최적 이점 함수를 복원할 수 있다. 5개 벤치마크와 4개 모델 패밀리에서 테스트 시간 스케일링, 불확실성 정량화, 실패 귀인 응용마다 신뢰도 기반 베이스라인과 전용 학습 보상 모델을 일관되게 능가한다.
This monograph provides an introduction to mean field reinforcement learning through the lens of Markov decision processes arising from large-population stochastic control with mean field interactions and common noise. Starting from the connection between multi-agent reinforcement learning and mean field control, it develops the probabilistic, mathematical, and control-theoretic framework needed to formulate representative-agent learning problems, analyze their relationship with finite-population systems, and study both general and linear-quadratic models. The presentation includes dynamic programming principles, propagation-of-chaos limits, and theoretical analyses of tabular Q-learning and policy-gradient methods. It also discusses numerical implementations, including tabular schemes and deep reinforcement learning methods such as deep deterministic policy gradient. The goal is to give readers a coherent bridge between mean field control theory and reinforcement learning methodology, emphasizing the mathematical structure of the problems and the design of tractable learning approaches for large stochastic populations.
This study aims to determine whether the application of Deep Reinforcement Learning (DRL) as a specialized execution overlay can enhance pair trading in highly volatile cryptocurrency markets. Although classical implementations of the strategy have proven successful in traditional equities, they frequently exhibit rigidity and suffer from severe divergence risks when applied to high-variance environments. To construct a robust system, we developed a hierarchical "Filter-then-Rank" pair selection methodology and a custom "Fixed Risk, Adaptive Mean" execution model. The system employs a Proximal Policy Optimization (PPO) agent with a Long Short-Term Memory (LSTM) layer to govern execution decisions within strict deterministic risk management boundaries. Evaluated on 1-hour interval data from the Binance USD-M Futures market, the selected RL policy achieved an Out-Of-Sample performance that substantially outperformed the heuristic baseline, although the results varied considerably across five random seeds, with four of the five seeds exceeding the baseline in both CAGR and Sortino Ratio. A stationary circular block bootstrap test of the Agent's risk-adjusted outperformance yields p-values of approximately 0.06, which fall just short of the conventional 5% significance threshold. Ultimately, this study contributes to the quantitative finance literature by introducing a hybrid architecture that combines statistical arbitrage with DRL execution policies. Furthermore, it applies safe reinforcement learning via deterministic shielding, with results indicating that anchoring a neural policy to statistically robust boundaries mitigates severe divergence risks.
Reinforcement learning with verifiable rewards has driven major gains in LLM reasoning, and it is intuitive to assume this recipe will transfer well to multimodal models. However, multimodal models do two things: first, perceive what is in an image, then reason about what it implies. Because these stages are graded jointly, it is hard to tell how much room reasoning alone has to grow. We study this on algorithmic visual puzzles, where both components are necessary and show that perception, not reasoning, is the binding constraint. Replacing images with simple textual descriptions raises performance by over 20 points on average for Claude models. We then evaluate six reward designs aimed at inducing visual grounding during reasoning without chain-of-thought supervision. Training Qwen-2.5-VL-7B with GRPO, reward design induces long, structured reasoning with self-reflection and visual references, yielding a 5.56-point gain over the base model. These gains are, however, uneven; no single reward improves all categories, and rewards with verifiable accuracy signals trade cross-domain transfer for in-domain accuracy. These results point to perception-aware reward design as a path forward, so that signals correct perception at its source rather than the reasoning that inherits its errors.
A universal controller for any robot morphology would greatly improve computational and data efficiency. Steps have been made towards such multi-robot control by utilizing contextual information about the properties of individual robots and exploiting their modular structure in the architecture of deep reinforcement learning agents. When the robots have highly dissimilar morphologies, however, this becomes a challenging problem, especially when the agent must generalize to new, unseen robots. In this paper, we consider the fact that contextual features are often only partially available, but that they can be recovered through modular interactions. This can allow for better multi-robot control and generalization to contexts that are not seen during training. To this extent, we implement a transformer-based architecture with shared modular recurrence and evaluate its (generalization) performance on a large set of MuJoCo robots. The results show a substantial improvement in zero-shot generalization performance on robots with unseen dynamics, kinematics, and topologies, in four different environments.
상호작용 데이터로부터 세계의 간결한 모델을 학습하는 것은 샘플 효율적인 심층 강화학습의 핵심이다. 스펙트럴 표현 방법은 전이 커널을 행렬 관점으로 바라보고, 한쪽에는 상태-행동 쌍을, 다른 쪽에는 다음 상태를 두며, 자기지도 대조 목표를 통해 저랭크 인수분해를 학습함으로써 연속 제어에서의 표현 학습을 위한 주도적 패러다임이 되었다. 우리는 이 관점을 한 단계 더 나아간다. 전이 커널은 상태, 행동, 다음 상태에 걸친 자연스러운 3-모드 텐서이며, CP 분해는 모드마다 하나의 특징 맵을 제공한다. 우리는 노이즈 대조 목표로 이 분해를 적합시키는 FaStR을 제안하며, 이는 상태, 행동, 다음 상태에 대한 별도의 인코더를 생성하고 이들이 함께 단일 스펙트럴 표현을 구성한다. 인수분해 형태는 더 작은 가설 클래스를 만들며, 표현 학습에 필요한 샘플 크기는 상태 차원과 행동 차원 중 더 작은 값에 비례하는 계수만큼 줄어든다. 실험적으로 FaStR은 역학이 인수분해 구조와 일치하는 고차원 이동(locomotion) 과제에서 가장 큰 이득을 보이며, 학습된 상태 인코더는 액추에이터 변화(actuator shift)에 걸쳐 그대로 전이되고 오직 행동 인코더만 재학습된다.