A real-time agent for general computer use - with games as the most demanding case - must act within tens of milliseconds while still planning over seconds. These two regimes sit at opposite ends of the latency-quality tradeoff. A reasoning VLM (Qwen3-VL-8B-Thinking) deliberates effectively but requires ~1.5 s per response - far too slow for a 15 Hz control loop. In contrast, a reactive VLM (MiniCPM-o 4.5) acts in milliseconds but underperforms on planning-heavy tasks. We couple two frozen models of matched scale (9B reactive, 8B reasoning), leaving the communication channel as the sole trainable component. The standard coupling is a Text Bridge (T): the slow model writes a suffix the fast model reads. We introduce a learned continuous Latent Bridge (L) that projects the slow model's residuals into the fast model's input-embedding space in a LLaVA-style manner, avoiding any text round-trip; both are compared against Fast-Only (F). On 7 Atari games and a driving domain (MetaDrive), tuning the action decoder per channel on held-out seeds, the Latent Bridge matches or beats the Text Bridge in every domain: it significantly improves two games (MsPacman +57%, RoadRunner +28%) and is a safe drop-in elsewhere. Combining both channels interferes destructively (RoadRunner -96%), so only one should be used. The benefit is highly predictable: the bridge helps if and only if slow reasoning already beats fast reaction (T > F) - the Latent and Text gains over Fast-Only move together at r=0.93. MetaDrive is the controlled negative, where the Latent Bridge is demonstrably inert because the Text Bridge adds no value. We release replay recordings and reproducible pipelines.
Multi-agent systems are widely used in safety-critical applications that require coordinated behavior under strict safety constraints. Existing approaches face a fundamental trade-off: learning-based methods achieve strong empirical performance but lack theoretical safety guarantees, while control-theoretic methods enforce safety but often lead to overly conservative and inefficient behaviors. We propose a hierarchical multi-agent reinforcement learning framework that enforces hard safety constraints under mild assumptions at low level via a constraint manifold, while enabling effective coordination through high-level policy learning. Our approach provides theoretical safety guarantees in the multi-agent setting and yields stationary learning dynamics, thereby enabling stable and efficient training. Empirically, our method achieves competitive performance while maintaining nearly perfect safety rates, and generalizes effectively to varying numbers of agents and obstacles.
The use of dedicated corridors for Advanced Air Mobility (AAM) traffic is one of the most commonly proposed pathways to integrating them into existing airspace operations. Most prior research has focused on the design of networks of AAM corridors and conflict resolution for aircraft within corridors. It is also generally believed that while attractive from an implementation perspective, corridor-based operations may be inefficient, especially in the absence of centralized traffic management. In this paper, we show that contrary to this belief, it is possible for autonomous aircraft to learn to self-organize into corridor flows in decentralized settings. We illustrate our approach using scenarios in which fixed-wing aircraft need to safely and efficiently traverse (1) a single corridor with metering after the exit, (2) a sequence of two consecutive corridors, and (3) a corridor that splits into two. We find that in decentralized settings with only local information, the aircraft are able to conform to the corridor boundaries more than 94% of the time and reach their goal in a relatively efficient manner. Furthermore, tactical interventions to handle violations of the separation minimum are needed only infrequently in low- and medium-density settings. However, such tactical interventions become more frequently necessary only when traffic density is high.
Fei Xiaotong's Differential Order Pattern characterizes rural society as egocentric and relationally graded, with cooperation attenuating over social distance. Although often treated as culturally specific, its mechanistic basis remains under-operationalized, and prior LLM-based simulations have mainly addressed short-term coordination rather than long-horizon social structure. We propose CAREB-MAS, a multi-agent framework grounded in Affect Control Theory, Social Identity Theory, and Durkheimian collective affect. Agents reason through an emotion-ethics-belief chain and maintain dynamically evolving egocentric identities, while the macro environment specifies only individual production, preference-based allocation, and minimal interaction protocols. Across long-horizon simulations, agents spontaneously reproduce five core Differential Order phenomena: stable labor specialization, guanxi-based economic ethics, relational decay of cooperation, emergent relational authority, and clan-based center-periphery stratification. These patterns shift with production structure from kin-centered integration toward greater functional interdependence. Extensive experiment results support interpreting Differential Order as a structure-sensitive emergent outcome of general social mechanisms, with LLM-based multi-agent simulation providing an interdisciplinary framework for studying social structure and change.
Engineering reliable autonomous systems is an important and growing topic in computer science. As autonomous systems become more prevalent, easy-to-use techniques for building them reliably are increasingly important. This workshop report captures and expands on the discussions at the Lorentz Center Workshop "Engineering Reliable Autonomous Systems" (ERAS), held from 10 to 14 June 2024. The workshop was co-organised by the organisers of the Workshop on Formal Methods for Autonomous Systems (FMAS) and the Workshop on Agents and Robots for reliable Engineered Autonomy (AREA). It brought together members of the FMAS and AREA communities, industry practitioners, and representatives from sectors where autonomous systems pose distinctive engineering challenges. The workshop focused on three main research topics: techniques for verification and validation of autonomous systems; engineering real-world autonomous systems; and software architectures for safe autonomous systems. Its main outcome is a catalogue of challenges in these areas and, most importantly, a pathway to solutions. Some challenges can already be tackled by techniques that are well known in academia but have not yet become regularly used in practice. Other challenges remain unresolved and require further research. This roadmap is intended to support future research and industrial collaboration.
HEAS는 국소 상호작용이 시스템 수준 결과를 만드는 생태계·조직·시장 등을 대상으로, 에이전트 기반 시뮬레이션, 진화 탐색, 시나리오 평가를 하나의 재현 가능한 Python 파이프라인으로 연결하는 프레임워크이다. 계층 런타임, DEAP 기반 진화 튜너, game 모듈을 결합하고 metric contract로 최적화·평가·검증이 동일한 결과 함수를 쓰도록 해 단계마다 전략 순위가 달라지는 문제를 막는다.
자율 에이전트 집단이 국소적 의사소통 상호작용을 통해 연속 특징 공간에 그라운딩된 개념 표현과 기호적 단어 형태를 연결하는 분산적 언어 관습을 스스로 형성하는 일반 방법론을 제안한다. 37개 공개 데이터셋 평가에서 일반성과 확장성을 확인했으며, 이형성 개체군 등 지각 변화와 환경 변화에도 견고하게 적응함을 보였다.
다중 에이전트 강화학습(MARL)을 실세계에 배포하는 것은 종종 학습 시뮬레이터와 실제 환경 간의 모델 불일치로 인해 제한되며, 이러한 불일치는 전략적 상호작용을 통해 더욱 증폭될 수 있어 배포 시 심각한 성능 저하를 초래할 수 있다. 분포적 강건성(distributional robustness)은 불확실성 집합에서 추출된 최악의 경우 전이 모델에 대해 정책을 최적화함으로써 원칙적인 대응을 제공하지만, 표준 강건 MARL 프레임워크는 에이전트 수가 증가할수록 점점 더 다루기 어려워진다. 본 논문은 분포적 모델 불확실성을 인구 결합(population-coupled) 동역학에 직접 통합하는 무한 수평선(infinite-horizon) 정상 평균장(mean-field) 게임 프레임워크를 개발한다. 우리는 수축적(contractive) 벨만 연산자를 갖는 강건 동적 계획법(dynamic programming) 원리를 수립하고, 고정점 논증을 통해 정상 강건 평균장 균형의 존재성을 증명한다. 또한 수렴 보장을 갖는 최초의 구체적 알고리즘을 개발한다. 이어서 평균장 해를 경험적 분포에 의존하는 모호성 집합(ambiguity set)을 갖는 유한 인구 강건 게임과 연결하고, 평균장 균형 정책이 인구 크기가 증가함에 따라 근사 균형 행동을 유도함을 보인다. 수축적 강건-동역학 체제 하에서, 우리는 더 나아가 명시적 비점근적(non-asymptotic) 오차 한계를 얻는다. 수치 실험은 또한 다양한 불확실성 모델에서 강건성의 정성적·정량적 영향을 보여주며 우리의 이론적 결과를 검증한다.
오프라인-온라인 적응은 오프라인 데이터셋으로부터 강화학습을 부트스트래핑하여 온라인 탐험의 과도한 비용을 완화하는 핵심 패러다임이다. 이 패러다임은 단일 에이전트 환경에서 광범위하게 연구되어 왔으나, 복잡한 협조적 의사결정에 있어 매우 중요한 관련성에도 불구하고 다중 에이전트 강화학습(MARL)으로의 확장은 아직 충분히 탐구되지 않은 상태로 남아 있다. 이 간극을 메우기 위해, 우리는 오프라인-온라인 MARL을 위한 우아하고 미니멀한 프레임워크인 Sim2O를 소개한다. Sim2O는 적응을 단일한 결합 결정으로 다루지 않고, 이를 구성적 과정으로 개념화한다. 구체적으로, 후보 결합 행동은 에이전트 전반에 걸쳐 오프라인 및 온라인 행동 제안을 동적으로 혼합함으로써 합성된다. 중앙화된 가치 함수를 활용하여 이러한 하이브리드 조합을 평가함으로써, Sim2O는 보조 학습 목표나 구조적 오버헤드 없이 고가치 협조 전략을 식별한다. 다양한 벤치마크에 걸친 실증적 평가는 Sim2O가 기존 베이스라인을 크게 능가함을 보여주며, 미니멀한 설계가 다중 에이전트 오프라인-온라인 적응에 있어 실행 가능할 뿐만 아니라 매우 효과적임을 강조한다.
최근 몇 년간, 웹 지능형 향상 시스템은 개인화되고 문맥을 인식하는 서비스를 제공하기 위해 이질적이고 동적인 웹 데이터에 점점 더 의존하고 있습니다. 그러나 기존의 기계 학습, 심층 학습, 강화학습 모델은 지속적으로 진화하는 웹 환경에서 의미적 이해, 적응성, 확장성 측면에서 어려움을 겪는 경우가 많습니다. 본 연구에서는 의미론적 그래프 모델링, 어텐션 메커니즘, 적응형 강화학습을 통합하여 이러한 문제를 해결하기 위해 다중 입도 어텐션 기반 강화 웹 지능형 향상 시스템(MGAR-WIES)을 제안합니다. 먼저, 구조화된, 반구조화된, 비구조화된 소스로 구성된 이질적인 웹 데이터를 수집하고 전처리하여 통합된 특징 표현을 생성합니다. 이러한 표현들은 동적인 의미론적 그래프로 변환되며, 여기서 엔티티와 그 관계는 지역적 관련성과 전역적 문맥 의존성을 모두 포착하기 위해 어텐션 메커니즘으로 향상된 그래프 임베딩을 사용하여 모델링됩니다. 이후, 적응형 다중 에이전트 강화학습 전략은 콘텐츠 추천, 내비게이션 최적화, 서비스 적응과 같은 개인화된 웹 행동을 최적화하기 위해 어텐션 인식 의미 상태를 활용합니다. 마지막으로, 지속적인 온라인 피드백을 통합하여 그래프 표현과 학습 정책을 실시간으로 업데이트함으로써 지속적인 적응성과 성능을 보장합니다. 제안된 MGAR-WIES는 기존 접근 방식과 비교했을 때 정확도(80%) 측면에서 더 나은 결과를 달성했습니다.
다중 에이전트 강화학습(MARL)은 에이전트가 창발적 통신(emergent communication)을 통해 협동 전략을 개발할 수 있게 하지만, 신경망 정책은 드론 군집 및 자율주행 차량 군집과 같은 안전 임계(safety-critical) 로봇 배치에 필요한 형식적 안전성 보장이 부족합니다. 우리는 정책 추상화(policy abstraction)를 통해 학습된 다중 에이전트 통신 정책의 안전성 검증을 위한 최초의 엔드 투 엔드 프레임워크를 제시합니다: 신경망 정책을 해석 가능한 결정 트리로 증류(distill)한 뒤 형식적으로 검증하며, 경험적 검증(empirical validation)을 통해 검증된 안전성 속성이 원래 네트워크로 전이됨을 확인합니다. 우리의 4단계 파이프라인은 에이전트 관찰로부터의 도메인 특화 특징 추출, 신경망 정책에 대해 97.9% +/- 1.2%의 충실도(fidelity)를 달성하는 결정 트리 증류, 완전한 특징-상태 변수 대응을 갖는 PRISM 확률적 모델 검사기(probabilistic model checker) 사양으로의 자동 번역, 그리고 유니온 바운드(union-bound) 집계 및 경험적 이웃 모델링을 통한 쌍별 분해(pairwise decomposition)를 이용한 확률적 계산 트리 논리(PCTL) 속성의 구성적 검증(compositional verification)으로 구성됩니다. 5-7개의 에이전트를 사용한 다중 드론 협동(multi-drone coordination)을 위한 벡터 양자화 변이 정보 병목(Vector-Quantized Variational Information Bottleneck, VQ-VIB) 정책을 평가하여, 우리는 안전성, 활성성(liveness), 협력에 걸쳐 18개의 시간 논리 속성을 검증했으며, 88.9%의 속성 만족도를 달성하고 5개의 안전성 임계값을 모두 충족했습니다(0.3% 충돌 확률 대 1% 임계값). 원래 신경망 정책에 대한 몬테카를로 검증(Monte Carlo validation)은 검증된 안전성 속성이 0.6 퍼센트 포인트 이하의 편차(95% 신뢰 구간)로 전이됨을 확인합니다. 이산 VQ-VIB 메시지는 연속적 방법 대비 +11.6에서 +13.6 퍼센트 포인트의 충실도 이점을 제공하여 3-4배 더 빠른 검증을 가능하게 합니다. 우리의 프레임워크는 증류된 정책 추상화에 대해 경험적으로 검증된 안전성 검증을 제공하며, 다중 로봇 배치를 위한 심층 MARL과 형식적 안전성 워크플로우 사이의 실용적인 가교 역할을 합니다.
컴퓨팅 및 네트워킹 시스템의 많은 의사결정 문제는 성능 제약 조건 하에서의 비용 최소화 문제로 자연스럽게 공식화될 수 있습니다. 동적 환경에서는 강화학습(RL)이 런타임에 이러한 문제를 해결하는 데 자주 사용되며, 이는 라그랑주 기반 공식화(Lagrangian-inspired formulation)를 따라 가중 페널티 항을 통해 비용과 제약 위반을 단일 스칼라 보상(scalar reward)으로 임베딩함으로써 이루어집니다. 그러나 이러한 맥락에서 학습된 정책(learned policy)의 동작은 일반적으로 수동으로 선택되는 이러한 가중치의 선택에 중요하게 의존합니다. 이는 주요 목표를 최적화하는 것과 제약 위반을 효과적으로 회피하는 것 사이의 적절한 상충 관계(trade-off)를 식별하기 어렵게 만들며, 특히 상대적 중요성이 변할 수 있는 비정상 환경(non-stationary environments)에서 그렇습니다. 본 논문은 MAMO (Multi-Agent system for Multi-Objective constrained optimization)를 제시하며, 이는 다중 에이전트 강화학습(multi-agent RL)을 통해 이러한 균형 잡기 문제를 해결하는 접근 방식입니다. MAMO는 보상 가중치 선택을 학습 문제로 공식화하여 작업 실행과 목표 설계를 분리(decouple)함으로써, 동적 환경에서 제약 최적화 문제에 대한 더 자율적이고 강건한(robust) 강화학습 기반 솔루션을 향한 첫 단계를 제공합니다.
심층 연구 에이전트(Deep research agent)는 자율적인 정보 수집 및 종합에서 탁월한 능력을 보여주었으나, 시뮬레이션된 환경의 정적 특성, 사실 검색 전용 작업 설계의 한계, 그리고 결과 기반 강화학습의 비효율성으로 인해 학습이 여전히 제약받고 있습니다. 본 연구에서는 우리는 심층 연구 에이전트 학습을 네 가지 상호 보완적인 차원으로 확장하는 새로운 프레임워크인 MetaResearcher를 제안합니다. 첫째, 학습 환경에 시간적 동역학과 적대적 오정보를 주입하는 진화하는 가상 세계(Evolving Virtual World)를 도입하여, 에이전트가 정보원 신뢰도 평가 및 시간적 충돌 해결 기술을 개발하도록 강제합니다. 둘째, 단순한 사실 검색을 넘어 에이전트가 진정한 연구 행동을 수행하도록 유도하는 가설 생성 및 모순 해결을 포함하는 발견 지향적 작업(Discovery-Oriented Tasks)을 설계합니다. 셋째, 답변 정확도, 검색 경로 효율성, 반추 깊이, 도구 호출 다양성을 공동으로 최적화하여 기존 연구에서 관찰된 반복적인 행동 루프 문제를 직접적으로 해결하는 GRPO 프레임워크 내의 자기 성찰적 메타 보상(Self-Reflective Meta-Reward) 메커니즘을 제안합니다. 넷째, 조율된 강화학습을 통해 협업 연구 전략을 학습하는 전문화된 Scout, Filter, Synthesizer 모델로 구성된 이질적 다중 에이전트 군집(Heterogeneous Multi-Agent Swarm) 아키텍처를 도입합니다. LiteResearcher 인프라를 기반으로 구축된 MetaResearcher는 학습을 위한 추가적인 API 비용이 전혀 들지 않으면서도, 벤치마크 성능(GAIA, Xbench-DS)과 적대적 조건 하에서의 인식적 견고성(epistemic robustness) 모두에서 상당한 개선을 목표로 합니다. 우리는 완전한 프레임워크 설계, 학습 방법론, 그리고 계획된 실험적 검증을 제시합니다.
우리는 보상 구조가 보상 머신(RM) 집합으로 명시된 작업을 위한 다목적 강화학습 알고리즘인 Pareto Q-Learning with Reward Machines(PQLRM)를 제안합니다. PQLRM은 파레토 프론트를 근사화하기 위해 벡터 값 Q 추정치 집합을 유지하는 Pareto Q-Learning(PQL)과, 보상 신호의 인자화된 오토마톤 구조를 활용하는 Q-Learning with Reward Machines(QRM)의 개선 사항을 결합합니다. 이는 RM으로 인코딩된 비마르코프(non-Markovian) 보상 하에서도 샘플 효율성을 유지하는 다중 정책 알고리즘을 산출합니다. 실험 결과, PQLRM은 교차 곱 MDP에 적용된 단순한 PQL 기준선보다 더 빠르게 수렴하며, QRM이 합성할 수 없는 파레토 최적 정책을 합성할 수 있음을 보여줍니다.
대규모 언어 모델(LLM) 기반 자동 멀티 에이전트 시스템(MAS) 생성은 복잡한 작업을 해결하는 중요한 분야가 되었습니다. 그러나 기존 방법들은 모델 능력과 경험 보존 사이의 딜레마에 직면해 있습니다. 추론 시간(Inference-time) MAS는 동결된 최신 LLM을 활용하지만 과거 경험으로부터 학습하지 않고 동일한 탐색을 반복합니다. 반대로, 학습 시간(Training-time) MAS는 그래디언트 업데이트를 통해 경험을 내재화하지만 더 작은 모델의 낮은 능력 한계에 제약을 받으며, 대규모 최신 LLM로 확장하기 어렵습니다. 이러한 격차를 해소하기 위해, 우리는 높은 수준의 오케스트레이션 능력을 진화 가능한 메타 스킬(Meta-Skill)로 개념화하여 경험 보존을 파라미터 업데이트로부터 분리하는 새로운 제3의 경로인 Skill-MAS를 제안합니다. Skill-MAS는 폐루프 최적화 루프를 통해 이 아키텍처 지식을 정제합니다: (1) 멀티 트래젝터리 롤아웃(Multi-Trajectory Rollout)은 현재 메타 스킬 하에서 각 작업에 대한 행동 분포를 샘플링합니다; (2) 선택적 반성(Selective Reflection)은 우선 순위 작업을 적응적으로 선택하고 계층적 대비 분석을 적용하여 체계적 경험을 일반화 가능한 전략 수준의 원칙으로 증류합니다. 4개의 복잡한 벤치마크와 4개의 서로 다른 LLM에 걸친 광범위한 실험을 통해 Skill-MAS가 상당한 성능 향상을 달성할 뿐만 아니라 우수한 비용 대비 성능 트레이드오프(cost-performance trade-off)를 유지함을 입증했습니다. 추가 분석 결과, 진화된 메타 스킬들은 매우 견고하며 보지 못한 작업과 다른 LLM 간에 강력한 전이 가능성을 보임을 밝혀냈습니다.
Dual-Channel Grounded World Modeling (DCGWM): Structural Prevention of Objective Interference Collapse via Heterogeneous External Grounding with Inward-Only Gradient Flow
연합 임베딩 예측 아키텍처(Joint Embedding Predictive Architectures, JEPA)는 월드 모델 표현 학습의 선도적 접근법이다. 우리는 두 가지 질적으로 구분되는 외부 신호에 대해 그라운딩된 JEPA 기반 월드 모델에서의 실패 모드를 식별한다: 물리 역학(희소하고 크기가 크며 제약을 만족하는 그래디언트 보정)과 사회-행동 역학(확산적 분포 일치 보정). 이를 목적 간섭 붕괴(Objective Interference Collapse, OIC)라 명명한다: 공유 잠재 공간에서의 연합 학습이 지배적 채널이 종속 채널의 표현 부분공간을 체계적으로 붕괴시키는 원인이 되며, 이는 손실 가중치만으로는 해결할 수 없다고 주장한다. 우리는 이중 채널 그라운딩 월드 모델링(Dual-Channel Grounded World Modeling, DCGWM)을 제안한다. 이는 분할된 잠재 공간(물리 부분공간 Z_p, 행동 부분공간 Z_b)과 내향 전용 그래디언트 흐름을 통해 OIC를 구조적으로 방지하도록 설계되었다. 물리 그라운딩 채널은 VICReg 방식의 물리 측정값 정렬을 통해 Z_p만 갱신하고, 사회-행동 그라운딩 채널은 창발적 다중 에이전트 시뮬레이션의 궤적 정렬을 통해 Z_b만 갱신한다. 채널 간 인터페이스 모듈은 부분공간 간 그래디언트 없이 작업 수준에서 두 부분공간을 결합한다. 비대칭 그라운딩 준수 손실은 물리 위반에는 hard hinge, 행동 발산에는 soft KL을 사용하여 롤아웃 drift를 벌한다. 생성 렌더링 층은 잠재 월드 모델과 구조적으로 분리되어 있다. 세 가지 이론 결과를 제시한다: 분할이 OIC와 관련된 그래디언트 간섭 경로를 제거하고, 각 그라운딩된 부분공간은 정렬 목적에서 붕괴 방지 보장을 상속하며, 생성 목적의 기하학에 대한 명시적 가정 하에서 생성적 분리가 필요하다. 이 원고는 문제 정식화와 아키텍처를 확립하며, 실험 검증은 진행 중이고 향후 개정판에서 보고될 예정이다.
네트워크 사이버-물리 시스템에서 하이브리드 이산-연속 행동, 학습 시간 안전 제약, 물리 기반 역학이 맞물려 기성 모듈 조합을 무력화하는 3중 결합 문제를 TRIDENT가 Richardson-Romberg 그래디언트 보정, Lyapunov 제약 순차 신뢰 영역 업데이트, 물리 정보 잔여 비평가의 공동 설계로 해소하고 제약된 내시 균형 수렴과 누적 위반 상한을 증명한다. 다중 UAV 모바일 엣지 컴퓨팅, 자율 교차로 관리, 하이브리드 SMAC 변형에서 MADDPG 대비 학습 시간 위반 95.5%, MACPO 대비 76.3%를 줄이고 무제약 기준선 대비 보상을 13.5% 개선했다.
LLM 기반 다중 에이전트 시스템은 상호 의존적인 이해관계자 입장을 동시에 추론해야 하는 의사결정, 즉 입장의 얽힘(stance entanglement) 문제를 분할 정복으로 해결하기 어렵다. 다중 에이전트 가상 플레이(MAFP)는 게임 이론의 가상 플레이로 각 에이전트가 다른 에이전트의 과거 결정에 최적 대응하며 반복 갱신해 균형에 가까운 전략을 찾고, 경쟁 시나리오에서 토너먼트 강도와 강인성 모두에서 단·다중 라운드 베이스라인을 능가했다.
팀 과학의 상황 종속적 리더십 관점에서 다중 에이전트 LLM 팀의 프로세스 수준 조정 제어가 가치를 더하는 조건을, 세 가지 고전적 리더십 스타일을 공유 액션 어휘(explore, revise, accept, synthesize) 위의 컨트롤러로 구현하고 행동적 시그니처와 액션별 소거로 분석한다. 네 가지 작업 체제와 세 오픈 가중치 모델 계열에서 어떤 컨트롤러도 정확도 면에서 일관되게 우위를 점하지 못했으며, 이득은 0라운드 다수결이 신뢰할 수 없고 작업이 회복 가능하며 무방향 상호작용이 보정하지 못할 때에만 나타나 이론이 예측한 회복-이점 경계와 일치한다.
RoboCup 2D 축구 시뮬레이션(RCSS2D)은 부분 관측·협동·적대 상호작용·희소 보상·장기 전술을 아우르는 다중 에이전트 강화학습(MARL) 시험대이지만, 대회 지향적 서버-클라이언트 구조 때문에 Python 기반 MARL 워크플로우에 바로 쓰기 어렵다. R2D-RL은 공유 메모리 통신과 사이클 수준 동기화로 RCSS2D와 HELIOS 기반 플레이어 클라이언트를 Python MARL 인터페이스에 연결하며, 구성 가능한 상대·행동 마스크·예상 점유 가치(EPV) 보상 성형·병렬 실행을 지원하고 전방 골 시나리오와 11대11 전 필드 벤치마크 및 기준선 결과를 제공한다.