arXiv:2606.26575v1 cs.RO

IDEA: 효과 정렬을 통한 동역학 불일치 둔감 다중 에이전트 제어 sim-to-real 전이

IDEA: Insensitive to Dynamics Mismatch via Effect Alignment for Sim-to-Real Transfer in Multi-Agent Control

Chenlong Liu, Zhuohui Zhang, Xinyan Chen, Zhipeng Wang, Bin Cheng, Bin He

제출 2026-06-25

한국어 초록

복잡한 다중 에이전트 제어 과제는 전통적인 규칙 기반 및 모델 기반 접근법에 여전히 어려움이 남아 있어, 학습 기반 방법의 채택이 촉진되고 있다. 그러나 학습 기반 방법은 정확한 동역학 모델링이나 시스템 식별(system identification)에 의존하고, 동역학 불일치에 매우 민감한 저수준 제어 공간에서 정책을 학습하기 때문에 sim-to-real 전이에 어려움을 겪는 경우가 많으며, 복잡한 환경에서는 비용이 크고 취약해진다. 이 문제를 해결하기 위해, 우리는 효과 정렬(effect alignment)을 통해 동역학 불일치에 둔감한 다중 에이전트 제어용 sim-to-real 방법을 제안한다. 우리 방법은 폐루프(closed-loop) 제어를 통해 무작위 환경 구조와 이산적 의미적(semantic) 행동을 결합하여 정책 학습을 의미적 추상화 수준으로 끌어올린다. 또한 에이전트 간 행동 타이밍 불일치를 완화하는 행동 동기화 메커니즘을 개발하여 시스템의 시간적 일관성을 향상시킨다. 4개의 다중 에이전트 내비게이션 과제에 대한 실험은, 우리 방법이 주류 전이 방법 대비 학습 효율을 크게 개선하고 실세계 시나리오에서 더 높은 성공률을 달성함을 보여주며, 동역학 불일치 하에서 다중 에이전트 시스템의 견고성과 배포 안정성을 향상시킨다.

원문 초록

Complex multi-agent control tasks remain challenging for traditional rule-based and model-based approaches, motivating the adoption of learning-based methods. However, learning-based methods often struggle with sim-to-real transfer because they rely on accurate dynamics modeling or system identification and learn policies in low-level control spaces that are highly sensitive to dynamics mismatch, making them costly and fragile in complex environments. To address this issue, we propose a sim-to-real method for multi-agent control, which is insensitive to dynamics mismatch via effect alignment. Our method combines random environmental structure with discrete semantic actions through closed-loop control, elevating policy learning to a semantic abstraction level. Additionally, we develop an action synchronization mechanism that mitigates inter-agent action timing mismatches, thereby enhancing the temporal consistency of the system. Experiments on four multi-agent navigation tasks demonstrate that our method substantially improves training efficiency over mainstream transfer methods and achieves higher success rates in real-world scenarios, thereby improving the robustness and deployment stability of multi-agent systems under dynamics mismatch.

요약

다중 에이전트 제어의 sim-to-real 전이에서 동역학 불일치에 취약한 저수준 정책 학습 문제를, 폐루프 제어로 이산적 의미적 행동과 무작위 환경 구조를 결합한 효과 정렬(effect alignment) 및 에이전트 간 행동 동기화로 완화하는 IDEA를 제안한다. 네 가지 다중 에이전트 내비게이션 과제에서 주류 전이 방법 대비 학습 효율과 실세계 성공률이 크게 향상되어, 동역학 불일치 하에서도 견고한 배포가 가능함을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26575v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13472v2cs.RO공통 태그 Navigate, Continuous Control

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

arXiv:2610.13737v1cs.LG공통 태그 Continuous Control, Multi-agent Reinforcement Learning

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.10787v1cs.RO공통 태그 Navigate, Continuous Control

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

arXiv:2610.02366v1cs.LG공통 태그 Continuous Control, Multi-agent Reinforcement Learning

Co-Design Gym: 신체 구조-정책 공동최적화를 위한 통합 벤치마크

Co-design Gym: A Unified Benchmark for Embodiment-Policy Co-optimization

주어진 환경(environment) 내에서 최적의 행동 정책(policy)을 찾는 것은 게임, 로보틱스, 에너지 인프라, 통신 네트워크, 다중 에이전트(agent) 시스템 등 다양한 분야에서 널리 연구되어 온 문제이다. 이러한 연구를 지원하기 위해 수많은 벤치마크가 개발되었지만, 대다수는 에이전트의 신체 구조(embodiment, 설계)가 고정되어 있다고 가정하고 정책 학습(policy learning)에만 초점을 맞춘다. 이 가정을 제거하면, 신체 구조와 정책을 개별적으로 최적화하는 것이 최적에 크게 못 미치는(highly suboptimal) 더 넓은 범주의 문제들이 드러난다. 에이전트의 신체 구조는 어떤 제어 정책을 발견할 수 있는지를 강하게 좌우하며, 반대로 최적의 신체 구조는 그것이 허용하는 정책들에 의해 정의된다. 연구 커뮤니티가 이러한 범주의 문제를 명시적이고 체계적으로 연구할 수 있도록 돕기 위해, 우리는 신체 구조와 정책을 공동으로 최적화하기 위한 벤치마크 환경 모음인 Co-Design Gym을 소개한다. 우리의 환경은 로봇 조작(manipulation) 및 이동(locomotion), 다중 로봇 협력, 변형 가능하고 유연한(deformable and soft) 동역학, 비디오 게임, 전력망, 무선 네트워크, F1 레이싱, 다중 에이전트 창고, 최적 제어(optimal control) 등의 분야를 포괄하며, 총 20개의 환경 군(도메인)에서 85개 이상의 서로 다른 공동 설계(co-design) 프리셋을 제공한다. 우리는 또한 대표적인 공동 설계 알고리즘들에 대한 체계적인 평가를 수행하여 현재 기술 수준(state of the art)을 규명한다. 이러한 기여들은 공동 설계 분야에서 누적적이고 비교 가능한 발전을 위한 토대를 마련한다.

arXiv:2610.02554v1cs.LG공통 태그 Continuous Control, Multi-agent Reinforcement Learning

분해된 가치 그래디언트 흐름을 통한 테스트 시점 다중 에이전트 조정

Test-time Multi-agent Coordination by Decomposed Value Gradient Flow

오프라인 다중 에이전트 강화학습(MARL)은 지속적인 트레이드오프에 직면해 있습니다. 표현력이 뛰어난 생성형 정책은 데이터의 다중 모달 조정을 표현할 수 있지만 고가치 영역을 구분하지 못하며, 가치 최적화 정책은 학습된 Q-함수를 활용하지만 다중 모달을 단일 지배 모드로 붕괴시킵니다. 단일 에이전트의 모드 붕괴는 공동 조정을 무너뜨릴 수 있고, 에이전트 전반의 동시 드리프트는 공동 정책을 행동 공간의 미확인 영역으로 밀어 넣을 수 있습니다. 본 논문에서는 테스트 시점 행동 개선을 통해 생성형 파운데이션 모델과 학습된 가치 함수를 결합한 최초의 오프라인 MARL 프레임워크인 SCOUT(Scalable Coordination via Optimal Unified Transport)를 제안합니다. SCOUT는 두 가지 분리된 구성 요소를 학습합니다: 흐름 매칭 행동 사전 분포와 분해된 가치 함수입니다. 테스트 시점에는 스타인 변분 경사하강법(Stein variational gradient descent)을 통해 행동 샘플을 고가치 영역으로 이동(transport)시킵니다. 이동 단계의 수는 적응형 테스트 시점 스케일링을 제어하여 고정된 정규화 계수를 대체합니다. 개별-글로벌-최대(IGM) 원칙 하에서, 이동이 수렴함에 따라 소멸하는 공동 소프트-가치 격차에 대한 단일 항 KL 경계를 증명하며, 이는 IGM 위반에 비례하는 줄일 수 없는 가산 잔차를 갖습니다. 실증적으로 SCOUT는 이산 및 연속 오프라인 MARL 벤치마크 전반에서 최고의 평균 성능을 달성하며 모든 오프라인-온라인 구성에서 성능 향상을 가져옵니다.

arXiv:2609.09158v2cs.RO공통 태그 Navigate, Continuous Control

TANGO: 전신 비전-언어-행동 모델을 활용한 복잡한 환경에서의 휴머노이드 내비게이션

TANGO: Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model

본 연구에서는 휴머노이드 로봇을 이용해 복잡하고 어수선한 실내 환경을 탐색 및 이동(navigation)하는 문제를 다룹니다. 내비게이션을 2D 경로 계획 문제로 모델링하는 기존 방식과 달리, 복잡한 환경에서 휴머노이드가 이동하려면 복잡한 3D 공간을 충돌 없이 통과하기 위해 조율된 팔 배치, 몸통 조절, 보행 조절을 포함하는 연속적이고 기하 구조를 인식하는 전신 적응(whole-body adaptation)이 필요합니다. 이에 본 논문에서는 복잡한 환경에서 언어 조건 기반 휴머노이드 이동을 위한 최초의 전신 비전-언어 내비게이션(Vision-Language Navigation) 프레임워크인 TANGO를 제안합니다. 자연어 지시와 1인칭 시점(egocentric) RGB 관측값이 주어지면, TANGO는 다운스트림 전신 제어를 위한 29-자유도(DoF) 관절 공간 행동을 직접 예측합니다. 전역 경로 계획, 기구학적 전신 동작 생성, 장애물 인식 동작 편집, 강화학습(RL) 기반 트래킹을 통해 충돌 없는 다양한 이동 동작을 합성함으로써 TANGO를 전적으로 시뮬레이션 환경에서 학습(training)합니다. 이러한 파이프라인은 언어 조건부 전신 정책 학습을 위한 동역학적으로 실현 가능한 행동 감독(supervision)을 제공합니다. 광범위한 시뮬레이션 실험에서 TANGO는 비전-언어 내비게이션 분야에서 최첨단 성능을 입증하는 동시에, 장애물 통과가 필요한 까다로운 장면을 탐색할 때 강력한 모듈식 베이스라인들을 능가했습니다. 마지막으로, Unitree G1 휴머노이드 로봇에 TANGO를 제로샷(zero-shot)으로 배포한 결과, 실제 세계 내비게이션 데이터에 대한 학습 없이도 복잡한 실제 환경에서 견고한 언어 유도 이동이 가능함을 확인했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.