arXiv:2610.02161v1 cs.RO

DuoMind: 시맨틱 통신을 통한 분산 다중 로봇 협업 지원

DuoMind: Enabling Distributed Multi-Robot Coordination with Semantic Communication

Hanchu Zhou, Dechen Gao, Hang Wang, Brendan Lynch, Boqi Zhao, Qiyao Ma, Raman Goyal, Junshan Zhang

제출 2026-10-01

한국어 초록

최근 비전-언어 모델(VLM)과 비전-언어-행동 모델(VLA)은 범용 로봇 분야에서 급격한 발전을 이끌어왔으나, 대부분의 발전은 단일 로봇 환경에 집중되어 있었습니다. 로봇이 신뢰할 수 있는 세밀한 실행을 유지하면서 장기적인(long-horizon) 행동을 조율해야 하므로, 이러한 역량을 다중 로봇 시스템으로 확장하는 것은 여전히 어려운 과제입니다. 본 연구에서는 시맨틱 통신(semantic communication)을 통한 다중 로봇 조율을 위한 분산 계층적 프레임워크인 DuoMind를 소개합니다. 각 로봇은 저수준 실행을 위해 VLA 기반 행동 모델을 사용하고, 고수준 추론 및 에이전트 간 조율을 위해 VLM 기반 오케스트레이터를 사용합니다. 각 계획 단계에서 각 로봇의 오케스트레이터는 작업 지시, 국소 관측치, 다른 로봇으로부터 수신한 메시지를 종합적으로 추론합니다. 그런 다음 행동 모델을 위한 저수준 지시문과 동료 로봇을 위한 시맨틱 메시지를 생성합니다. 이러한 아키텍처는 VLM의 시맨틱 추론 역량과 VLA의 정밀한 행동 생성 역량을 결합하여 사전학습된 모델들의 상호보완적 강점을 활용합니다. 또한, 다중 로봇 조율을 위한 벤치마크의 부족 문제를 해결하기 위해, 분산 제어 환경에서 조율된 폐루프(closed-loop) 실행을 요구하는 장기 조작 작업들로 구성된 벤치마크인 RoboPoly를 구축했습니다. RoboPoly와 RoboTwin을 대상으로 한 실험을 통해 DuoMind가 다중 로봇 작업 성능을 향상시킴을 입증하였으며, 소거 연구(ablation study)를 통해 계층적 오케스트레이션과 시맨틱 통신의 기여도를 확인했습니다. 자세한 내용은 프로젝트 페이지에서 확인할 수 있습니다.

원문 초록

Vision-language models (VLMs) and vision-language-action models (VLAs) have recently driven rapid progress in general-purpose robots, yet most progress has focused on single-robot settings. Extending these capabilities to multi-robot systems remains challenging because robots must coordinate long-horizon behaviors while maintaining reliable, fine-grained execution. We introduce DuoMind, a distributed hierarchical framework for multi-robot coordination through semantic communication. Each robot uses a VLA-based action model for low-level execution and a VLM-based orchestrator for high-level reasoning and inter-agent coordination. At each planning step, the orchestrator at each robot reasons over the task instruction, local observations, and messages received from other robots. It then generates low-level instructions for the action model and semantic messages for peer robots. This architecture exploits the complementary strengths of pretrained models by combining the semantic reasoning capabilities of VLMs with the precise action-generation capabilities of VLAs. To address the scarcity of benchmarks for multi-robot coordination, we further develop RoboPoly, a benchmark comprising long-horizon manipulation tasks that require coordinated, closed-loop execution under distributed control. Experiments on RoboPoly and RoboTwin demonstrate that DuoMind improves multi-robot task performance, while ablation studies confirm the contributions of hierarchical orchestration and semantic communication. More details are available on our project page.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02161v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2505.12224v5cs.RO공통 태그 Vision-Language-Action공식 코드 · Papers with Code

RoboFAC: 로봇 실패 분석 및 수정을 위한 포괄적 프레임워크

RoboFAC: A Comprehensive Framework for Robotic Failure Analysis and Correction

비전-언어-행동(Vision-Language-Action, VLA) 모델은 자연어 지시와 시각적 관측을 제어 행동으로 변환함으로써 최근 로봇 조작(robotic manipulation) 분야를 발전시켰습니다. 그러나 기존 VLA는 주로 성공적인 전문가 시연 데이터를 기반으로 학습(training)되어 실패 진단 및 복구를 위한 구조화된 지도(supervision)가 부족하며, 이는 개방형 환경(open-world) 시나리오에서의 강건성(robustness)을 제한합니다. 이러한 한계를 해결하기 위해 본 논문에서는 로봇 실패 분석 및 수정(RoboFAC) 프레임워크를 제안합니다. 시뮬레이션 및 실제 환경의 53개 장면에서 체계적으로 분류된 실패 유형과 함께 9,440개의 오류 조작 궤적과 78,623개의 QA 쌍으로 구성된 대규모 실패 중심 데이터셋을 구축합니다. 이 데이터셋을 활용하여 태스크 이해, 실패 분석 및 실패 수정을 전문으로 하는 경량 멀티모달 모델을 개발함으로써, 대규모 상용 모델과 견줄 만한 성능을 유지하면서도 효율적인 로컬 배포를 가능하게 합니다. 실험 결과에 따르면 RoboFAC은 GPT-4o 대비 34.1% 더 높은 실패 분석 정확도를 달성합니다. 나아가 실제 VLA 제어 파이프라인에 RoboFAC을 외부 감독자로 통합하여 4개 태스크 전반에서 29.1%의 상대적 성능 향상을 이끌어내는 동시에 GPT-4o 대비 지연 시간(latency)을 크게 줄였습니다. 이러한 결과는 RoboFAC이 체계적인 실패 진단 및 복구를 가능하게 하여 VLA 복구 능력을 크게 향상시킴을 입증합니다. 모델과 데이터셋은 https://github.com/MINT-SJTU/RoboFAC 에서 공개되어 있습니다.

arXiv:2507.04447cs.CV공통 태그 Vision-Language-Action공식 코드 · Papers with Code

DreamVLA: A Vision-Language-Action Model Dreamed with Comprehensive World Knowledge

최근 비전-언어-행동(VLA) 모델의 발전은 이미지 생성과 행동 예측을 통합하여 로봇 조작에서의 일반화 및 추론 능력을 향상시키는 가능성을 보여주고 있습니다. 그러나 기존 방법들은 중복된 정보가 많고 동적, 공간적, 의미적 정보를 포함한 포괄적이고 중요한 세계 지식이 부족한 어려운 이미지 기반 예측에 한정되어 있습니다. 이러한 한계를 극복하기 위해, 본 논문에서는 역동역학 모델링을 가능하게 하는 포괄적 세계 지식 예측을 통합한 새로운 VLA 프레임워크인 DreamVLA를 제안합니다. 이를 통해 조작 작업을 위한 지각-예측-행동 루프를 구축합니다. 구체적으로 DreamVLA는 동적 영역 안내 세계 지식 예측을 도입하며, 공간적 및 의미적 단서와 통합하여 행동 계획에 대해 간결하면서도 포괄적인 표현을 제공합니다. 이러한 설계는 인간이 행동하기 전에 추상적 다중모달 사고의 연쇄를 형성하는 방식과 일치합니다. 학습 과정에서 동적, 공간적, 의미적 정보 간 간섭을 완화하기 위해, 상호 어텐션을 차단하여 정보 누출을 방지하고 각 표현을 깨끗하고 분리된 상태로 유지하는 블록 단위 구조화 어텐션 메커니즘을 채택하였습니다. 또한 미래 행동에 대한 조건부 분포를 모델링하기 위해, 공유 잠재 특징으로부터 행동 표현을 분리하는 diffusion 기반 트랜스포머를 활용합니다. 실제 및 시뮬레이션 환경에서의 광범위한 실험 결과, DreamVLA는 실제 로봇 작업에서 76.7%의 성공률과 CALVIN ABC-D 벤치마크에서 평균 4.44의 길이를 달성함을 입증하였습니다.

arXiv:2506.20966cs.RO공통 태그 Vision-Language-Action공식 코드 · Papers with Code

Parallels Between VLA Model Post-Training and Human Motor Learning: Progress, Challenges, and Trends

비전-언어-행동(Vision-language-action, VLA) 모델은 로봇 조작을 위한 행동 생성 모듈을 통합하여 비전-언어 모델(Vision-language model, VLM)을 확장한 모델입니다. VLM이 시각 인지와 명령 이해에서 갖는 강점을 활용하여, VLA 모델은 다양한 조작 작업에 걸쳐 유망한 일반화 능력을 보입니다. 그러나 높은 정밀도와 정확도를 요구하는 응용 분야에서는 추가 적응 없이는 성능 격차가 드러납니다. 여러 분야에서의 증거는 기초 모델을 하위 응용에 맞추기 위한 사후 학습(post-training)의 중요성을 강조하며, 이에 따라 VLA 모델의 사후 학습에 관한 광범위한 연구가 진행되고 있습니다. VLA 모델 사후 학습은 인간의 운동 기술 습득 과정과 유사하게, 주어진 작업에 대해 환경과 상호작용하는 구현체(embodiment)의 능력을 향상시키는 과제를 해결하는 것을 목표로 합니다. 이에 본 논문은 인간 운동 학습 관점에서 환경, 구현체, 작업의 세 가지 차원을 중심으로 VLA 모델 사후 학습 전략을 검토합니다. 인간 학습 메커니즘에 부합하는 체계적 분류법을 제시하며, (1) 환경 인지 향상, (2) 구현체 인식 개선, (3) 작업 이해 심화, (4) 다중 구성 요소 통합의 네 가지 범주로 구분합니다. 마지막으로, 사후 학습 VLA 모델의 주요 도전 과제와 동향을 규명하여 향후 연구를 안내할 개념적 프레임워크를 구축합니다. 본 연구는 인간 운동 학습 관점에서 현재 VLA 모델 사후 학습 방법에 대한 포괄적 개요와 VLA 모델 개발을 위한 실질적 통찰을 제공합니다. (프로젝트 웹사이트: https://github.com/AoqunJin/Awesome-VLA-Post-Training)

토론

이 논문과 연결된 포럼 글이 아직 없습니다.