arXiv:2401.11378

Multi-Agent Generative Adversarial Interactive Self-Imitation Learning for AUV Formation Control and Obstacle Avoidance

Zheng Fang, Tianhao Chen, Dong Jiang, Zheng Zhang, Guangliang Li

제출 2024-01-21

원문 초록

Multiple autonomous underwater vehicles (multi-AUV) can cooperatively accomplish tasks that a single AUV cannot complete. Recently, multi-agent reinforcement learning has been introduced to control of multi-AUV. However, designing efficient reward functions for various tasks of multi-AUV control is difficult or even impractical. Multi-agent generative adversarial imitation learning (MAGAIL) allows multi-AUV to learn from expert demonstration instead of pre-defined reward functions, but suffers from the deficiency of requiring optimal demonstrations and not surpassing provided expert demonstrations. This paper builds upon the MAGAIL algorithm by proposing multi-agent generative adversarial interactive self-imitation learning (MAGAISIL), which can facilitate AUVs to learn policies by gradually replacing the provided sub-optimal demonstrations with self-generated good trajectories selected by a human trainer. Our experimental results in a multi-AUV formation control and obstacle avoidance task on the Gazebo platform with AUV simulator of our lab show that AUVs trained via MAGAISIL can surpass the provided sub-optimal expert demonstrations and reach a performance close to or even better than MAGAIL with optimal demonstrations. Further results indicate that AUVs' policies trained via MAGAISIL can adapt to complex and different tasks as well as MAGAIL learning from optimal demonstrations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.23997v2cs.RO공통 태그 Imitation Learning, Multi-agent Reinforcement Learning

RoboTalk: 다중 모달 시연으로부터 다중 로봇 통신 및 조율 학습하기

RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations

다중 로봇 협업은 복잡한 로봇 작업에 대해 더욱 효율적이고 확장 가능한 해결책을 가능하게 할 수 있지만, 부분 관측 가능성(partial observability) 하에서의 협업은 여전히 도전 과제로 남아 있습니다. 자연어 통신은 부분 관측 가능성 하에서 로봇들을 조율하기 위한 유망한 접근 방식을 제공합니다. 그러나 탈중앙화된 조작(decentralized manipulation)에서, 온디바이스 배포를 목표로 하는 소형 비전-언어 모델(VLM)이 다중 모달(multimodal) 시연으로부터 명시적인 로봇 간 통신과 스킬 수준의 행동 선택을 공동으로 학습하는 것은 아직 충분히 연구되지 않았습니다. 이러한 공백을 해결하기 위해, 소형 VLM이 통신하고 조율하도록 학습(training)시키기 위한 53개의 모바일 조작 주방 작업에 걸친 7,950개의 다중 모달 궤적으로 구성된 합성 데이터 생성 파이프라인 및 데이터셋인 RoboTalk을 소개합니다. 이 데이터셋에는 리더-팔로워 계획 프로토콜, 도구 호출(인식, 조작, 내비게이션, 통신), 추론 과정(rationale traces), 그리고 다양화된 자연어 통신이 포함되어 있습니다. 오픈소스 모델을 본 데이터셋으로 미세조정(fine-tuning)하면 새로운 미공개(held-out) 작업에서 77%의 성공률에 도달할 수 있으며, 이는 약 ~2%의 성공률을 보였던 미세조정되지 않은 기존 오픈소스 모델 대비 대폭 향상된 결과입니다.

arXiv:2609.35835v2cs.MA공통 태그 Imitation Learning, Multi-agent Reinforcement Learning

Amadeus: 인간 모델들이 만날 때

Amadeus: When Models of People Meet

AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.

arXiv:2607.22119v1cs.RO공통 태그 Imitation Learning, Multi-agent Reinforcement Learning

한 손이 다른 손을 주시한다: 동적 환경에서 샘플 효율적 양손 조작을 위한 동적 다중 에이전트 협력

One Hand Watches The Other: Dynamic Multi-Agent Cooperation for Sample-Efficient Bimanual Manipulation in Dynamic Environments

다중 스트림(multi-stream) 로봇 조작 정책은 환경 기준 좌표계에 대한 상대적 행동을 모델링함으로써 비교할 수 없는 샘플 효율성과 일반화 성능을 달성한다. 그러나 기존 접근법은 일반적으로 이러한 좌표계가 엄격히 외생적(exogenous)이라고 가정한다. 단일 로봇 팔이 움직이는 물체를 조작하거나 두 팔이 협조할 때처럼, 각 팔이 사실상 상대방의 동적 환경의 일부가 되는 동적 설정에서는 이러한 인과적 가정이 무너진다. 우리는 DynaMAC을 제안한다. 이는 다중 스트림 정책의 샘플 효율성, 계산 속도, 유연성을 유지하면서 이러한 인과적 한계를 해결하는 경량의 정책 독립적(policy-agnostic) 프레임워크이다. DynaMAC은 반대쪽 팔을 동적 작업 매개변수로 취급하여, 명시적인 리더-팔로워(leader-follower) 관계 없이 동적 조작과 양손 협조에 대한 통합 공식화를 제공한다. 이러한 능력을 엄격히 평가하기 위해, 동적 환경에서의 로봇 조작을 위한 새로운 벤치마크인 DynaBench를 도입한다. 동적 환경과 양손 조작 작업 모두에서 DynaMAC은 20배 적은 샘플을 필요로 하면서도 선도적인 확률적 및 생성형 베이스라인을 35%p 이상 능가한다. 중요하게도, DynaMAC은 정적 시연에서 동적 환경으로 제로샷(zero-shot) 일반화를 수행하여 데이터 수집을 크게 단순화하고 인간-로봇 협력을 향한 우아한 다리를 마련한다.

arXiv:2610.03391v2cs.CV공통 태그 Imitation Learning

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.