PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13534v1cs.AI

MAGMA-Bench: 동적 태스크 및 실행 실패 환경에서의 장기 임바디드 에이전트 평가

MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures

장기(long-horizon) 임바디드 에이전트(embodied agent)는 실행이 진행됨에 따라 태스크 관련 정보를 유지하고, 이종 로봇들을 조율하며, 의사결정을 적응적으로 변경할 수 있어야 합니다. 기존 벤치마크는 동적 태스크 실행 및 임바디드 멀티 에이전트 조율을 조사하지만, 둘의 교차점에 대한 평가는 제한적입니다. 본 연구에서는 동적 멀티 로봇 환경에서의 지속적 태스크 추론을 위한 아키텍처 비종속적 벤치마크인 MAGMA-Bench를 소개합니다. MAGMA-Bench는 이종 역량을 가진 로봇 간의 조율이 필요한 시나리오와 함께, 실행 실패, 태스크 중단, 미션 업데이트를 포함한 통제된 온라인 섭동(online perturbation) 및 늘어나는 태스크 범위에 걸쳐 에이전트를 평가합니다. 본 벤치마크는 구조화된 스킬 수준 인터페이스를 활용하여 태스크 수준 추론을 인지 및 저수준 제어로부터 분리합니다. 저자들은 로컬 배포가 가능한 오픈 가중치 플래너, 멀티 에이전트 상태 추적 전략, 그리고 프론티어 모델들을 평가합니다. 평가된 가장 강력한 모델조차도 섭동이 없는 에피소드의 상당 부분에서 실패하며, 온라인 섭동 하에서는 성공률이 더욱 감소합니다. 지도 적응(supervised adaptation)은 소형 모델의 성능을 크게 향상시키지만, 더 길고 다중 로봇이 관여하는 미션에서는 성능이 여전히 크게 낮게 유지됩니다. 저자들은 벤치마크, 261,646개의 태스크 수준 학습 예제, 그리고 아키텍처 비종속적 전문가 궤적 생성 파이프라인을 공개합니다.

arXiv:2609.35965v2cs.CV

체계적 다중 에이전트 비전-언어 내비게이션: 공식화, 벤치마크 및 방법론

Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method

비전-언어 내비게이션(VLN)은 주로 단일 에이전트가 단일 지시를 따르는 데 초점을 맞추어 왔으나, 많은 실제 응용 분야에서는 개별 에이전트의 역량을 넘어서는 작업을 해결하기 위해 로봇 팀을 필요로 합니다. 본 연구에서는 체계적 다중 에이전트 비전-언어 내비게이션을 제시하며, 우리가 아는 한 다중 에이전트 VLN을 제약 조건이 있는 협업 문제로 최초 체계적으로 공식화합니다. 각 임무는 의존성 및 자원 제약(존재 잠금 및 유지 체인)을 수반하는 하위 작업으로 구성됩니다. 검증된 4단계 제작 파이프라인을 통해 세 가지 지시 체제 하에서 최대 4개의 에이전트로 구성된 팀과 함께 145개 장면에 걸친 11,724개 에피소드로 이루어진 MAVLN으로 작업을 인스턴스화하고, 맞춤형 제약 인식 지표를 함께 제공합니다. 나아가 대규모 언어 모델(LLM) 기반 하위 작업 스케줄러, 각 에이전트의 탐험을 팀 지식으로 전환하는 공유 위상학적 메모리, 그리고 동시 의도를 충돌 없는 경로로 구현하는 충돌 인식 실행 메커니즘을 결합한 협업 지원 내비게이션 시스템인 TRISS를 제시합니다. 광범위한 실험을 통해 TRISS가 포괄적인 기준선임을 입증하며, 스케줄링, 계획, 실행 전반에 걸쳐 상당한 개선 여지가 있음을 밝혀 MAVLN 작업 제약 하에서의 협업 과제를 부각합니다. 프로젝트 페이지: https://xyz9911.github.io/mavln.

arXiv:2610.02161v1cs.RO

DuoMind: 시맨틱 통신을 통한 분산 다중 로봇 협업 지원

DuoMind: Enabling Distributed Multi-Robot Coordination with Semantic Communication

최근 비전-언어 모델(VLM)과 비전-언어-행동 모델(VLA)은 범용 로봇 분야에서 급격한 발전을 이끌어왔으나, 대부분의 발전은 단일 로봇 환경에 집중되어 있었습니다. 로봇이 신뢰할 수 있는 세밀한 실행을 유지하면서 장기적인(long-horizon) 행동을 조율해야 하므로, 이러한 역량을 다중 로봇 시스템으로 확장하는 것은 여전히 어려운 과제입니다. 본 연구에서는 시맨틱 통신(semantic communication)을 통한 다중 로봇 조율을 위한 분산 계층적 프레임워크인 DuoMind를 소개합니다. 각 로봇은 저수준 실행을 위해 VLA 기반 행동 모델을 사용하고, 고수준 추론 및 에이전트 간 조율을 위해 VLM 기반 오케스트레이터를 사용합니다. 각 계획 단계에서 각 로봇의 오케스트레이터는 작업 지시, 국소 관측치, 다른 로봇으로부터 수신한 메시지를 종합적으로 추론합니다. 그런 다음 행동 모델을 위한 저수준 지시문과 동료 로봇을 위한 시맨틱 메시지를 생성합니다. 이러한 아키텍처는 VLM의 시맨틱 추론 역량과 VLA의 정밀한 행동 생성 역량을 결합하여 사전학습된 모델들의 상호보완적 강점을 활용합니다. 또한, 다중 로봇 조율을 위한 벤치마크의 부족 문제를 해결하기 위해, 분산 제어 환경에서 조율된 폐루프(closed-loop) 실행을 요구하는 장기 조작 작업들로 구성된 벤치마크인 RoboPoly를 구축했습니다. RoboPoly와 RoboTwin을 대상으로 한 실험을 통해 DuoMind가 다중 로봇 작업 성능을 향상시킴을 입증하였으며, 소거 연구(ablation study)를 통해 계층적 오케스트레이션과 시맨틱 통신의 기여도를 확인했습니다. 자세한 내용은 프로젝트 페이지에서 확인할 수 있습니다.

arXiv:2609.27816v1cs.RO

VLM-LLM 추론과 도달 가능성 분석을 통한 안전한 다중 로봇 협업

Safe Multi-Robot Coordination via VLM-LLM Reasoning and Reachability Analysis

로봇마다 센싱 능력, 환경 인식 수준, 모션 실행 역할이 상이한 이종 사물통신(M2M) 로봇 시스템에서는 안전한 협업을 달성하기 어렵습니다. 본 논문에서는 비전 기능이 있는 4족 보행 로봇과 카메라가 없는 로봇 차량으로 구성된 이종 모바일 로봇 팀의 협력적 목표 지향 내비게이션을 위한 중앙 집중식 안전 인식 M2M 프레임워크를 제안합니다. 본 연구의 목표는 정적 및 동적 장애물을 회피하고 로봇 간의 불안전한 상호작용을 방지하면서 두 플랫폼을 목표 영역으로 유도하는 것입니다. 공유 인지의 원리에 따라 비전 기능 로봇은 MQTT 브로커를 통해 중앙 집중식 서버로 의미론적 환경 인식을 제공하며, 카메라가 없는 플랫폼은 자체 주행거리계(odometry), IMU, 상태 피드백과 함께 이 공유된 장면 표현을 활용하여 내비게이션을 수행합니다. 비전-언어 모델(VLM)이 시각 스트림을 해석하고, 추출된 의미론적 데이터는 팽창된 장애물 집합, 안전 회랑, 목표 영역을 포함한 보수적인 미터법 기하학적 제약 조건으로 매핑됩니다. 대규모 언어 모델(LLM)은 상위 수준의 작업 할당을 제안하는 반면, 물리적 명령 권한은 로봇별 조노톱(zonotope) 도달 가능성 게이트로 제한됩니다. 이 검증 엔진은 명령을 승인하기 전에 독립적인 도달 가능 튜브(reachable tube)를 전파하여 장애물 회피, 안전 회랑 포함 여부, 로봇 간 분리 술어를 평가합니다. 경로가 트인 시나리오와 동적 장애물 시나리오 전반에 걸친 온라인 실험을 통해, 이 파이프라인이 안전한 모션을 안정적으로 승인하고, 제약 조건 위반 시 보수적인 재계획 또는 정지 기동을 유발하며, 자문적 의미론적 추론과 정형 검증된 모터 실행 간의 엄격한 구조적 분리를 강제함을 보여줍니다.