PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.35965v2cs.CV

체계적 다중 에이전트 비전-언어 내비게이션: 공식화, 벤치마크 및 방법론

Systematic Multi-Agent Vision-and-Language Navigation: Formulation, Benchmark, and Method

비전-언어 내비게이션(VLN)은 주로 단일 에이전트가 단일 지시를 따르는 데 초점을 맞추어 왔으나, 많은 실제 응용 분야에서는 개별 에이전트의 역량을 넘어서는 작업을 해결하기 위해 로봇 팀을 필요로 합니다. 본 연구에서는 체계적 다중 에이전트 비전-언어 내비게이션을 제시하며, 우리가 아는 한 다중 에이전트 VLN을 제약 조건이 있는 협업 문제로 최초 체계적으로 공식화합니다. 각 임무는 의존성 및 자원 제약(존재 잠금 및 유지 체인)을 수반하는 하위 작업으로 구성됩니다. 검증된 4단계 제작 파이프라인을 통해 세 가지 지시 체제 하에서 최대 4개의 에이전트로 구성된 팀과 함께 145개 장면에 걸친 11,724개 에피소드로 이루어진 MAVLN으로 작업을 인스턴스화하고, 맞춤형 제약 인식 지표를 함께 제공합니다. 나아가 대규모 언어 모델(LLM) 기반 하위 작업 스케줄러, 각 에이전트의 탐험을 팀 지식으로 전환하는 공유 위상학적 메모리, 그리고 동시 의도를 충돌 없는 경로로 구현하는 충돌 인식 실행 메커니즘을 결합한 협업 지원 내비게이션 시스템인 TRISS를 제시합니다. 광범위한 실험을 통해 TRISS가 포괄적인 기준선임을 입증하며, 스케줄링, 계획, 실행 전반에 걸쳐 상당한 개선 여지가 있음을 밝혀 MAVLN 작업 제약 하에서의 협업 과제를 부각합니다. 프로젝트 페이지: https://xyz9911.github.io/mavln.