장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.
비전-언어 내비게이션(VLN)은 주로 단일 에이전트가 단일 지시를 따르는 데 초점을 맞추어 왔으나, 많은 실제 응용 분야에서는 개별 에이전트의 역량을 넘어서는 작업을 해결하기 위해 로봇 팀을 필요로 합니다. 본 연구에서는 체계적 다중 에이전트 비전-언어 내비게이션을 제시하며, 우리가 아는 한 다중 에이전트 VLN을 제약 조건이 있는 협업 문제로 최초 체계적으로 공식화합니다. 각 임무는 의존성 및 자원 제약(존재 잠금 및 유지 체인)을 수반하는 하위 작업으로 구성됩니다. 검증된 4단계 제작 파이프라인을 통해 세 가지 지시 체제 하에서 최대 4개의 에이전트로 구성된 팀과 함께 145개 장면에 걸친 11,724개 에피소드로 이루어진 MAVLN으로 작업을 인스턴스화하고, 맞춤형 제약 인식 지표를 함께 제공합니다. 나아가 대규모 언어 모델(LLM) 기반 하위 작업 스케줄러, 각 에이전트의 탐험을 팀 지식으로 전환하는 공유 위상학적 메모리, 그리고 동시 의도를 충돌 없는 경로로 구현하는 충돌 인식 실행 메커니즘을 결합한 협업 지원 내비게이션 시스템인 TRISS를 제시합니다. 광범위한 실험을 통해 TRISS가 포괄적인 기준선임을 입증하며, 스케줄링, 계획, 실행 전반에 걸쳐 상당한 개선 여지가 있음을 밝혀 MAVLN 작업 제약 하에서의 협업 과제를 부각합니다. 프로젝트 페이지: https://xyz9911.github.io/mavln.
내비게이션은 자율 시스템의 기본적인 능력이지만, 기존 대부분의 접근법은 고도로 구조화된 모델과 강한 사전 가정에 의존하여 열린 불확실한 실세계 환경에서의 견고성을 제한한다. 비전-언어 내비게이션(VLN)은 로봇이 데이터 기반 방식으로 자연어 이해와 시각적 지각을 통합할 수 있게 함으로써 유망한 방향을 제시한다. VLN이 점점 더 많은 연구 관심을 받고 있음에도 불구하고, 체계적인 방법론적 분류와 실세계 검증은 여전히 제한적이다. 본 서베이는 VLN 연구에 대한 종합적인 리뷰를 제시한다. 구체적으로, 최신 방법들을 두 가지 직교 차원에 따라 정리한다: 계층적 및 단일체(monolithic) 프레임워크를 포함하는 행동 패러다임과, 판별적(discriminative) 및 생성적(generative) 접근법을 포함하는 모델 패러다임. 각각의 강점과 한계에 대한 비판적 분석이 제공된다. 또한, 물리적 로봇 플랫폼에서 대표적인 VLN 시스템 구성에 대한 체계적인 실세계 평가를 수행한다. 열 가지 다양한 실세계 장면에 걸친 실험은 테스트된 구성에서 시뮬레이션과 실세계 배포 간의 상당한 성능 격차를 보여준다: 대표적인 단일체 RGB 전용 방법은 시뮬레이션에서 61%의 성공률을 달성하지만 실세계 배포에서는 22%로 떨어지는 반면, 계층적 프레임워크는 51%의 더 높은 실세계 성공률을 달성하여 우리의 평가 환경에서 더 강한 견고성을 시사한다. 마지막으로, 향후 연구에서 반드시 해결해야 할 지각, 의사결정, 제어 분야의 핵심 과제들을 강조한다.
물리적 상호작용이 가능한 구현형 에이전트(embodied agent)의 경우, 안전성과 효과성을 보장하기 위해 대화를 생성하고 이해하는 능력이 필수적입니다. DialNav은 사실적인 실내 내비게이션 환경에서 대화-실행 루프(dialog-execution loop)를 전체적으로 평가할 수 있는 프레임워크를 제공하지만, 학습 데이터(2K 에피소드)의 심각한 부족으로 인해 성능이 제한적입니다. 이를 해결하기 위해 우리는 자동 생성 파이프라인을 제안하고 DialNav을 위한 238K 에피소드를 포함하는 대규모 학습 데이터셋인 **RAINbow** 데이터셋을 구축했습니다. 우리의 파이프라인은 기존 VLN(Vision-and-Language Navigation) 데이터셋을 멀티턴 대화(multi-turn dialog)로 변환하여 비용 효율적이고 고품질의 데이터셋을 생성합니다. 그 후, 데이터의 잠재력을 극대화하기 위해 두 가지 상호 보완적인 발전을 소개합니다: (1) 동적 대화-내비게이션 루프와 내비게이션 학습을 정렬하는 내비게이션 학습 방식인 이중 전략 학습(Dual-Strategy Training), (2) VLN 지식을 활용하는 위치 추정 모델(localization model). 이러한 상호 보완적인 솔루션들을 결합하여, 우리의 모델은 **Val Seen** (58.24, **+89%**) 및 **Val Unseen** (29.05, **+100%**) 분할에서 모두 기준선(baseline)보다 월등히 높은 성공률을 기록하며 새로운 최신 성능(state of the art)을 확립했습니다.