정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선
Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping
한국어 초록
비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.
원문 초록
Vision-language navigation requires agents to follow natural-language instructions to reach target locations, making high-quality language supervision essential. Since human annotation is costly, prior work has explored scalable data synthesis methods. However, existing methods typically either use separate models for navigation and instruction generation or couple the two tasks through task-specific components; most also annotate the full trajectory corpus with a fixed model before updating, which can cause generated supervision to lag behind the evolving policy. Therefore, we introduce RSI-Nav, a data-centric recursive self-improvement framework for navigation via policy-synchronized language-action dual bootstrapping, which unifies vision-language-to-action instruction following and vision-action-to-language instruction generation within a shared model. Specifically, after supervised fine-tuning establishes fundamental capabilities, RSI-Nav progressively processes unlabeled trajectories in small shards. The current model generates instructions for these trajectories, executes them to evaluate goal completion and path efficiency, retains qualified samples, and immediately updates itself before processing the next shard. This shard-wise update keeps newly generated supervision aligned with the evolving policy. We also incorporate spatial understanding data, since stronger spatial reasoning benefits navigation. Extensive experiments show that RSI-Nav reaches 68.6% SR on R2R-CE and 72.4% SR on RxR-CE, while providing stronger instruction-generation utility and modestly improved spatial understanding after recursive evolution.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
내비게이터의 언어로 말하기: 동결된 항공 VLN 에이전트를 위한 궤적 기반 지시 번역
Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents
항공 비전-언어 내비게이션(VLN) 에이전트는 일반적으로 세부 사항이 풍부하고 궤적에 정렬된 명령으로 학습되는 반면, 사용자는 짧고 의도 중심적인 지시를 내립니다. 동결된(frozen) OpenFly 내비게이터에서 이러한 지시 간극(\emph{instruction gap})은 성공률(SR)을 $31.03\%$에서 $11.33\%$로 떨어뜨립니다. 번역기 학습을 확장하기 위해, 우리는 사람이 작성한 스타일 예시로 언어 모델에 프롬프트를 제공하여 원래 명령을 쌍을 이루는 의도 중심의 약한(Weak) 명령으로 변환하며, 이는 $15.27\%$의 SR을 산출합니다. 우리는 내비게이터를 동결된 상태로 유지하고 궤적 결과로부터 학습함으로써 약한 입력을 에이전트가 실행 가능한 명령으로 번역하는 프런트엔드인 궤적 기반 지시 번역기(\textbf{Trajectory-Grounded Instruction Translator, TGIT})를 소개합니다. 결과적으로 약한 명령으로 학습된 번역기는 약한 입력의 SR을 $37.93\%$로 끌어올리고 실제 사람의 지시로 제로샷 전이($11.33\%{\rightarrow}32.51\%$)됩니다. 또한 배제된(held-out) OpenFly를 개선($4.95\%{\rightarrow}20.79\%$)하고 CityNav 및 AirVLN에서 성능 회복을 이끌어냅니다.
RiverVLN: 무인 수상정을 위한 위상 기반 시간적 비전-언어 항법
RiverVLN: Phase-Grounded Temporal Vision--Language Navigation for Unmanned Surface Vehicles
비전-언어 항법(VLN)은 주로 실내 및 지상 로봇을 위해 발전해 왔으며, 여기서는 언어를 종종 정적인 목표로 다룰 수 있고 동작은 이산적이거나 거의 순간적인 행동으로 근사된다. 이러한 가정은 무인 수상정(USV)에서는 성립하지 않는다. 강 항해는 관성과 제한된 기동성 하에서 연속적인 운동을 요구하고, 장기 지시는 희소하고 시각적으로 모호한 해상 랜드마크를 통해 실행되어야 한다. 본 논문은 우리가 아는 한 연속적인 강 항행 하의 장기 USV VLN을 위해 설계된 최초의 벤치마크인 RiverVLN과, USV를 위한 위상 기반 시간적 항법 프레임워크 PGT-NAV를 제안한다. PGT-NAV는 전체 지시를 동작에 직접 매핑하는 대신, 이를 시각적으로 검증 가능한 의미적 위상(phase)의 순서화된 시퀀스로 변환하고, 그라운딩된 시각 및 운동 증거를 통해 활성 위상을 온라인으로 유지한다. 이 명시적 의미적 진행 상태는 시각-운동 이력 및 위상별 그라운딩과 융합되어 여섯 개의 국소 SE(2) 자세 증분을 예측한다. 결과 궤적은 predict-execute-re-observe 루프에서 실행되며, 선박은 W3를 향해 항행하고 위상과 그라운딩을 갱신한 뒤, 맵 기반 안전 층을 통해 재계획한다. 실험 결과 PGT-NAV는 GNM 스타일 및 ViNT 스타일 베이스라인 대비 재귀적 위치 및 방향 드리프트를 상당히 줄였으며, Unity-ROS 폐루프 항법에서 평균 성공률 0.79를 달성했다. 보지 못한 다리 개방 시험과 실세계 USV 실험은 위상 기반 표현이 통제된 평가에서 실제 USV 배치로 전이됨을 추가로 보여준다.
VLM 기반 비전-언어 내비게이션 모델은 무엇에 의존하는가: 정책 행동의 해석과 조종
What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior
현대의 비전-언어 내비게이션(VLN) 모델은 내비게이션 행동을 예측하기 위해 대부분 사전학습된 대규모 비전-언어 모델(VLM)에 의존한다. 이러한 언어 지시와 시각적 관측의 융합은 멀티모달 추론을 가능하게 하지만, 정보가 모달리티 간에 어떻게 라우팅되는지 또는 어떤 메커니즘이 내비게이션 결정을 이끄는지를 불분명하게 만든다. 따라서 VLN 모델이 관련된 의미론적 단서에 예측의 근거를 두는지, 혹은 과업 진행 상황을 추적할 수 있는지는 여전히 명확하지 않다. 본 연구에서는 VLN 모델의 해석 가능성과 조종 가능성을 연구한다. 우리는 시각적 관측, 지시문, 그리고 시각적 기억이 내비게이션 결정에 어떻게 인과적으로 영향을 미치는지를 측정하는 개입 기반 지표를 사용한다. 우리의 결과는 이러한 내비게이션 정책이 모든 입력 모달리티에 민감하며 단일 모달리티에만 의존하지 않음을 보여준다. 나아가 우리는 이러한 에이전트(agent)가 내비게이션 진행 상황을 인코딩하고 VLM 백본으로부터 의미론적 구조를 유지함으로써, 내부 활성화(activation)를 통한 개념 수준의 조종을 가능하게 함을 보인다. 마지막으로, 우리는 추상적 행동에 대한 활성화 벡터를 추출하여 이를 분포 외(out-of-distribution) 실제 환경 시나리오에 제로샷(zero-shot)으로 전이함으로써, 추가적인 미세조정 없이 성능을 향상시킨다.
비전-언어 내비게이션을 위한 이중-뇌 최소 충분 표현
Towards Dual-Brain Minimal Sufficient Representation for Vision-Language Navigation
연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 자기 중심(egocentric) 관측에 언어를 그라운딩하고, 보지 못한 장면에서 계획을 세울 것을 요구한다. 최근의 멀티모달 대규모 모델과 월드 모델 기반 방법들이 내비게이션을 개선했지만, 종종 과도한 작업 무관 세부 정보를 보존하여 일반화를 약화시키고 계산 부담을 증가시킨다. 우리는 최소 충분성 원칙(Principle of Minimal Sufficiency)에 기반한 내비게이션 프레임워크인 BrainNav를 제안한다. BrainNav는 세 가지 구성 요소로 이루어진다: 환경 노이즈를 억제하기 위해 지시(instruction) 인식 선택적 지각을 구현하는 Logical Anchor Model, 이산적 언어적 의도와 연속 잠재 역학을 효율적으로 동기화하면서 중복 정보를 걸러내는 컴팩트한 교차 모달 병목 역할을 하는 Minimalist Constraint Alignment 모듈, 그리고 응축된 저랭크(low-rank) 잠재 공간 내에서 행동 조건부 상태를 예측하는 Compression World Model. 이러한 모듈들은 의미적 의도와 공간 지각을 정렬하여 복잡한 작업에서 에이전트의 견고성과 효율성을 향상시킨다. 실험 결과 BrainNav는 R2R-CE val-unseen에서 SR/SPL 기준으로 이전 SOTA 대비 2.0% / 1.0%, RxR-CE val-unseen에서 0.94% / 0.78% 개선을 보였다. 이 결과는 최소 충분한 월드 표현이 견고한 VLN을 위한 효과적인 기반을 제공함을 시사한다.
행동 전 예측: 미래 상태 조건 비전-언어 내비게이션
Anticipate Before Acting: Future-State-Conditioned Vision-Language Navigation
인과적 비전-언어 모델을 사용한 end-to-end 비전-언어 내비게이션(VLN)은 지시와 자기중심적(egocentric) 관측을 행동에 직접 매핑하지만, 표준 행동 복제(behavior cloning)는 다음 행동만 감독하고 정책 상태가 미래 시각적 결과를 예측하도록 명시적으로 유도하지 않아 장기 의사결정을 제한한다. 특권 입력(privileged-input) 진단은 전문가 궤적(expert-trajectory)의 미래 이미지에 접근하면 내비게이션이 상당히 개선될 수 있음을 보여주며, 이는 미래 관측에 풍부하고 실행 가능한 단서가 포함되어 있음을 시사하지만, 이러한 입력은 배포 시에는 사용할 수 없다. 이 신호에 동기를 부여받아, 우리는 Future-State-Conditioned VLN(FSC-VLN)을 제안한다. 이는 배포 가능한 모델로, 인과적 정책에 미래 쿼리(future-query) 토큰을 추가하고, 학습 전용 미래 상태 감독을 사용하여 미래 관측의 정보를 정책 상태로 증류한다. 구체적으로, 학습 중에는 미래 쿼리 표현을 $Δ$ 스텝 앞의 고정된 시각 임베딩에 정렬하고, 추론 시에는 과거 및 현재 관측만 필요하다. 이 설계는 기준선 추론 패턴을 유지하고 학습된 접두 문맥 토큰 2개만 추가하여 최소한의 오버헤드를 의미한다. R2R val-unseen에서 FSC-VLN은 두 가지 학습 데이터 체제에서 StreamVLN 스타일 기준선 대비 SR/OSR/SPL을 개선하며, 장기 에피소드에서 더 큰 향상을 보인다. ablation은 미래 쿼리와 행동 쿼리를 분리하는 이중 쿼리(dual-query) 설계를 추가로 뒷받침한다.
ReflectVLN: 반성적 추론을 통한 비전-언어 내비게이션 에이전트 학습
ReflectVLN: Training Vision-Language Navigation Agents with Reflective Reasoning
기존 비전-언어 내비게이션(VLN) 방법들은 다단계 행동 계획을 생성하기 위해 VLM을 웨이포인트 디코더와 결합하는 경우가 많지만, 장기 지평 내비게이션에서 의미론적 진행을 추적하고 실행 실패를 진단하며 오류 누적으로부터 복구하기 위한 명시적인 폐루프(closed-loop) 메커니즘이 대체로 부재하다. 이 공백을 메우기 위해, 우리는 의도 에이전트와 실행 에이전트 간의 양방향 상호작용을 통해 의사결정을 조직화하는 에이전트형 VLN 프레임워크인 ReflectVLN을 제안한다. 의도 에이전트는 하위 작업 분해와 반성(reflection)을 수행하며, 수정적 계획으로 실행 가능한 하위 작업 설명을 생성한다. 이러한 설명을 조건으로, 실행 에이전트는 현재 관측 하에서 이를 단기 지평 행동으로 그라운딩(grounding)하면서 하위 목표 진행을 모니터링하고 경로 이탈 행동을 감지한다. 핵심적으로, ReflectVLN은 폐루프 양방향 통신을 가능하게 한다. 실행 에이전트는 필요 시 반성과 하위 작업 갱신을 촉발하는 진행 및 편차 신호를 방출하고, 의도 에이전트는 복구를 위해 후속 행동을 재조건화하는 구조화된 지침을 반환한다. 해석 가능한 중간 근거를 갖춘 시간적으로 일관된 의사결정을 장려하기 위해, 우리는 행동 생성을 위한 경로 조건 이중 질의 학습 방식인 Action Chain-of-Thought(Action-CoT)를 도입한다. 표준 VLN 벤치마크에 대한 실험 결과, ReflectVLN은 제한된 데이터 예산 하에서 성공률과 경로 효율을 개선하며, 유리한 학습 비용과 추론 시 더 적은 고수준 의도 호출을 달성하면서, 분석 및 협업을 위한 해석 가능한 중간 의사결정을 제공한다. 코드는 다음에서 이용 가능하다: https://github.com/AIprogrammer/ReflectVLN
토론
이 논문과 연결된 포럼 글이 아직 없습니다.