arXiv:2604.17473v4 cs.CV

Dual-Anchoring: Addressing State Drift in Vision-Language Navigation

Kangyi Wu, Pengna Li, Kailin Lyu, Xi Lin, Lin Zhao, Qingrong He, Jinjun Wang, Jianyi Liu

제출 2026-04-19

원문 초록

Vision-Language Navigation(VLN) requires an agent to navigate through 3D environments by following natural language instructions. While recent Video Large Language Models(Video-LLMs) have largely advanced VLN, they remain highly susceptible to State Drift in long scenarios. In these cases, the agent's internal state drifts away from the true task execution state, leading to aimless wandering and failure to execute essential maneuvers in the instruction. We attribute this failure to two distinct cognitive deficits: Progress Drift, where the agent fails to distinguish completed sub-goals from remaining ones, and Memory Drift, where the agent's history representations degrade, making it lose track of visited landmarks. In this paper, we propose a Dual-Anchoring Framework that explicitly anchors the instruction progress and history representations. First, to address progress drift, we introduce Instruction Progress Anchoring, which supervises the agent to generate structured text tokens that delineate completed versus remaining sub-goals. Second, to mitigate memory drift, we propose Memory Landmark Anchoring, which utilizes a Landmark-Centric World Model to retrospectively predict object-centric embeddings extracted by the Segment Anything Model, compelling the agent to explicitly verify past observations and preserve distinct representations of visited landmarks. Facilitating this framework, we curate two extensive datasets: 3.6 million samples with explicit progress descriptions, and 937k grounded landmark data for retrospective verification. Extensive experiments in both simulation and real-world environments demonstrate the superiority of our method, achieving a 15.2% improvement in Success Rate and a remarkable 24.7% gain on long-horizon trajectories. To facilitate further research, we will release our code, data generation pipelines, and the collected datasets.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.17473v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.15782v1cs.CV공통 태그 Navigate, Instruction Following

정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선

Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.

arXiv:2610.13948v1cs.AI공통 태그 Navigate, Large Language Model

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.10610v1cs.SE공통 태그 Instruction Following, Large Language Model

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

arXiv:2610.10635v1cs.AI공통 태그 Navigate, Instruction Following

내비게이터의 언어로 말하기: 동결된 항공 VLN 에이전트를 위한 궤적 기반 지시 번역

Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents

항공 비전-언어 내비게이션(VLN) 에이전트는 일반적으로 세부 사항이 풍부하고 궤적에 정렬된 명령으로 학습되는 반면, 사용자는 짧고 의도 중심적인 지시를 내립니다. 동결된(frozen) OpenFly 내비게이터에서 이러한 지시 간극(\emph{instruction gap})은 성공률(SR)을 $31.03\%$에서 $11.33\%$로 떨어뜨립니다. 번역기 학습을 확장하기 위해, 우리는 사람이 작성한 스타일 예시로 언어 모델에 프롬프트를 제공하여 원래 명령을 쌍을 이루는 의도 중심의 약한(Weak) 명령으로 변환하며, 이는 $15.27\%$의 SR을 산출합니다. 우리는 내비게이터를 동결된 상태로 유지하고 궤적 결과로부터 학습함으로써 약한 입력을 에이전트가 실행 가능한 명령으로 번역하는 프런트엔드인 궤적 기반 지시 번역기(\textbf{Trajectory-Grounded Instruction Translator, TGIT})를 소개합니다. 결과적으로 약한 명령으로 학습된 번역기는 약한 입력의 SR을 $37.93\%$로 끌어올리고 실제 사람의 지시로 제로샷 전이($11.33\%{\rightarrow}32.51\%$)됩니다. 또한 배제된(held-out) OpenFly를 개선($4.95\%{\rightarrow}20.79\%$)하고 CityNav 및 AirVLN에서 성능 회복을 이끌어냅니다.

arXiv:2610.10787v1cs.RO공통 태그 Navigate, Instruction Following

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.