arXiv:2609.23423v1 cs.RO

RiverVLN: 무인 수상정을 위한 위상 기반 시간적 비전-언어 항법

RiverVLN: Phase-Grounded Temporal Vision--Language Navigation for Unmanned Surface Vehicles

Jieling Wu, Yuehao Huang, Jiajun Lv, Tao Huang, Yong Liu, Weiwei Liu

제출 2026-09-22

한국어 초록

비전-언어 항법(VLN)은 주로 실내 및 지상 로봇을 위해 발전해 왔으며, 여기서는 언어를 종종 정적인 목표로 다룰 수 있고 동작은 이산적이거나 거의 순간적인 행동으로 근사된다. 이러한 가정은 무인 수상정(USV)에서는 성립하지 않는다. 강 항해는 관성과 제한된 기동성 하에서 연속적인 운동을 요구하고, 장기 지시는 희소하고 시각적으로 모호한 해상 랜드마크를 통해 실행되어야 한다. 본 논문은 우리가 아는 한 연속적인 강 항행 하의 장기 USV VLN을 위해 설계된 최초의 벤치마크인 RiverVLN과, USV를 위한 위상 기반 시간적 항법 프레임워크 PGT-NAV를 제안한다. PGT-NAV는 전체 지시를 동작에 직접 매핑하는 대신, 이를 시각적으로 검증 가능한 의미적 위상(phase)의 순서화된 시퀀스로 변환하고, 그라운딩된 시각 및 운동 증거를 통해 활성 위상을 온라인으로 유지한다. 이 명시적 의미적 진행 상태는 시각-운동 이력 및 위상별 그라운딩과 융합되어 여섯 개의 국소 SE(2) 자세 증분을 예측한다. 결과 궤적은 predict-execute-re-observe 루프에서 실행되며, 선박은 W3를 향해 항행하고 위상과 그라운딩을 갱신한 뒤, 맵 기반 안전 층을 통해 재계획한다. 실험 결과 PGT-NAV는 GNM 스타일 및 ViNT 스타일 베이스라인 대비 재귀적 위치 및 방향 드리프트를 상당히 줄였으며, Unity-ROS 폐루프 항법에서 평균 성공률 0.79를 달성했다. 보지 못한 다리 개방 시험과 실세계 USV 실험은 위상 기반 표현이 통제된 평가에서 실제 USV 배치로 전이됨을 추가로 보여준다.

원문 초록

Vision-language navigation (VLN) has largely been developed for indoor and terrestrial robots, where language can often be treated as a static goal and motion is approximated by discrete or near-instantaneous actions. These assumptions break down for unmanned surface vehicles (USVs): river navigation requires continuous motion under inertia and limited maneuverability, while long-horizon instructions must be executed through sparse and visually ambiguous maritime landmarks. We introduce RiverVLN, to our knowledge the first benchmark designed for long-horizon USV VLN under continuous riverine motion, and PGT-NAV, a phase-grounded temporal navigation framework for USVs. Rather than directly mapping an entire instruction to motion, PGT-NAV converts it into an ordered sequence of visually verifiable semantic phases and maintains the active phase online through grounded visual and motion evidence. This explicit semantic progress state is fused with visual-motion history and phase-specific grounding to predict six local SE(2) pose increments. The resulting trajectory is executed in a predict-execute-re-observe loop, where the vessel executes toward W3, updates phase and grounding, and replans through a map-based safety layer. Experiments show that PGT-NAV substantially reduces recursive position and heading drift relative to GNM-style and ViNT-style baselines and achieves an average success rate of 0.79 in Unity-ROS closed-loop navigation. Unseen bridge-opening trials and real-world USV experiments further demonstrate that the phase-grounded representation transfers from controlled evaluation to physical USV deployment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23423v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10787v1cs.RO공통 태그 Navigate, Continuous Control, Instruction Following

NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기

NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime

장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.

arXiv:2610.15782v1cs.CV공통 태그 Navigate, Instruction Following

정책 동기화 언어-행동 이중 부트스트래핑을 통한 내비게이션용 데이터 중심 재귀적 자기 개선

Data-Centric Recursive Self-Improvement for Navigation via Policy-Synchronized Language-Action Dual Bootstrapping

비전-언어 내비게이션은 에이전트(agent)가 자연어 지시를 따라 목표 위치에 도달해야 하므로, 고품질 언어 지도(supervision)가 필수적입니다. 인간의 어노테이션은 비용이 많이 들기 때문에, 기존 연구에서는 확장 가능한 데이터 합성 방법을 탐색해 왔습니다. 그러나 기존 방법들은 일반적으로 내비게이션과 지시문 생성을 위해 별도의 모델(model)을 사용하거나 특정 작업 전용 컴포넌트를 통해 두 작업을 결합하며, 대부분은 업데이트 전에 고정된 모델로 전체 궤적 코퍼스를 어노테이션하므로 생성된 지도 신호가 발전하는 정책보다 뒤처질 수 있습니다. 이에 따라, 본 연구에서는 공유 모델 내에서 비전-언어-행동 지시 추종과 비전-행동-언어 지시 생성을 통합하는, 정책 동기화 언어-행동 이중 부트스트래핑 기반 내비게이션용 데이터 중심 재귀적 자기 개선 프레임워크인 RSI-Nav를 제안합니다. 구체적으로, 지도 미세조정(supervised fine-tuning)을 통해 기본 역량을 확립한 후, RSI-Nav는 라벨이 없는 궤적을 작은 샤드(shard) 단위로 점진적으로 처리합니다. 현재 모델은 이러한 궤적에 대한 지시문을 생성하고, 이를 실행하여 목표 완료율과 경로 효율성을 평가하며, 조건을 충족하는 샘플을 유지한 뒤 다음 샤드를 처리하기 전에 즉시 모델 자체를 업데이트합니다. 이러한 샤드 단위 업데이트는 새로 생성되는 지도 신호가 진화하는 정책과 계속 일치하도록 유지합니다. 또한, 더 강력한 공간 추론이 내비게이션에 도움이 되므로 공간 이해 데이터도 통합합니다. 광범위한 실험을 통해 RSI-Nav가 R2R-CE에서 68.6% SR, RxR-CE에서 72.4% SR을 달성하는 동시에, 재귀적 진화 후 더 강력한 지시 생성 효용과 완만한 수준의 공간 이해 개선을 제공함을 입증합니다.

arXiv:2610.15956v1cs.AI공통 태그 Navigate, Benchmarking

ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.

arXiv:2610.13628v1cs.RO공통 태그 Continuous Control, Benchmarking

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2610.13948v1cs.AI공통 태그 Navigate, Benchmarking

언어 모델은 위키피디아 게임을 플레이할 수 있는가?

Can Language Models Play the Wikipedia Game?

언어 모델은 색인하기에 너무 방대한 문서 집합에서 정보 검색을 지원하거나 자동화하는 데 점점 더 많이 활용되고 있습니다. 이 작업은 전문적인 언어학적 또는 과학적 지식을 요구할 때 어려워집니다. 본 연구에서는 유사한 정보 검색 작업에서 언어 모델을 테스트하기 위해 위키피디아 게임(Wikipedia Game)을 활용했습니다. 이 게임에서 플레이어는 오직 문서 내 링크만을 사용하여 목표 문서에 도달해야 합니다. 5개 언어의 위키피디아와 5개의 학술 문헌 데이터셋에 걸쳐 문장 임베딩(embedding) 모델(model)과 대규모 언어 모델(LLM)들을 비교했습니다. OpenAlex를 사용하여 위키피디아 페이지 및 논문 인용으로 이루어진 초대형 로컬 그래프를 구축하고, 이를 생성하고 탐색할 수 있는 코드를 제공합니다. 이를 통해 서드파티 API에 의존하지 않고도 언어 모델의 탐색 능력을 연구할 수 있습니다. 또한 해당 모델들을 인간 및 TF-IDF 벤치마크와 비교했습니다. 위키피디아 게임 형식은 다양한 기법, 언어 및 도메인 전반에 걸쳐 강력한 비교를 가능하게 합니다. 가장 우수한 모델들(GPT-o3 mini, GPT-4o, QwQ:32B, DeepSeek-R1:70B)이 인간에 필적하는 성공률을 달성했으나, 인간을 유의미하게 능가한 모델은 없었습니다. 성능과 순위는 언어와 주제에 따라 다양하게 나타났으며, 이는 이러한 기법을 활용하는 실무자들에게 시사점을 제공합니다.

arXiv:2610.01045v2cs.AI공통 태그 Benchmarking, Instruction Following

공허한 약속: 에이전트가 이행할 수 없는 약속을 할 때

Empty Commitments: When Agents Promise What They Cannot Deliver

"내일 알려드리겠습니다"라고 말하는 챗봇은 사용자가 다시 메시지를 작성하기 전까지는 실행되지 않습니다. 우리는 이러한 약속을 공허한 약속(empty commitment)이라 부릅니다. 이는 현재 턴 이후의 행동에 대한 약속이지만, 에이전트의 도구나 런타임 환경에 이를 실행할 수 있는 수단이 전혀 없는 경우를 의미합니다. 깨진 약속과 달리 공허함은 발화 순간 에이전트의 구성(configuration)에 따라 결정되므로, 배포 전이나 런타임 시 단일 턴만으로도 감지할 수 있습니다. 본 연구에서는 약속 의미론(commitment semantics)을 기반으로 공허한 약속을 정의하고, 세 가지 실패 유형, 도구를 통해 실현될 수 있는 약속에 대한 앵커링 조건, 그리고 이러한 실패를 정직한 보류(honest deferral) 및 과도한 거부(over-refusal)와 구분하는 결과 분류 체계를 제시합니다. 우리는 400개의 인간 레이블로 검증된 체커(환경 미인지 감지기, 결정론적 실행 가능성 규칙, 응답 판정기)를 구축했습니다. 지속성 어포던스(persistence affordance)를 하나씩 추가하는 5가지 설정에 걸쳐 293개의 후속 요청으로 구성된 통제된 벤치마크에서, 8-14B 파라미터의 4개 오픈 가중치(open-weight) 모델은 도구가 존재하지 않고 아무것도 명시되지 않았을 때 응답의 45.9%에서 실패했습니다. 프론티어 모델은 4.4%의 실패율을 기록했으나, 이는 보유한 도구를 사용해서가 아니라 보류하고 되물음으로써 달성한 수치였습니다. 즉, 실행을 위한 도구 호출 없이 행해지는 약속은 모든 모델에 여전히 남아 있었습니다. 가장 저렴한 해결책인 모델에게 런타임 정보를 알려주는 방식은 아무것도 수행할 수 없는 환경에서 오픈 가중치 모델의 실패를 거의 절반으로 줄였으나, 스케줄러가 존재하는 환경에서는 아무런 변화를 주지 못했습니다. 지시적 역량 카드(directive capability card)는 과도한 거부라는 가장 큰 대가를 치르면서 대부분의 실패를 제거했으며, 루프 내에서 체커를 실행하고 플래그가 지정된 응답을 다시 작성하는 방식은 더 적은 비용으로 더 많은 실패를 제거했습니다. 코드, 프롬프트, 모델 출력 및 인간 레이블이 공개됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.