PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10635v1cs.AI

내비게이터의 언어로 말하기: 동결된 항공 VLN 에이전트를 위한 궤적 기반 지시 번역

Speaking the Navigator's Language: Trajectory-Grounded Instruction Translation for Frozen Aerial VLN Agents

항공 비전-언어 내비게이션(VLN) 에이전트는 일반적으로 세부 사항이 풍부하고 궤적에 정렬된 명령으로 학습되는 반면, 사용자는 짧고 의도 중심적인 지시를 내립니다. 동결된(frozen) OpenFly 내비게이터에서 이러한 지시 간극(\emph{instruction gap})은 성공률(SR)을 $31.03\%$에서 $11.33\%$로 떨어뜨립니다. 번역기 학습을 확장하기 위해, 우리는 사람이 작성한 스타일 예시로 언어 모델에 프롬프트를 제공하여 원래 명령을 쌍을 이루는 의도 중심의 약한(Weak) 명령으로 변환하며, 이는 $15.27\%$의 SR을 산출합니다. 우리는 내비게이터를 동결된 상태로 유지하고 궤적 결과로부터 학습함으로써 약한 입력을 에이전트가 실행 가능한 명령으로 번역하는 프런트엔드인 궤적 기반 지시 번역기(\textbf{Trajectory-Grounded Instruction Translator, TGIT})를 소개합니다. 결과적으로 약한 명령으로 학습된 번역기는 약한 입력의 SR을 $37.93\%$로 끌어올리고 실제 사람의 지시로 제로샷 전이($11.33\%{\rightarrow}32.51\%$)됩니다. 또한 배제된(held-out) OpenFly를 개선($4.95\%{\rightarrow}20.79\%$)하고 CityNav 및 AirVLN에서 성능 회복을 이끌어냅니다.