CoNav-UAV: 슈타켈버그 학습을 통한 협력적 이중 고도 공중 내비게이션
CoNav-UAV: Cooperative Dual-Altitude Aerial Navigation via Stackelberg Learning
한국어 초록
항공 탐색 임무에서는 무인 항공기(UAV)가 대상의 외형과 주변 환경에 대한 짧은 설명만으로 목표물을 찾아야 하는 경우가 많으며, 이를 목표 지향 항공 시각-언어 내비게이션(VLN)이라 한다. 이 과제는 도시 규모의 탐색과 그라운딩, 그리고 충돌 없는 근거리 접근을 요구하는데, 이 두 가지 맞물린 과정은 단일 에이전트 안에서 조화시키기 어렵다. 대부분의 기존 방법은 지상 VLN 패러다임을 단일 UAV에 맞게 적용하고, 그 비효율을 보완하기 위해 외부 지원에 의존한다. 최근의 한 시도는 상호 보완적인 고도에 두 대의 UAV를 배치하지만, 여전히 특권적 센싱에 의존하며 두 에이전트를 독립적으로 학습시켜 상호 적응을 불가능하게 한다. 본 논문은 CoNav-UAV를 제안한다. 이는 두 에이전트 모두 온보드 센싱만 사용하는 가운데, 고고도 리더와 저고도 팔로워 사이의 순차적 의사결정과 비대칭적인 관측 및 효용을 포착하기 위해 과제를 슈타켈베르크 게임으로 모델링한다. 또한 각 에이전트의 역할에 맞게 최적화를 조정하는 반복적 슈타켈베르크 학습(Iterative Stackelberg Learning)을 도입한다. 리더의 상위 수준 시각-언어 추론은 사전학습된 능력에 기반하며 메모리 기반 인컨텍스트 학습을 통해 정제되고, 팔로워의 정밀한 동작 제어는 DAgger 방식의 전문가 증류를 통해 미세조정된다. 두 업데이트를 번갈아 수행함으로써 각 에이전트는 상대의 변화하는 행동에 지속적으로 적응한다. CoNav-UAV는 AerialVLN 벤치마크의 고충실도 도시 장면 세 곳에서 단일 및 이중 에이전트 기준선을 능가한다. 학습 장면에서는 성공률을 최대 30.8 포인트, 리더가 학습된 메모리를 재사용하고 팔로워가 목표 장면 데이터를 2.6-3.7배 적게 사용하여 적응하는 교차 장면 전이에서는 최대 9.0 포인트 향상시킨다. 광범위한 절제 실험은 핵심 구성 요소의 기여와 상호 적응의 이점을 확인해 주며, VLM 백본 전반에서 일관된 향상을 보인다.
원문 초록
Aerial search missions often require an unmanned aerial vehicle (UAV) to locate a target from only a brief description of its appearance and surroundings, a task known as target-oriented aerial vision-and-language navigation (VLN). The task demands city-scale exploration and grounding as well as collision-free close-range approach, two interleaved processes that are difficult to reconcile within a single agent. Most existing methods adapt the ground VLN paradigm to a single UAV and rely on external assistance to compensate for its inefficiency. A recent attempt deploys two UAVs at complementary altitudes but still depends on privileged sensing and trains the two agents independently, precluding any mutual adaptation. We propose CoNav-UAV, which models the task as a Stackelberg game between a high-altitude leader and a low-altitude follower to capture their sequential decisions and asymmetric observations and utilities, with both agents using only onboard sensing. We introduce Iterative Stackelberg Learning, which tailors optimization to each agent's role: the leader's high-level vision-language reasoning builds on pretrained capabilities and is refined through memory-based in-context learning, while the follower's precise motion control is fine-tuned through DAgger-style expert distillation. Alternating the two updates lets each agent continually adapt to the other's evolving behavior. CoNav-UAV outperforms single- and dual-agent baselines across three high-fidelity urban scenes from the AerialVLN benchmark. It improves success rate by up to 30.8 points on the learning scene and by up to 9.0 points under cross-scene transfer, where the leader reuses its learned memory and the follower is adapted with 2.6-3.7 times less target-scene data. Extensive ablations confirm the contributions of key components and the benefit of mutual adaptation, with consistent gains across VLM backbones.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.01802v2제출 시각 미확인
- arXiv:2608.01802v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.