AeroRSI: 항공 비전-언어 내비게이션을 위한 재귀적 자기 개선
AeroRSI: Recursive Self-Improvement for Aerial Vision-Language Navigation
한국어 초록
비전-언어-행동(VLA) 모델은 무인 항공기(UAV)가 자연어 지시를 따르도록 하지만, 폐루프 비행에서는 여전히 자주 실패한다. 이러한 실패를 바로잡으려면 정책 자신이 도달하는 상태에서 실패를 피하는 행동, 즉 수정이 필요한데, 이는 인간 조종사가 대규모로 레이블링할 수 없고 규칙 기반 계획기도 안정적으로 제공할 수 없다. 본 논문은 항공 내비게이션 정책이 자신의 실패로부터 반복적으로 학습하는 재귀적 자기 개선 프레임워크인 AeroRSI를 제시한다. 핵심 통찰은 실패하는 정책이 수정 이후로 계속 비행해 봄으로써 자신의 수정을 스스로 판단해야 한다는 것이다. 이렇게 판단하면 정책이 샘플링한 행동은 물론, 직접 모방하면 오히려 성능을 해치는 규칙 기반 제안까지도 신뢰할 수 있는 지도 신호가 된다. 또한 에피소드는 첫 번째 실패에서 종료되므로, 앞선 실패가 수정되기 전까지는 이후의 실패가 가려진다. 따라서 AeroRSI는 매 라운드마다 지도 신호를 갱신하여 현재 정책의 실패를 고정하고, 그 이후의 비행으로 수정을 검증하며, 다른 상황에서의 행동은 유지한 채 이를 증류한다. TravelUAV에서 세 라운드를 거치면 지도 학습된 20억 매개변수 정책의 성공률이 46.4%에서 67.5%로 상승하고 충돌이 절반으로 감소하며, 추가적인 인간 레이블이나 추론 비용 없이 동일한 초기화에서 기존 최고 성능을 10.6%p 앞선다. 코드와 모델은 https://github.com/starsholic/AeroRSI 에서 공개되어 있다.
원문 초록
Vision-language-action (VLA) models enable unmanned aerial vehicles (UAVs) to follow natural-language instructions, yet still fail frequently in closed-loop flight. Correcting these failures requires repairs, i.e., actions that avoid them at the states the policy itself reaches, which human pilots cannot label at scale and rule-based planners cannot supply reliably. In this paper, we present AeroRSI, a recursive self-improvement framework in which an aerial navigation policy iteratively learns from its own failures. Our key insight is that a failing policy should judge its own repairs by flying on from them. Judged in this way, its sampled actions and even rule-based proposals that hurt it when imitated directly become reliable supervision. Moreover, an episode terminates at its first failure, concealing subsequent failures until the earlier ones are repaired. AeroRSI thus renews its supervision in every round, anchoring the failures of the current policy, verifying repairs by its continuation, and distilling them while keeping its behavior elsewhere. On TravelUAV, three rounds raise the success rate of a supervised 2B-parameter policy from 46.4% to 67.5% and reduce collisions by half, surpassing the previous state of the art by 10.6 points from the same initialization without extra human labels or inference cost. Code and models are available at https://github.com/starsholic/AeroRSI.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24077v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.