Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings
제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.
GNSS(Global Navigation Satellite System) 차단 환경에서의 이미지 목표(image-goal) UAV 내비게이션에서 핵심적인 과제는 현재 시점과 목표 시점 간의 메트릭 거리와 방향(heading)을 추정하는 것이다. 밀집 쌍별(pairwise) 기하 모델은 상대적인 장면 구조를 포착하지만, 보정된 메트릭 스케일 없이는 내비게이션에 필요한 신뢰할 수 있는 거리 추정값을 직접 제공할 수 없다. 전역 스케일 보정이 지배적인 스케일 바이어스를 보정하더라도, 남은 오차는 거리에 따라 체계적으로 변한다. 본 논문에서는 전역 스케일 보정에 거리 인식형 잔차 보정을 더해 보완하는 Range-Aware Scale Recovery(RASR)를 제안한다. RASR은 고정(frozen)된 Matching And Stereo 3D Reconstruction(MASt3R) 백본이 추출한 쌍별 기하를 간결한 디스크립터(descriptor)로 인코딩하고, 스케일 복원 핵심 모듈을 과제별 명령 보정과 분리한다. UAVs in Multimedia 2026 PairUAV 챌린지의 공식 온라인 평가에서 RASR은 총 오차 0.003189를 기록했으며, 전역 스케일 보정만 사용한 경우보다 더 낮은 총 오차를 달성했다. 결과는 거리 인식형 잔차 보정이 전역 스케일 보정을 넘어 메트릭 거리 추정을 향상시킨다는 것을 보여준다. 코드와 자료는 https://github.com/lht-research/rasr-pairuav 에서 확인할 수 있다.
본 논문에서는 자원 효율적인 고고도 UAV 내비게이션을 위해 학습이 불필요한(training-free) 설정에서 항공 비전-대화 내비게이션(AVDN) 과제를 다룬다. 다중모달 대규모 언어 모델(MLLM)을 단순 적용하면 방향 그라운딩의 취약성과 명시적 공간 메모리의 부재로 인해 불안정한 내비게이션이 발생한다. 이러한 문제를 해결하기 위해, 우리는 파싱-탐색-확인(Parsing-Search-Confirmation)의 3단계 추론 파이프라인과 구조화된 공간 메모리(SSM)를 긴밀하게 결합한 학습 불필요 프레임워크 PSC-AVDN을 제안한다. 파싱 단계에서는 LLM을 사용하여 모호한 대화 지시를 안정적인 기하학적 방향 및 목적지 단서로 변환한다. 이후 탐색 사고의 연쇄(S-CoT)가 고고도 관측 하에서 단계적 목표 탐험(exploration)을 수행하고, 확인 사고의 연쇄(C-CoT)가 후보 영역 주변에서 세밀한 검증을 수행하여 시각적 모호성을 해소한다. 한편, SSM은 다중 스케일 시각 관측, 공간 시각 메모리, 구조화된 기하학적 메모리를 포함하는 세 가지 상호 보완적 공간 단서 소스를 통합하여 전역 공간 컨텍스트와 장기적 일관성을 제공한다. ANDH 및 ANDH-Full에 대한 광범위한 실험을 통해 PSC-AVDN이 학습 불필요 설정에서 새로운 최고 성능을 달성하며, 여러 파인튜닝 기법과 동등하거나 이를 능가함을 입증한다. 코드는 https://github.com/QY6616/PSC-AVDN 에서 공개될 예정이다.
UAV 자율 내비게이션을 위한 비전-언어 내비게이션(VLN)에서 고수준 의미 추론과 저지연 비행 제어 간의 구조적 불일치 문제를 해결하고자, 사전학습된 비전-언어 모델 기반의 느린 시스템과 Diffusion Transformer(DiT) 기반의 빠른 시스템을 비동기적으로 결합한 FSD-VLN 프레임워크를 제안한다. 대규모 저고도 시뮬레이션 실험에서 FSD-VLN은 미관측 환경 기준 SOTA 대비 최대 2배 높은 내비게이션 성공률을 달성하면서 단일 행동 추론 지연과 전체 작업 실행 시간을 50% 이상 단축했다.
RGB 관측만으로 명시적 3D 재구성 없이 작동하는 SpatialFly는 기하학적 사전 정보 주입(Geometric Prior Injection)과 기하학-인식 재파라미터화(Geometry-Aware Reparameterization) 모듈을 통해 2D 시각 토큰에 암묵적 3D 구조 정보를 주입함으로써 UAV 비전-언어 내비게이션(VLN)의 2D 인식과 3D 궤적 의사결정 간 표현 불일치 문제를 해결한다. 미관측 환경에서 기존 최강 기준선 대비 항법 오차(NE)를 4.03m 줄이고 성공률(SR)을 1.27% 향상시켜 더 안정적이고 경로 정렬이 우수한 궤적을 생성함을 실험으로 입증했다.
어텐션이 결합된 게이트 순환 네트워크(GRU)로 온보드 운동학·동역학 정보만을 이용해 대기 난류 속 수평 풍속 벡터를 RMSE 0.40 m/s, 방향 오차 3.2° 수준으로 추정하고, 이 추정값을 proximal policy optimization(PPO) 기반 강화학습 비행 제어기에 입력함으로써 기존 PD 기준 대비 수평 궤적 추적 오차를 48% 감소시켰다. 세 가지 절제 실험(ablation)을 통해 성능 향상이 운동학적 학습 요소와 풍속 인식 요소로 분리됨을 확인하였으며, 특히 강풍 구간에서 풍속 인식의 기여가 커지는 것이 공기역학적 항력의 이차 스케일링과 일치함을 보였다.
연속적 6-DoF(6자유도) 자세 추정은 자율 무인항공기(UAV) 운용에 필수적이다. 그러나 기존의 시각적 오도메트리(visual odometry) 및 SLAM 방법은 드리프트(drift)가 누적되어 상대적이고 스케일이 불확정된 궤적만을 생성한다. 단일 프레임 지리적 위치 추정(geo-localization)은 시간적 연속성을 버리고 실시간 사용에 너무 느리다. 우리는 공개적으로 이용 가능한 정사항공사진(orthophoto)과 표면 모델만을 지도 사전 정보로 사용하여 연속적인 6-DoF UAV 궤적을 추정하는 학습(training) 없는 시스템인 OrthoTrack을 제시한다. OrthoTrack은 키프레임(keyframe)을 정사항공사진과 매칭하고, 표면 모델을 통해 대응점을 미터 단위의 3D 공간으로 변환한다. 이후 광학 흐름(optical flow)을 이용해 이러한 지도 기준 대응점을 중간 프레임으로 전파함으로써, GPS나 사후 정렬 없이 모든 프레임에서 절대적이고 미터 스케일로 정규화된 자세를 생성한다. 또한 우리는 포토리얼리스틱(photorealistic) UAV 시퀀스와 밀집 6-DoF 정답 데이터 및 다중 시기 정사항공사진을 포함한 공동 등록된 다중 모달 지리 데이터를 쌍으로 구성한 대규모 벤치마크인 MovingDrone 데이터셋을 소개한다. MovingDrone과 실세계 벤치마크에서 OrthoTrack은 단일 GPU로 실시간 동작한다. 오라클 스케일 및 정렬을 제공받는 기준선(baseline)을 포함한 모든 기준선을 큰 마진(margin)으로 능가한다. 공개된 지리 데이터에 의존함으로써 OrthoTrack은 지역별 적응 없이도 새로운 지역에 배포할 수 있다.
언어 기반 UAV 에이전트는 장기 시맨틱 지시를 실행하면서 부드럽고 물리적으로 실현 가능한 연속 비행 명령을 생성해야 하지만, 기존 비전-언어 내비게이션(VLN) 벤치마크는 일반적으로 이산적 또는 거친 행동을 사용하고, 기존 UAV 비전-언어-행동(VLA) 과제는 짧고 원자적인 기동에 초점을 맞춘다. UAV 과제 설정의 이러한 격차를 해소하기 위해, 우리는 다단계 지시와 두 데이터셋 분할인 Fine-grained VLN과 Long-horizon Flow에 걸친 밀집 6-DoF 궤적 어노테이션을 결합한 하이브리드 UAV 내비게이션 및 추론 과제를 위한 세밀한 장기 지시 기반 벤치마크인 FLIGHT를 제안한다. 과제 실행 상태에 대한 실시간 비행 중 추론과 임무 계획 능력을 UAV 에이전트에 부여하면서 동시에 고빈도 실시간 정밀 제어를 수용하기 위해, 우리는 추가로 현재 비행 상태를 요약하고 다음 하위 목표를 예측하는 명시적 Pilot Reasoning 텍스트의 감독 하에, 저빈도 Streaming Pilot 비전-언어 모델(VLM)을 과제 상태 추론용으로, 고빈도 확산 행동 모델을 연속 제어용으로 분리하는 비동기 아키텍처인 FLIGHT VLA를 제안한다. 폐루프 평가에서 FLIGHT VLA는 FLIGHT 벤치마크에서 대표적인 VLN 및 VLA 기준선을 일관되게 능가하며, 더 강한 다단계 완료, 하위 목표 준수, 종단 제어를 달성한다. 학습된 Streaming Pilot Reasoning VLM은 UAV 비디오 추론을 추가로 개선하여, 우리 설계의 효과를 검증한다.