PyTorchKR Papers

최신 논문

총 28편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23695v1cs.AI

PhysAI-Bench: 자율 무인 항공기(UAV) 중심 피지컬 AI에서의 LLM 기반 에이전트 의사결정을 위한 벤치마크

PhysAI-Bench: A Benchmark for LLM-Based Agentic Decision-Making in Autonomous UAV-Centric Physical AI

피지컬 AI(Physical AI)의 최근 발전은 동적 환경에서 인지하고, 추론하며, 계획하고, 행동해야 하는 무인 항공기(UAV)와 같은 자율 시스템에서 파운데이션 모델의 활용을 가속화했습니다. 기존 벤치마크는 물리적 인지, 직관적 물리학, 체화된 내비게이션, 협업 추론을 평가하지만, 신뢰할 수 있는 자율성에 필요한 에이전트(agent) 의사결정을 평가하는 경우는 드뭅니다. 본 연구에서는 이러한 역량을 평가하기 위한 벤치마크인 PhysAI-Bench를 소개합니다. 이 벤치마크는 자율 UAV 임무의 대화 추적 기록에서 자동으로 추출된 10,178개의 표준화된 의사결정 인스턴스를 포함합니다. 각 인스턴스는 임무 컨텍스트, 시계열 의존성, 물리적 제약 조건, Model Context Protocol(MCP) 도구 호출, 에이전트 간(A2A) 상호작용, 센서 관측치, 그리고 지연 시간, 패킷 손실(loss), 처리량, 에지 부하, 네트워크 슬라이싱을 포함한 AI 네이티브 6G 네트워크 조건을 보존합니다. 각 의사결정에 선행하는 정보만을 노출하여 미래 사건 누출을 방지하고 온라인 의사결정을 근사합니다. 2단계 프로토콜을 사용하여 29개의 파운데이션 모델(model)을 평가합니다. 인간이 검증한 35개 인스턴스의 개발 세트에서 3회 실행하여 테스트한 제로샷(zero-shot), 3샷, 5샷 프롬프트(prompt) 및 4가지 온도의 12가지 조합으로부터 모델별 설정을 선택합니다. 그런 다음 선택된 각 설정을 고정하고, 에피소드가 겹치지 않는 고정된 500개 인스턴스 세트에서 3회 실행하여 평가합니다. GPT-5.3이 가장 높은 정확도(52.00%)를 달성했으며, GPT-5.2(49.40%)와 Grok 4.5(49.07%)가 그 뒤를 이었습니다. 퓨샷(few-shot) 프롬프트는 전반적으로 성능을 향상시키는 반면, 온도의 영향은 제한적이었습니다. 결과는 피지컬 AI에서 신뢰할 수 있는 에이전트 의사결정이 여전히 미해결 과제로 남아 있음을 보여줍니다. 데이터셋(dataset)은 https://github.com/maferrag/physai-bench 에서 이용할 수 있습니다.

arXiv:2607.20547v1cs.LG

다중 에이전트 강화학습을 이용한 항공 회랑 내 저하된 감시 환경에서의 충돌 해소

Conflict Resolution under Degraded Surveillance in Air Corridors Using Multi-Agent Reinforcement Learning

안전한 고급 항공 이동성(Advanced Air Mobility, AAM) 운용은 감시 정보가 노이즈가 있거나, 지연되거나, 불완전하거나, 일시적으로 이용 불가능할 때 항공기가 분리(separation)를 유지해야 한다. 본 연구는 구조화된 3차원 회랑 내에서 운용되는 이질적인 소형 무인 항공기와 전기 수직 이착륙(eVTOL) 항공기 간 분산형 충돌 해소를 위한 심층 Q 네트워크 기반 다중 에이전트 강화학습 프레임워크를 개발한다. 두 항공기 유형에 대해 각각 국부 관측과 항로 유지, 선회, 수직 기동, 착륙, 속도 제어를 포함하는 14개 행동 공간을 사용하여 별도의 정책을 학습한다. 시뮬레이션에는 항공기별 동역학, 에너지 사용, 회랑 제약, 관측 노이즈, 통신 지연, 정보 드롭아웃, 바람 교란, 액추에이터 불확실성, 모델 불확실성이 포함된다. 학습된 정책은 교통 밀도와 최소 분리 임계값의 90가지 조합에 걸쳐 평가된다. 분리 상실(loss-of-separation) 빈도와 지속 시간은 일반적으로 교통 밀도와 분리 요구사항이 증가함에 따라 증가하지만, 대부분의 사건은 1초 이내에 해소된다. 안전한 조건 하에서 에이전트는 시간의 약 79% 동안 운동을 유지한다. 충돌 상황에서는 선회가 행동의 33%를 차지하며, 운동 유지 29%, 속도 제어 25%, 수직 기동 13%가 뒤를 잇는다. 6개의 파레토 최적 구성은 안전성과 회랑 용량 간의 트레이드오프를 보여준다. 이 프레임워크는 저하된 감시 조건 하에서 더 안전한 AAM 충돌 해소 전략의 시뮬레이션 기반 평가를 지원한다.

arXiv:2607.21438v1cs.CV

DAPM: 임의의 고도, 피치, 롤 및 FOV에서의 UAV 단안 깊이 추정

DAPM: UAV Monocular Depth Estimation from Any Height, Pitch, Roll and FOV

단안 깊이 추정은 무인항공기(UAV)에서 3D 재구성과 자율 항법을 위한 기본적인 선행 조건이다. 실제 배치 환경에서 UAV는 고도, 피치, 롤, 시야(FOV)의 연속적 변화로 특징지어지는 고도로 동적인 카메라 포즈 하에서 작동한다. 기존 단안 깊이 추정 방법은 이러한 다양한 시점과 항공 장면에 내재된 광범위한 깊이 분포의 스케일에 걸쳐 일반화하는 데 자주 실패한다. 이러한 과제를 해결하기 위해, 우리는 엄밀한 이론적 분석을 통해 UAV 시점각의 정량적 표현을 수립하고, 관측 기준으로 지면 평면을 사용하여 시점각과 시점 거리 간의 기하학적 대응 관계를 도출한다. 이를 바탕으로, 우리는 Depth Estimation for Any Perspectives Model(DAPM)을 제안하며, 이는 연속적으로 변화하는 시점 하에서 카메라 포즈와 깊이를 공동으로 추정하도록 UAV 항공 영상을 위해 특별히 설계된 최초의 단안 프레임워크이다. 구체적으로, 우리는 UAV 시점과 시점 거리 사이의 도출된 기하학적 관계를 활용하여 밀집 카메라-포즈 감독을 구현하고 깊이 특징을 향상시키는 Ideal Ground Depth(IGD) 모듈을 도입한다. 또한 우리는 coarse-to-fine Progressive Quantization Bins(PQB) 모듈을 추가로 개발한다. 점진적 감독과 계층적 양자화 빈을 통합함으로써, PQB 모듈은 복잡한 UAV 항공 영상에서 강건한 추정을 가능하게 한다. 제안된 프레임워크를 평가하기 위해, 우리는 포즈 매개변수의 포괄적이고 연속적인 분포를 특징으로 하는 UAV Any Perspectives Depth(UAPD) 데이터셋을 제시한다. UAPD에 대한 실험 결과는 DAPM이 깊이 및 카메라-포즈 추정 지표 모두에서 최첨단 성능을 달성함을 보여준다. 소스 코드와 데이터셋은 https://github.com/ThisIsLT/DAPM 에서 이용할 수 있다.

arXiv:2607.08075v2cs.CV

UAV-OVVIS: 무인 항공기도 개방 어휘 비디오 인스턴스 분할이 필요하다

UAV-OVVIS: Unmanned Aerial Vehicles Also Need Open-Vocabulary Video Instance Segmentation

무인 항공기(UAV) 영상은 교통 모니터링, 도시 관리, 긴급 구조 등에 널리 활용된다. 그러나 기존 UAV 영상 인식은 대체로 사전 정의된 범주에 대한 박스 수준 검출 및 추적에 국한되어, 개방적 시나리오에서 유연한 쿼리와 시간적 역학의 세밀한 인스턴스 수준 이해를 동시에 지원하기 어렵다. 이를 위해 우리는 개방 어휘 쿼리에 따라 UAV 영상에서 대상을 발견하고 전역적으로 일관된 ID를 갖는 인스턴스 분할 궤적을 출력하는 것을 목표로 하는 새로운 과제인 UAV 개방 어휘 비디오 인스턴스 분할(UAV-OVVIS)을 제안한다. UAV 시나리오에서 인스턴스 수준 주석의 부족을 고려하여, 우리는 기존 시각 기초 모델(visual foundation models)을 조율하여 UAV-OVVIS를 구현하는 학습 불필요(training-free) 프레임워크인 AeroTrack을 제안한다. AeroTrack은 주기적 개방 어휘 검출과 짧은 구간 마스크 전파를 통해 대상 발견 및 분할을 수행하며, 구간별 추론 하에서 전역 ID를 복원하기 위해 생명주기 인식 ID 연관(Lifecycle-aware ID Association, LIA)을 도입한다. 이 프레임워크를 바탕으로 다섯 가지 실행 가능한 변형을 구현하고, 9개 UAV 객체 범주와 8,279개 궤적을 포함하는 UAV-OVVIS 평가 벤치마크인 AeroVIS를 구축한다. 실험 결과 AeroTrack은 AeroVIS로 이전된 평가 대상 OV-VIS 방법들보다 전반적으로 더 나은 성능을 달성했으며, 긴 UAV 영상에서 우수한 개방 어휘 전이 가능성과 밀집 대상 처리 능력을 보였다. AeroTrack 프레임워크와 AeroVIS 데이터셋은 논문 게재 승인 시 공개될 예정이다.

arXiv:2607.12477v2cs.CV

공간 속 자아: UAV 체화 지능에서 자기 인식과 공간 인지 벤치마킹

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

자율 UAV 시스템은 복잡한 실세계 환경에서 동작하기 위해 점점 더 멀티모달 대규모 언어 모델(MLLM)에 의존하고 있다. 이러한 체화(embodied) 시나리오에서는 주변 공간을 이해하는 것뿐만 아니라 에이전트 자신에 대한 일관된 표상을 유지하는 것도 필요하다. 그러나 기존 UAV 지향 접근법과 벤치마크는 여전히 대체로 환경 중심적이며, 주로 공간 이해 과제에 초점을 맞추고 있고, 에이전트의 자기 인식은 암묵적으로 남아 있다. 이 격차를 해소하기 위해, 우리는 통합된 공간 속 자아(self-in-space) 정식화 하에서 UAV 시나리오의 체화 공간 지능을 평가하는 벤치마크인 SIS-Bench를 제안한다. SIS-Bench는 상호 보완적인 두 차원인 공간(space)과 자아(self), 그리고 지각, 기억, 추론의 3단계 계층을 따라 평가를 구성한다. SIS-Bench는 전문가 검증을 거친 과제 조건화 구축 파이프라인을 통해 1,646개의 실세계 UAV 영상에서 파생된 13개 과제 전반에 걸쳐 4,856개의 질문-답변 쌍을 포함한다. 광범위한 평가 결과, 현재 MLLM들은 동적이고 에이전트 중심적인 과정을 모델링하는 데 근본적인 한계를 보인다. 특히, 공간 인지와 자기 인식 사이의 뚜렷한 불균형, 그리고 인지 수준에 걸친 점진적인 성능 저하를 관찰한다. 이러한 발견에 동기부여되어, 우리는 광학 흐름(optical flow)과 시각적 특징 융합을 통해 자아 관련 동역학을 통합하는 운동 인식(motion-aware) 표상을 추가로 탐구한다. 실험 결과, 에이전트 운동을 모델링하면 공간 인지뿐만 아니라 자기 인식에서도 지각 및 기억 성능이 일관되게 향상되며, 하위 UAV 의사결정 과제로도 일반화된다는 것을 보여준다. 우리의 결과는 체화 공간 지능을 발전시키는 데 자기 인식의 중요성을 부각하며, 운동 인식 공간 속 자아 모델링을 위한 새로운 벤치마크와 실증적 근거를 모두 제공한다.

arXiv:2607.13054v1cs.RO

환경 모니터링에서 커버리지 극대화를 위한 자율 UAV 경로 계획: 체계적 문헌 고찰

Autonomous UAV Route Planning for Coverage Maximization in Environmental Monitoring: A Systematic Literature Review

무인항공기(UAV)를 활용한 환경 모니터링에는 에너지 한계, 운영 제약, 기하학적 복잡성을 다루면서 커버 영역을 극대화하는 경로 계획 방법이 필요하다. 본 논문은 커버리지 중심 환경 모니터링을 위한 자율 UAV 경로 계획에 관한 진행 중인 체계적 문헌 고찰(SLR)의 절차와 예비 결과를 보고한다. 이 고찰은 PRISMA 2020 프레임워크를 따르며, 2015년부터 2026년까지 발표된 연구를 Scopus와 Web of Science에서 검색한다. 절차는 경로 계획(path planning), 커버리지 경로 계획(coverage path planning), 정보 경로 계획(informative path planning)에 초점을 두며, 알고리즘 계열, 커버리지 및 에너지 지표, 장애물 처리, 기하학적 환경 표현, 환경 제약을 강조한다. 현재 단계에서 562건의 기록이 식별되었고, 161건의 중복이 제거되었으며, 401건의 고유 기록이 제목, 초록, 키워드로 스크리닝되었다. 이 중 247건이 전문(full-text) 적격성 평가를 위해 유지되었고(235건 적격, 12건 경계 기록은 전문 검토 중 해결 예정), 유지된 연구의 예비 분석은 커버리지 중심 공식화, 다중 UAV 협조, 에너지 인식 최적화에 대한 강한 집중을 시사하는 반면, 날씨, 불확실성, 장애물이 많은 환경을 명시적으로 다루는 연구는 상대적으로 적다. 유지된 연구의 대부분은 시뮬레이션 기반 검증에 의존하여 잠재적인 시뮬레이션-현실 간 격차를 부각시키며, 최근 출판물은 강화학습, 하이브리드 최적화, 기하학 인식 계획에 대한 관심 증가를 보여준다. 이러한 초기 결과는 활발하지만 분절된 연구 환경을 나타내며, 현실적인 환경 모니터링 임무를 위한 성숙한 기법과 미해결 공백을 식별하기 위한 구조화된 종합의 필요성을 뒷받침한다.

arXiv:2607.12801v1cs.RO

고정익 UAV의 이동 표적 자율 추적 및 종단 유도

Autonomous Tracking and Terminal Guidance of Moving Targets for Fixed-Wing UAVs

본 연구는 팬-틸트(PT) 카메라가 장착된 고정익 무인항공기(UAV)를 위한 통합 제어 프레임워크를 제안하며, 초기 표적 탐지부터 정확한 종단 교전까지 이어지는 end-to-end 임무 수행을 목적으로 한다. 제안된 시스템은 세 단계 전략을 사용한다: 비전 기반 표적 획득 단계, NMPC 기반 추적 단계, 종단 유도 단계. 추적 단계에서 프레임워크는 Unscented Kalman Filter(UKF)를 사용하여 YOLO 기반 시각 탐지와 관성 측정값을 융합하고, 알려지지 않은 동역학 하에서도 견고한 표적 상태 추정을 가능하게 한다. 안정적인 시각 접촉을 보장하기 위해, 제어 장벽 함수(CBF)를 통합하여 UAV 자체 가림(self-occlusion)을 명시적으로 방지하는 제약 인식 비선형 모델 예측 제어(NMPC) 전략을 도입한다 — 이는 고정익 추적에서 흔한 한계이다. 종단 교전 조건이 충족되면 시스템은 쿼터니언 기반 Biased Proportional Navigation Guidance(BPNG) 법칙으로 제어를 원활하게 전환하여 정밀한 충돌 각도 제약을 강제한다. 고충실도 시뮬레이션은 프레임워크가 기체의 동역학 한계와 카메라 시야각(FOV) 제약을 엄격히 준수하면서 안정적이고 견고한 추적 및 정확한 종단 요격을 달성함을 보여준다.

arXiv:2607.10605v1cs.CV

심층 학습을 활용한 드론 기반 실시간 엔드투엔드 사람 탐지 프레임워크

End-to-End Real-Time Drone-Based Person Detection Framework Using Deep Learning

최근 몇 년간 무인 항공기(UAV) 또는 드론은 보안, 수색 및 구조(SAR), 국경 감시 등의 분야에서 빠르게 활용되고 있다. 기존의 모니터링 프레임워크는 고도 변화로 인해 대상이 큰 스케일 변동을 겪을 때 탐지 일관성을 유지하는 데 어려움을 겪는 경우가 많아, 중요한 정보 공백이 발생한다. 이 문제를 해결하기 위해 본 연구는 무선 실시간 드론 영상 피드를 통해 대상을 탐지하는 통합 실시간 탐지 파이프라인을 제안한다. YOLOv8-nano 아키텍처를 기반으로 다양한 비행 고도에서의 탐지 성능을 파악하기 위해 광범위한 비행 실험을 수행하였다. VisDrone2019 데이터셋으로 학습한 YOLOv8-nano 모델은 정밀도, 재현율, mAP, mAP50:95에서 각각 57.4%, 41%, 44.8%, 20.3%를 달성하였다. 실제 환경에서의 시연을 통해, 해당 알고리즘은 16~25미터 고도 구간에서 거의 완전한 탐지 신뢰도를 달성하며 탐지 프레임 레이트가 지속적으로 41 FPS 이상을 유지하고 최대 50 FPS에 도달함이 확인되었다. 본 연구의 목표는 무선 전송을 통해 항공 플랫폼에서 실시간 사람 탐지를 가능하게 하는 것이다. 이 접근 방식은 다양한 스케일의 대상 식별과 항공 관측 중 근사 정확한 위치 추정이라는 이중 과제를 효과적으로 해결한다.

arXiv:2607.10583v1cs.CV

시뮬레이션 기상 조건에서의 UAV 기반 차량 재식별 벤치마킹

Benchmarking UAV-based Vehicle Re-Identification under Simulated Weather Conditions

UAV 기반 차량 재식별(ReID)은 무인 항공기가 제공하는 유연한 시점과 광역 커버리지 덕분에 교통 감시, 도시 모니터링, 공공 안전 응용 분야에서 유망한 기술로 부상하고 있다. 그러나 UAV 기반 차량 ReID 벤치마크에서 최근의 진전에도 불구하고, 악천후 조건에서 기존 방법들의 강인성은 충분히 연구되지 않은 상태이다. 기상 열화는 항공 이미지에서 신뢰할 수 있는 차량 매칭에 필요한 세밀한 외관 단서에 큰 영향을 미칠 수 있으며, 특히 소형 객체 스케일, 시점 변화, 복잡한 배경 환경에서 더욱 그러하다. 본 논문에서는 CLIP-ReID, MSINet, AdaSP 세 가지 대표적인 최신 차량 ReID 방법을 VRU 및 UAV-VeID 두 UAV 기반 벤치마크에서 통제된 비교 연구로 제시한다. 일관된 강인성 평가를 위해, 원본 아이덴티티와 데이터 분할을 유지하면서 분석적 기상 효과 파이프라인을 사용하여 두 데이터셋의 합성 안개 및 비 변형 버전을 생성하였다. 모든 모델은 동일하게 맑음, 안개, 비 조건에서 학습 및 평가되었다. 실험 결과, 악천후는 두 데이터셋 전반에 걸쳐 검색 성능을 일관되게 저하시켰으며, 거의 모든 설정에서 안개보다 비가 더 큰 성능 저하를 유발하였다. 평가된 방법 중 AdaSP가 가장 강한 강인성을 보여, 안개 및 비 조건에서 VRU-Large에서 각각 93.0% 및 88.5% mAP, UAV-VeID-Test에서 각각 88.7% 및 76.2% mAP를 달성하였다. 전반적으로, 본 연구의 결과는 시뮬레이션된 악천후가 UAV 기반 차량 ReID의 난이도를 크게 높이고, 최신 방법들 간의 명확한 강인성 차이를 드러내며, 향후 항공 ReID 연구에서 기상 인식 모델 설계 및 평가 프로토콜의 필요성을 강조함을 보여준다. 코드는 https://github.com/tranminhvu945/Benchmarking-ReID에 공개되어 있다.

arXiv:2607.10231v1cs.CV

PhenoEmbed: 개별 수관 물후 분석을 위한 자기지도 다중분광 UAV 시계열 임베딩

PhenoEmbed: Self-Supervised Multispectral UAV Time-Series Embeddings for Individual Tree Crown Phenology

수관(tree crown)은 정적인 객체가 아니기 때문에 강건한 AI를 위한 어려운 대상이다: 분광 반응, 내부 질감, 투명도, 외관상 경계가 생장 계절에 걸쳐 상당히 변한다. 우리는 PhenoEmbed를 개발한다. 이는 Dölauer Heide의 산림 수관 물후에 관한 18시점 UAV 다중분광 시계열 벤치마크인 HeideBench에서 대조(contrastive) 및 마스크 재구성(masked reconstruction) 목적함수로 학습된 자기지도(self-supervised) 수관 중심 시간적 임베딩 모델이다. 이 모델은 계절적 수관 역학을 잎 출현, 수관 폐쇄, 노화(senescence), 낙엽 조건에 의해 구동되는 물후적 외관 변화로 취급한다. 분할된 수관 다각형은 시간 축에 걸쳐 정렬된 수관 중심 크롭을 추출하기 위한 객체 앵커로 유지되어, 나무당 하나의 256차원 벡터로 계절적 수관 외관이 학습될 수 있도록 한다. 5,885개의 크롭 안전 수관에 대해 추출된 임베딩은 구조화된 저차원 구성을 보여주며, 처음 두 주성분이 분산의 25.1%를 설명하고 최근접 이웃 검색은 상위-1 코사인 유사도 중앙값 0.946을 나타낸다. 수작업 시간적 특징 및 학습된 평균 풀링 기준선과 비교할 때, PhenoEmbed는 실질적으로 더 컴팩트한 최근접 이웃 구조를 산출하며, 어블레이션 실험은 대조 손실, 마스크 재구성 손실, 명시적 계절 시간 특징이 각각 학습된 임베딩 공간의 구조에 영향을 미침을 보인다. 이러한 결과는 PhenoEmbed를 재사용 가능한 산림 수관 표현 학습기로 지지하며, 이 특징들이 계절 변화 하에서 나무 수준 모델을 향상시키는지에 대한 향후 다운스트림 검증을 동기 부여한다.

arXiv:2607.09930v1cs.CV

Banshee: 음향 주입을 통한 짐벌 안정화 시각 추적 시스템 대상 표적 전환 공격

Banshee: Target Switch Attacks on Gimbal-Stabilized Visual Tracking Systems via Acoustic Injection

짐벌 안정화 시각 추적(Gimbal-stabilized visual tracking)은 무인 항공기(UAV)와 같은 현대 자율 시스템에서 핵심적인 역할을 한다. 기존 연구에서 음향 신호가 짐벌 내부를 교란할 수 있음을 보였지만, UAV 추적 및 추종과 같은 실제 응용에 대한 이러한 공격의 영향은 충분히 탐구되지 않았다. 기존 시연들은 객체 움직임 불확실성 및 실행 시간 지연과 같은 실제 공격의 현실적 과제들을 대체로 간과하고 있다. 이 격차를 해소하기 위해 우리는 짐벌 카메라 시스템의 음향 취약점을 악용하여 UAV 시각 추적 시스템에서 표적 전환을 유도하는 최초의 물리적으로 실현 가능한 공격인 Banshee를 제시한다. Banshee는 최적화된 적대적 짐벌 진동을 유도하는 정밀하게 설계된 음향 파형을 생성하여, 프레임 간 표적 연관을 깨뜨리는 방향적으로 편향된 카메라 뷰 드리프트를 일으킨다. 그 결과, 탑재된 트래커는 높은 확률로 원래 표적에서 공격자가 선택한 객체로 전환되며, 경우에 따라 표적 손실이 발생한다. Banshee는 두 가지 상용 짐벌 시스템과 다섯 가지 트래커에 대한 시뮬레이션에서 93.6%의 성공률을 달성한다. 다양한 시나리오에서 상용 드론을 대상으로 한 실제 벤치탑 및 비행 중 블랙박스 공격은 전체적으로 95.5%의 공격 성공률을 보인다. 본 연구의 결과는 음향과 비전 간의 실용적인 크로스 도메인 취약점을 드러내며, 짐벌 시스템 및 응용의 강건한 설계의 필요성을 강조한다. 코드는 https://github.com/U1ltra/Banshee에서 확인할 수 있다.

arXiv:2607.10180v1cs.RO

ActiveFly-Bench: 항공 구현 인식을 위한 비전-언어-행동 기반 구현 질의응답 정렬

ActiveFly-Bench: Aligning Embodied Question Answering with Vision-Language-Action for Aerial Embodied Perception

본 논문에서는 UAV 구현 인식을 위해 사이버공간 추론과 물리 세계 상호작용을 연결하는 최초의 벤치마크인 ActiveFly-Bench를 소개한다. 이 벤치마크는 능동적 인식을 세 가지 계층적 태스크로 분해한다: 항공 구현 질의응답(Air-EQA), 관측 행동 계획(OBP), 세밀한 언어 기반 UAV 제어(FLUC). 이를 통해 고수준 태스크 이해, 행동 계획, 저수준 제어를 명시적으로 연결한다. 데이터셋은 학습 및 평가를 위해 실제 환경과 시뮬레이션된 실외 환경 모두에서 수집되었다. 나아가 시각-언어 추론과 세밀한 제어를 통합하는 폐루프 UAV 에이전트인 ActiveFly를 개발하여 실제 UAV 플랫폼에 배포하였다. 대표적인 VLM 및 VLA 모델을 활용한 실험 결과, 현재 UAV 에이전트는 능동적 인식에서 행동 계획, 시점 조정, 견고한 태스크 완료에 여전히 어려움을 겪고 있음이 확인되었다. 이러한 결과를 바탕으로 ActiveFly-Bench는 구현 항공 인공지능을 위한 새로운 테스트베드로 자리매김한다.

arXiv:2605.13922v2cs.CR

UAVIDS-2025 데이터셋에서 신뢰할 수 있는 침입 탐지를 위한 XAI 및 통계 분석: 트리에서 하이브리드 및 테이블형 DNN 앙상블까지

XAI and Statistical Analysis for Reliable Intrusion Detection in the UAVIDS-2025 Dataset: From Tree to Hybrid and Tabular DNN Ensembles

최근 몇 년간, 설명 가능한 인공지능(XAI)의 하위 분야인 기계론적 해석 가능성(Mechanistic Interpretability) 개념이 도입되어, UAV 침입 탐지 시스템(UAVIDS)과 같은 핵심 시스템에서 복잡한 기계학습(ML) 모델의 의사결정을 설명하는 데 활용되고 있다. 본 논문에서는 데이터 전처리 모범 사례를 적용하고, 계층적 10-폴드 교차 검증을 통해 UAV 침입 탐지를 위한 다양한 트리 앙상블, 심층 신경망, 하이브리드 스태킹 모델, 최신 앙상블 신경망을 폭넓게 검토한다. 최고 성능 모델인 XGBoost를 바탕으로 Shapley Additive Explanations(SHAP)를 적용하여 전역 및 지역 특징 중요도를 분석하고, 각 공격이 정상 트래픽을 모방하기 위해 어떤 특징을 표적으로 삼는지, 그리고 오분류가 발생하는 지점을 파악한다. 이어서 바이올린 플롯과 커널 밀도 추정(KDE) 곡선을 시각적으로 비교하는 분포 분석을 수행한다. 다중 비교를 위한 Westfall-Young 순열 검정, KDE의 대역폭 최적화, Jensen-Shannon 거리 선택을 통해 UAVIDS-2025에서 웜홀 및 블랙홀 공격에서 관찰된 거짓 예측의 실제 원인을 규명한다. 본 연구의 결과는 UAV 침입 탐지를 위한 견고하고 신뢰할 수 있으며 설명 가능한 모델을 제공하는 동시에, 해당 데이터셋에서 이들 공격 간의 밀도 지지 교차(Density Support Intersection) 문제와 관련하여 공격의 은폐된 특성을 포착하고 명확히 하는 통계적 통찰을 제시한다.

arXiv:2607.09078v1cs.CV

야생 환경에서 UAV를 위한 능동적 객체 검출: 대규모 데이터셋, 벤치마크 및 방법

Toward Active Object Detection for UAVs in the Wild: A Large-Scale Dataset, Benchmark and Method

객체 검출은 무인 항공기(UAV) 응용 분야의 핵심 구성 요소이나, 오랫동안 가림(occlusion)이나 타겟 픽셀 부족과 같은 문제에 시달려 왔다. 능동적 객체 검출(AOD)은 능동 시각(active vision)을 통해 이러한 과제를 해결하는 새로운 패러다임을 제공하지만, 알고리즘 개발 및 평가를 위한 고품질 데이터셋과 벤치마크의 부재로 인해 UAV 기반 AOD 연구는 아직 미흡한 실정이다. 이 공백을 메우기 위해 본 논문은 UAV-지상 능동적 객체 검출(UGAOD)을 위한 최초의 대규모 실세계 데이터셋인 ATRNet-LUDO를 제시한다. 이 데이터셋은 40개 시나리오에 걸쳐 10종의 차량 타겟을 포함하는 121,000개의 다시점 파노라마 다중 타겟 항공 이미지와 121만 개의 단일 타겟 로컬 슬라이스로 구성된다. 이를 통해 UAV 에이전트 상호작용 및 능동적 관측 정책 학습을 위한 다양한 학습 및 테스트 환경 구축이 가능하다. 이 데이터셋을 기반으로 AOD 정책 학습 방법에 대한 포괄적인 평가 벤치마크를 구축한다. 기존 AOD 정책의 대부분은 심층 강화학습(DRL)에 의존하지만 일반화 성능이 낮다는 문제가 있다. 제안한 벤치마크에서의 평가 결과, 학습과 테스트 성능 간에 유의미한 일반화 격차가 존재함이 드러나 해결책의 필요성이 부각된다. 이를 위해 Joint Embedding Predictive Architecture(JEPA)를 활용하여 상태 표현 학습을 강화하는 세계 모델을 구성하고, AOD 특화 사전 지식을 접목한 AOD-JEPA를 제안한다. 광범위한 실험을 통해 그 효과와 우수성을 검증한다. ATRNet-LUDO와 벤치마크가 UGAOD 분야의 연구를 발전시키는 데 기여하길 바란다. 데이터셋과 코드는 https://github.com/Leo000ooo/LUDO_dataset에 곧 공개될 예정이다.

arXiv:2607.08267v1cs.CV

UniRef-UAV: UAV 영상에서의 범용 참조를 위한 멀티모달 벤치마크

UniRef-UAV: A Multimodal Benchmark for Universal Referring in UAV Imagery

UAV 영상에서 텍스트 전용·이미지 전용·텍스트+이미지 쿼리를 모두 지원하고 대상 없음·단일·다중 타깃 그라운딩을 포함하는 범용 참조(Universal Referring) 태스크를 정의하고, 22개 공개 UAV 데이터셋 기반의 멀티모달 벤치마크 UniRef-UAV(15만 건 이상의 쿼리 샘플)와 이종 쿼리를 공유 쿼리 공간으로 매핑하는 탐지 방식 기준선 UAV-URNet을 제안한다. UAV-URNet은 대형 범용 MLLM 대비 더 일관된 대상 없음 판별과 경량화된 재현 가능성을 보이며, 멀티모달 쿼리가 시각적 쿼리 모호성을 줄이고 통합된 쿼리-대상 정렬 공간을 형성함을 실험으로 입증한다.

arXiv:2607.07905v1cs.CV

슈트 신장 모니터링을 위한 저비용 UAV 및 크레인 기반 사진측량을 이용한 낙엽수 3D 재건

3D Reconstruction of deciduous Trees using low-cost UAV- and Crane-based Photogrammetry for Monitoring Shoot Elongation across entire Canopies

수목 성장은 대기 중 CO2가 얼마나 격리되어 목질 바이오매스에 일시 저장되는지를 결정한다. 동시에, 수목 성장은 기온 상승, 빈번해진 가뭄, 늦서리, 그리고 기후 변화와 관련된 기타 극단적 현상의 영향을 받는다. 수목의 직경 생장(2차 생장)을 수목경(dendrometer)으로 연속 측정하는 방법은 잘 확립되어 있는 반면, 슈트 신장(1차 생장)의 모니터링은 적합한 측정 기법의 부재로 인해 대체로 간과되어 왔다. 그 결과, 기후 변화가 수목의 1차 생장에 미치는 영향은 아직 충분히 이해되지 않은 상태다. 본 연구는 수관 전체에 걸쳐 슈트 신장을 측정하고 모니터링하는 기반으로서, 자생 낙엽수를 3D로 재건하는 것을 목표로 한다. 이를 위해 저비용 UAV 사진측량과 다중 카메라 CraneCam 시스템을 실제 환경에서 활용하는 방안을 탐색하였다. 데이터는 두 연구 지역에서 전체 생장 시즌에 걸쳐 수집되었다. 본 논문은 센서 평가, 사진측량 데이터 취득 및 처리 전략을 제시하며, 결과로 생성된 사진측량 3D 포인트 클라우드의 정확도, 해상도, 완전성 분석에 특히 초점을 맞춘다. 결과에 따르면, 250g 미만의 소비자용 UAV를 사용하여 수목 전체에 대해 5~6mm의 3D 포인트 정확도를 달성하였으며, UAV 유형에 따라 3D 재건 완전성은 92%에서 98% 사이로 나타났다. 또한, 가는 슈트와 같은 세밀한 구조물 재건 능력을 평가하기 위해 3D 프린팅된 새로운 실측 기준 가지(ground-truth branch)를 도입하였다. 마지막으로, 운영상의 과제와 사진측량 포인트 클라우드를 기반으로 한 수목 전체의 스켈레톤화(skeletonization)를 향한 초기 실험에 대해 논의한다.

arXiv:2607.03818v1cs.CV

TRISTAR: 수색·구조 마이크로 무인항공기를 위한 삼중 신호 계단 인식 및 단안 비전 전용 실내 내비게이션

TRISTAR: Triple-Signal Stair Recognition and Vision-Only Indoor Navigation for Search-and-Rescue Micro-UAVs

실내 수색·구조(SAR) 작전은 GNSS 신호가 제공되지 않고 인간의 접근이 어렵거나 위험한 환경에서 신속한 상황 인식을 요구하는 경우가 많다. 대부분의 자율 항공 시스템은 LiDAR, 스테레오 비전, 또는 특수 깊이 카메라에 의존하지만, 이러한 솔루션은 하드웨어 복잡도와 배포 비용을 모두 증가시킨다. 본 논문은 단안 비전만을 기반으로 하는 저비용 무인항공기(UAV)를 위한 완전한 자율 실내 내비게이션 프레임워크를 제시한다. DJI Tello 플랫폼에 구현된 이 시스템은 Depth Anything V2를 이용한 단안 깊이 추정과 고전적 컴퓨터 비전 및 경량 심층 학습 모델을 결합하여 장면 이해, 피해자 탐지, 위험 요소 인식을 수행한다. 프레임워크는 두 가지 독립적 동작으로 구성된다: (i) 자동 문 탐지, 방 진입, OCR 기반 방 식별, 피해자 검사를 포함한 복도 탐험; (ii) TRISTAR(TRI-Signal STair Ascent Recognition)에 기반한 자율 계단 오르기로, 이는 구조적 단서(Sobel 필터링), 텍스처 분석(다중 스케일 Gabor 필터링), 단안 깊이 추정으로부터의 기하학적 깊이를 통합하는 새로운 삼중 센서 융합 방법이다. 평가는 대학 건물에서의 실제 실내 비행을 통해 수행되었다. 깊이 보정을 통해 상대 깊이 오차를 27.4%에서 10% 미만으로 감소시켰으며, 문 탐지 알고리즘은 정밀도 0.93, F1 점수 0.91을 달성하였다. 전용 절제 연구(ablation study)를 통해 다중 센서 융합이 개별 감지 모달리티에 비해 계단 인식 견고성을 크게 향상시킴을 확인하였으며, 실패 사례 분석은 도전적인 조명 및 반사 표면 환경에서 단안 인식의 한계를 명확히 제시한다. 결과는 자원이 제한된 플랫폼에서 전문 거리 측정 하드웨어 없이도 신뢰할 수 있는 실내 탐험과 계단 이동이 가능함을 입증하며, 신속한 SAR 배포를 위한 실용적이고 비용 효율적인 솔루션을 제공한다.

arXiv:2607.03754v1cs.CV

데이터 부족 환경에서 세밀한 UAV 타겟 분할을 위한 SAM 감독 탐구

Exploring SAM Supervision for Fine-Grained UAV Target Segmentation under Data Scarcity

무인 항공기(UAV) 타겟 분할은 객체의 작은 크기, 외관 변화, 복잡한 배경, 그리고 밀집 어노테이션 데이터의 부족으로 인해 여전히 어려운 과제이다. 이러한 요인들은 실제 UAV 응용에서 경량 분할 모델의 성능과 실용적 배포를 저해한다. 이 문제를 해결하기 위해, 본 논문은 경량 분할 네트워크 학습을 위한 의사 레이블(pseudo-label) 생성기로서 SAM3(Segment Anything Model 3)의 활용을 연구한다. 구체적으로, 두 가지 감독 패러다임을 탐구한다: (i) 변경되지 않은 SAM3 생성 마스크를 사용하는 직접 의사 감독, 그리고 (ii) 향상된 마스크 품질을 위해 지역화된 이미지 패치에 SAM3를 재적용하는 정제 전략. 이러한 패러다임을 기반으로, 두 단계의 SAM3 기반 의사 레이블 생성 프레임워크를 제안한다. 첫 번째 단계에서 SAM3는 초기 객체 지역화를 위한 거친 마스크를 생성한다. 지역화된 영역은 이후 패치로 잘려 SAM3에 의해 다시 처리되어 정확한 객체 경계를 가진 세밀한 마스크를 생성하고 오탐지를 제거한다. 생성된 거친 마스크와 세밀한 마스크는 경량 네트워크인 IPS-Seg를 최적화하기 위한 의사 레이블로 사용되며, IPS-Seg는 세 가지 구성 요소로 이루어진다: 특징 추출을 위한 IdentityFormer 백본, 다중 스케일 문맥 집합을 위한 아트러스 공간 피라미드 풀링(Atrous Spatial Pyramid Pooling) 모듈, 그리고 공간 해상도 복원을 위한 PixelShuffle 기반 디코더. 다양한 감독 설정 하에서의 광범위한 실험은 제안된 프레임워크의 효과를 입증한다. 결과는 IPS-Seg가 분할 정확도와 계산 효율성 간의 유리한 트레이드오프를 달성하면서 제안된 의사 레이블 생성 전략으로부터 일관된 이점을 얻음을 보여준다. 이러한 발견은 저레이블 비전 도메인에서 경량의 태스크별 분할 네트워크 학습을 위한 어노테이션 소스로서 대규모 파운데이션 모델의 잠재력을 강조한다.

arXiv:2510.10180v2cs.CV

TCMA: Text-Conditioned Multi-granularity Alignment for Drone Cross-Modal Text-Video Retrieval

UAV 영상에 대한 텍스트-비디오 검색 성능 향상을 위해 2,864개 영상과 14,320개의 세밀한 캡션으로 구성된 DVTMD 데이터셋을 구축하고, 전역 비디오-문장 정렬, 문장 기반 프레임 집계, 단어 기반 패치 정렬을 통합하는 TCMA(Text-Conditioned Multi-granularity Alignment) 프레임워크를 제안했다. DVTMD와 CapERA 벤치마크에서 텍스트→비디오 R@1 45.5%, 비디오→텍스트 R@1 42.8%의 최고 성능을 달성했다.

arXiv:2606.27128v1cs.CV

FlameVQA: 방사형 열 감독을 활용한 물리적 정합 UAV 산불 VQA 벤치마크

FlameVQA: A Physically-Grounded UAV Wildfire VQA Benchmark with Radiometric Thermal Supervision

FlameVQA는 FLAME 3의 UAV RGB와 방사형 열화상 TIFF를 결합한 다지선다형 VQA 벤치마크로, 검출·위치 추정·범위 추정·교차 모달 추론·비행 계획 등 6가지 산불 운용 역량을 이미지당 34문항으로 평가한다. MLLM 베이스라인에서는 교차 모달 단서가 분명할 때 성능이 높았으나, 짙은 연기 속 존재 검출과 커버리지 추정에서 실패가 뚜렷해 현행 MLLM은 재난·산불 모니터링을 위한 도메인 특화 적응이 필요함을 보여준다.