arXiv:2609.08938v2 cs.CV

EgoSIS: 인수분해된 시각적 자기 전이에서 무인 항공기 추론을 위한 움직임 표준 공간 증거로

EgoSIS: From Factorized Visual Ego-Transitions to Motion-Canonical Spatial Evidence for UAV Reasoning

Jingpu Yang, Fengxian Ji, Mingxuan Cui, Yilin Sun, Hang Zhang, Jianhua Zhu, Yufeng Wang

제출 2026-09-08

한국어 초록

무인 항공기(UAV) 비디오 질의응답은 카메라의 움직임과 장면의 변화를 분리하는 작업이 필요하지만, RGB 전용 멀티모달 모델은 이러한 분리를 위한 명시적이고 안정적인 기준을 제공받지 못합니다. 본 논문에서는 포즈(pose) 정보가 필요 없는 어댑터인 EgoSIS를 제안합니다. 이 어댑터는 RGB 기반 양방향 광학 흐름(flow)을 3단계에 거쳐 움직임 표준(motion-canonical) 시각 증거로 변환합니다. 첫째, 인수분해된 시각적 자기 전이(FVET)는 견고한 이미지 평면 전이를 피팅하고 움직임, 잔여 지지(residual-support), 신뢰도 요소를 도출합니다. 둘째, 신뢰도 게이트 자기 전이 메모리(ReTEM)는 제한된 이력에 대해 신뢰도 가중 업데이트를 사용하며, 컷 전환이나 지속적인 불확실성이 발생할 때 메모리를 재고정(re-anchor)합니다. 셋째, 자기 정렬 공간 증거(EASE)는 지지되는 시각 특징들을 각 세그먼트의 로컬 앵커로 워핑(warp)하고, Qwen의 시각 토큰(token) 수를 변경하지 않으면서 0으로 초기화된 잔여 연결을 통해 시각 슬라이스당 4개의 공간 증거 토큰을 주입합니다. SIS-Bench에서 EgoSIS-8B는 89.9%의 인지, 82.5%의 인지-메모리 결합, 76.2%의 종합 정확도를 달성했으며, 가장 큰 성능 향상은 자기 인식 인지 및 메모리에 집중되었습니다. 결과적으로 이 어댑터는 광학 흐름과 공간 추론 간의 해석 가능한 인터페이스를 제공합니다.

원문 초록

UAV video question answering requires separating camera motion from changes in the scene, but RGB-only multimodal models receive no explicit, stable reference for that separation. We present EgoSIS, a pose-free adapter that converts RGB-derived bidirectional flow into motion-canonical visual evidence in three stages. Factorized Visual Ego-Transitions (FVET) fits a robust image-plane transition and exposes motion, residual-support, and reliability factors. Reliability-Gated Ego-Transition Memory (ReTEM) uses reliability-weighted updates for a bounded history and re-anchors it at cuts or sustained uncertainty. Ego-Aligned Spatial Evidence (EASE) warps supported visual features into each segment's local anchor and injects four spatial evidence tokens per visual slice through zero-initialized residuals, without changing Qwen's visual-token count. On SIS-Bench, EgoSIS-8B obtains 89.9\% perception, 82.5\% perception-plus-memory, and 76.2\% overall accuracy, with the largest gains concentrated in self-awareness perception and memory. The adapter thus provides an interpretable interface between optical flow and spatial reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.08938v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.