EgoSIS: 인수분해된 시각적 자기 전이에서 무인 항공기 추론을 위한 움직임 표준 공간 증거로
EgoSIS: From Factorized Visual Ego-Transitions to Motion-Canonical Spatial Evidence for UAV Reasoning
한국어 초록
무인 항공기(UAV) 비디오 질의응답은 카메라의 움직임과 장면의 변화를 분리하는 작업이 필요하지만, RGB 전용 멀티모달 모델은 이러한 분리를 위한 명시적이고 안정적인 기준을 제공받지 못합니다. 본 논문에서는 포즈(pose) 정보가 필요 없는 어댑터인 EgoSIS를 제안합니다. 이 어댑터는 RGB 기반 양방향 광학 흐름(flow)을 3단계에 거쳐 움직임 표준(motion-canonical) 시각 증거로 변환합니다. 첫째, 인수분해된 시각적 자기 전이(FVET)는 견고한 이미지 평면 전이를 피팅하고 움직임, 잔여 지지(residual-support), 신뢰도 요소를 도출합니다. 둘째, 신뢰도 게이트 자기 전이 메모리(ReTEM)는 제한된 이력에 대해 신뢰도 가중 업데이트를 사용하며, 컷 전환이나 지속적인 불확실성이 발생할 때 메모리를 재고정(re-anchor)합니다. 셋째, 자기 정렬 공간 증거(EASE)는 지지되는 시각 특징들을 각 세그먼트의 로컬 앵커로 워핑(warp)하고, Qwen의 시각 토큰(token) 수를 변경하지 않으면서 0으로 초기화된 잔여 연결을 통해 시각 슬라이스당 4개의 공간 증거 토큰을 주입합니다. SIS-Bench에서 EgoSIS-8B는 89.9%의 인지, 82.5%의 인지-메모리 결합, 76.2%의 종합 정확도를 달성했으며, 가장 큰 성능 향상은 자기 인식 인지 및 메모리에 집중되었습니다. 결과적으로 이 어댑터는 광학 흐름과 공간 추론 간의 해석 가능한 인터페이스를 제공합니다.
원문 초록
UAV video question answering requires separating camera motion from changes in the scene, but RGB-only multimodal models receive no explicit, stable reference for that separation. We present EgoSIS, a pose-free adapter that converts RGB-derived bidirectional flow into motion-canonical visual evidence in three stages. Factorized Visual Ego-Transitions (FVET) fits a robust image-plane transition and exposes motion, residual-support, and reliability factors. Reliability-Gated Ego-Transition Memory (ReTEM) uses reliability-weighted updates for a bounded history and re-anchors it at cuts or sustained uncertainty. Ego-Aligned Spatial Evidence (EASE) warps supported visual features into each segment's local anchor and injects four spatial evidence tokens per visual slice through zero-initialized residuals, without changing Qwen's visual-token count. On SIS-Bench, EgoSIS-8B obtains 89.9\% perception, 82.5\% perception-plus-memory, and 76.2\% overall accuracy, with the largest gains concentrated in self-awareness perception and memory. The adapter thus provides an interpretable interface between optical flow and spatial reasoning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.08938v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.