arXiv:2607.02417v1 cs.RO

LIME: 에고센트릭 비디오로부터 의도 인식 카메라 모션 학습

LIME: Learning Intent-aware Camera Motion from Egocentric Video

Boyang Sun, Jiajie Li, Yung-Hsu Yang, Chenyangguang Zhang, Tim Engelbracht, Sunghwan Hong, Cesar Cadena, Marc Pollefeys, Hermann Blum

제출 2026-07-02

한국어 초록

자율 로봇은 행동하기에 앞서 물체를 검사하거나, 가려진 영역을 드러내거나, 사용자의 의도에 부합하는 시야를 확보하기 위해 카메라를 먼저 이동시켜야 하는 경우가 많다. 비전-언어 내비게이션이 지시를 기반 모션으로 변환하고 비전-언어-액션 정책이 지시를 조작 행동으로 매핑하는 반면, 언어 조건부 카메라 모션은 일급 행동(first-class action)으로서 상대적으로 덜 탐구되어 왔다. 우리는 언어 조건부 카메라 모션 생성을 정식화한다: 현재 RGB 관측과 자유 형식의 자연어 의도가 주어졌을 때, 다음 관측을 위한 상대적 목표 카메라 포즈를 예측하는 것이다. 이 태스크는 본질적으로 자명하지 않다: 시점 변화는 잠재적 지각 의도에 의해 구동되며, 유효한 모션은 방에 들어가는 것부터 모퉁이를 살펴보거나, 보이는 물체를 검사하거나, 가려진 세부 사항을 드러내는 것에 이르기까지 다양한 의미론적 세분성에서 작동할 수 있다. 이 구조를 모델링하기 위해, 우리는 에고센트릭 비디오로부터 다중 의도 카메라 모션 감독(supervision)을 발굴하여, 그럴듯한 의도 및 관측 획득 설명을 상대적 SE(3) 목표 포즈와 짝지어 구성한다. 우리는 자기회귀적(auto-regressive) 관측 획득 출력과 연속 플로우 매칭(flow-matching) 포즈 헤드를 결합한 비전-언어 카메라 모션 생성기인 LIME을 제안한다. 이 설계는 모델이 다중 가설 목표 시야를 표현하면서 다음 시야가 무엇을 드러내야 하는지를 공동으로 예측할 수 있게 한다. 다양한 실험 및 다운스트림 로봇 태스크에 걸쳐, 우리는 LIME이 수동적 인간 비디오로부터 카메라 포즈를 능동적으로 선택하는 방법을 학습할 수 있음을 보여주며, 이를 통해 일반적인 에고센트릭 녹화 영상을 의도 인식 능동적 지각(active perception)을 위한 감독 신호로 전환한다.

원문 초록

Autonomous robots often need to move their camera before they can act: to inspect an object, reveal an occluded region, or obtain a view that responds to a user's intent. While vision-language navigation translates instructions to base motion and vision-language-action policies map instructions to manipulation actions, language-conditioned camera motion remains comparatively underexplored as a first-class action. We formulate language-conditioned camera motion generation: given a current RGB observation and a free-form natural-language intent, predict a relative target camera pose for the next observation. This task is inherently non-trivial: viewpoint changes are driven by latent perceptual intentions, and a valid motion may operate at different semantic granularity, from entering a room to looking around a corner, inspecting a visible object, or revealing an occluded detail. To model this structure, we mine multi-intention camera-motion supervision from egocentric video, pairing plausible intents and observation-gain descriptions with relative SE(3) target poses. We propose LIME, a vision-language camera-motion generator that combines an auto-regressive observation-gain output with a continuous flow-matching pose head. This design lets the model jointly predict what the next view should reveal while representing multi-hypothesis target views. Across experiments and downstream robotic tasks, we show that LIME can learn to actively choose camera poses from passive human video, turning ordinary egocentric recordings into supervision for intent-aware active perception.

요약

자율 로봇이 의도에 맞는 시야를 능동적으로 확보할 수 있도록, LIME은 에고센트릭 비디오에서 자동 채굴한 다중 의도-카메라 모션 감독 신호를 활용해 자연어 의도와 현재 RGB 관측으로부터 상대적 SE(3) 목표 카메라 포즈를 예측하는 비전-언어 모델이다. 자기회귀적 관측 획득(observation-gain) 출력과 연속 플로우 매칭(flow-matching) 포즈 헤드를 결합한 설계로 다중 가설 시야를 표현하며, 조작·구현된 질의응답·다단계 로봇 태스크 등 다양한 다운스트림 과제에서 유효성을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.02417v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03717v1cs.CV공통 태그 Pose Estimation, Scene Understanding, Novel View Synthesis

적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습

Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io

arXiv:2609.24727v1cs.CV공통 태그 Pose Estimation, Scene Understanding, Video Understanding

ReSTI: STI-Bench의 소스 근거 감사 및 수정

ReSTI: A Source-Grounded Audit and Repair of STI-Bench

공간-시간 벤치마크는 질문, 소스 어노테이션, 답 선택지가 동일한 물리량을 가리킬 때만 유효하다. 우리는 공식 ScanNet, Waymo, Omni6DPose 소스를 기준으로 STI-Bench를 감사한 결과, 체계적인 좌표계 및 타임스탬프 오류, 불충분하게 명시된 대상과 시각, 선택지와 답 세부 정보 간 불일치를 발견했다. 우리는 ReSTI를 제안한다. ReSTI는 소스에 뒷받침된 개정판으로, 명시적인 대상, 시각, 좌표계, 물리량, 단위 하에서 복구 가능한 모든 답을 재구성한다. 소스 재구성은 과제 수준의 기하학적 실패를 드러낸다. ScanNet Grounding은 어노테이션과 원시 카메라 좌표계 사이에 필요한 정렬을 누락하고, Orientation은 잘못된 평면에서 카메라 회전을 측정한다. ReSTI는 이러한 레이블을 명시적이고 소스와 일관된 기하학적 정의로 대체하고, 잘못된 타임스탬프에서 평가된 Waymo 포즈 등 소스로 검증 가능한 다른 결함도 수정한다. 기존 2,064개 질문 가운데 ReSTI는 1,782개를 유지하고 282개의 증거 기반 제외를 기록한다. 따라서 ReSTI는 정밀한 비디오 공간-시간 추론을 평가하기 위한 보수적이고 소스 추적 가능한 기반을 제공한다. 프로젝트 페이지: https://github.com/pengzhansun/ReSTI.

arXiv:2609.24492v2cs.CV공통 태그 Pose Estimation, Video Understanding

롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템

Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System

롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.

arXiv:2610.15734v1cs.CV공통 태그 Pose Estimation, Scene Understanding

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

arXiv:2610.13706v1cs.CV공통 태그 Scene Understanding, Novel View Synthesis

GLIMPSE: 탐색 가능한 비디오 월드 모델을 위한 다중 정밀도 스펙트럼 인코딩 기반 전역-지역 인덱싱

GLIMPSE: Global-Local Indexing with Multi-Precision Spectral Encoding for Explorable Video World Models

카메라 제어 비디오 월드 모델(video world model)은 카메라가 이전 장면으로 되돌아올 때 장면의 일관성을 유지해야 합니다. 저장된 특징을 타깃 프레임으로 렌더링하는 메모리 방식은 깊이(depth) 및 포즈 오차로 인해 잔상(ghosting)이나 중복된 구조를 유발할 수 있습니다. 위치 이동(positional transport) 방식은 과거 패치의 내용을 리샘플링하는 대신 주소를 재배치함으로써 이러한 리샘플링 문제를 피하지만, 부정확한 투영에도 완전한 위치 정밀도(precision)를 부여한다는 한계가 있습니다. 본 연구에서는 대역별 다중 정밀도 좌표와 기하학 조건부 스펙트럼 감쇠를 갖춘 전역-지역 메모리 인터페이스인 GLIMPSE를 제안하여 부정확한 투영 주소에 대한 민감도를 줄입니다. 지역 패치 메모리는 시점 특화된 외형을 제공하는 반면, 순환 전역 메모리는 장면 문맥을 제공합니다. 또한 풋프린트 기반 검색(footprint-guided retrieval)은 고정된 지역 읽기 예산 내에서 과거 패치를 선택합니다. 동일한 검색 및 읽기 예산 조건에서 GLIMPSE는 결정론적 위치 이동 방식 대비 기하학적 대응성과 측광 일관성(photometric consistency)을 향상시킵니다.

arXiv:2610.13832v1cs.CV공통 태그 Scene Understanding, Novel View Synthesis

SpatialASM: 공간 추론을 위한 능동적 심적 표상화의 내재화

SpatialASM: Internalizing Active Mentalization for Spatial Reasoning

복잡한 공간 추론 과제를 해결할 때 일반적인 인간은 자연스럽게 과제와 관련된 시점에서 장면을 다시 살펴보고, 해당 시점들로부터 공간 배치를 머릿속으로 재구성(mental reconstruction)합니다. 하지만 대규모 비전-언어 모델(LVLM)도 능동적으로 같은 방식으로 사고할 수 있을까요? 저자들은 이러한 능력을 능동적 공간 심적 표상화(Active Spatial Mentalization, ASM)라고 정의하며, 이는 현재의 LVLM에서 크게 미발달 상태로 남아 있는 시각 지능의 본질적인 구성 요소입니다. 이러한 격차를 해소하기 위해 저자들은 학습(training) 시점의 공간 시뮬레이션을 통해 ASM을 LVLM에 내재화하는 확장 가능한 프레임워크인 SpatialASM을 소개합니다. SpatialASM은 외재적(allocentric) 신규 시점 생성기를 활용하여 가상 시점을 시각적 증거에 그라운딩(grounding)하며, 상호보완적인 두 가지 형태의 지도(supervision)를 생성합니다: i) 공간 추론 중 언제 어떻게 적응적으로 시점 계획과 상상을 불러일으킬지 LVLM에 가르치는 명시적 ASM 궤적, ii) 시점 조건부 장면 상상을 더욱 강화하는 자동 구축된 관점 수용(perspective-taking) 과제. 상대적으로 지각 중심적인 공간 이해부터 다중 이미지, 시점 교차 및 시점 변환 추론이 필요한 더 까다로운 과제에 이르는 7개 벤치마크(benchmark)에서, SpatialASM은 기존의 일반적인 비각 능력을 유지하면서도 4개의 LVLM 백본 모델의 공간 추론 성능 향상을 이끌어냈습니다. 실험 결과는 저자들의 접근법이 7개 공간 벤치마크 전반에서 평균 정확도를 향상시킴을 입증합니다. 또한 ASM 궤적의 합성은 능동적 시점 탐험(exploration)과 심적 장면 시뮬레이션을 유도하기 위한 공간 사고의 연쇄(Chain-of-Thought, CoT) 지도 데이터의 부족을 완화하는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.