arXiv:2609.01276v1 cs.CV

자기중심 영상에서 세계와 자기를 보기

Seeing the World and the Self from Egocentric Video

Kai Guan, Minchao Jiang, Ruichen WangLi, Wentao Zhu, Lei Zhang

제출 2026-09-01

한국어 초록

자기중심(egocentric) 영상으로부터의 완전한 3D 지각은 공유 metric 좌표계에서 주변 장면과 착용자의 전신 동작을 함께 복원하는 것을 요구한다. 기존 방법은 보통 장면 재구성과 동작 추정을 따로 다룬다. 장면 재구성 방법은 착용자를 무시하고, 동작 추정 방법은 명시적 장면 기하를 갖지 못하며 종종 외부 궤적에 의존한다. 두 작업을 함께 복원하는 것은 가시성이 비대칭이고 서로 다른 예측 패러다임을 요구하기 때문에 어렵다. 대부분 가시적인 장면은 결정론적 기하 회귀(regression)를 지지하는 반면, 심하게 가려진 신체는 생성적(generative) motion 추론이 필요하다. 이에 우리는 결정론적 metric 기하 재구성과 기하 조건부 motion 생성을 결합한 통합 프레임워크 RESELF(REconstructing the Scene and the sELF)를 제안한다. RESELF는 대규모 배외(exocentric) 데이터로 사전학습된 기하 파운데이션 모델을 프레임 단위 스케일 및 상대 포즈(relative-pose) 일관성 목적 함수로 자기중심 영상에 맞게 적응시킨다. 이렇게 얻은 카메라 궤적과 잠재(latent) 기하 특징이 착용자 motion을 복원하는 diffusion 모델을 조건화한다. 이후 폐루프(closed-loop) kinematic 피드백 단계가 재구성된 장면 기하를 보존하면서 카메라 헤드를 추가로 정제한다. 학습과 평가를 위해 EgoExo4D에서 자기중심 영상, sparse metric 장면 기하, 카메라 궤적, 전신 motion 어노테이션을 정렬하여 EE4D-JSM을 구축했다. 실험 결과 RESELF는 깊이 추정, 카메라 추적, 전신 motion 추정 각 개별 과제용 최신(state-of-the-art) 방법들보다 우수한 성능을 보였다. 코드, 모델, 데이터셋은 https://ka1guan.github.io/RESELF/ 에서 제공될 예정이다.

원문 초록

Complete 3D perception from egocentric video requires recovering the surrounding scene and the wearer's full-body motion in a shared metric frame. Existing methods typically address scene reconstruction and motion estimation separately: scene reconstruction methods ignore the wearer, whereas motion estimation methods lack explicit scene geometry and often depend on external trajectories. Joint recovery is challenging because the two tasks exhibit asymmetric visibility and require different prediction paradigms. The largely visible scene supports deterministic geometric regression, whereas the severely occluded body requires generative motion inference. We therefore propose RESELF (REconstructing the Scene and the sELF), a unified framework that couples deterministic metric geometry reconstruction with geometry-conditioned motion generation. RESELF adapts a geometry foundation model pre-trained on large-scale exocentric data to egocentric video using frame-wise scale and relative-pose consistency objectives. The resulting camera trajectory and latent geometric features condition a diffusion model that recovers the wearer's motion. A subsequent closed-loop kinematic feedback stage further refines the camera head while preserving the reconstructed scene geometry. To support training and evaluation, we curate EE4D-JSM from EgoExo4D by aligning egocentric video, sparse metric scene geometry, camera trajectories, and full-body motion annotations. Experiments show that RESELF outperforms state-of-the-art methods designed for the individual tasks across depth estimation, camera tracking, and full-body motion estimation. Code, models, and datasets will be available at https://ka1guan.github.io/RESELF/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.01276v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.