arXiv:2609.04958v1 cs.CV

MINT: 확장 가능한 에고센트릭 파이프라인 지도(supervision)를 통한 월드 공간 카메라 및 손 동작 추정 통합 모델

MINT: A Unified Model for World-Space Camera and Hand Motion Estimation from Scalable Egocentric Pipeline Supervision

Zijie Zhu, Weiren Cai, Yizhou Wang, Zhenjie Yang, Yide Liu, Jiahao Chen, Guanqi He

제출 2026-09-04

한국어 초록

에고센트릭(egocentric) 비디오로부터 월드 좌표계의 카메라 및 손 동작을 복원하는 것은 활동 이해, 로봇 학습, 증강현실을 위한 핵심 역량입니다. 기존 시스템은 일반적으로 이 문제를 카메라 모션, 깊이, 손 복원, 궤적 정제라는 별도의 단계로 분해하며, 이로 인해 상당한 계산 오버헤드가 발생하고 카메라와 손 동작의 결합 모델링이 불가능합니다. 본 논문은 에고센트릭 RGB 비디오로부터 월드 공간의 완전한 양손 궤적을 직접 생성하는 최초의 파운데이션 모델인 MINT(Minting IN-the-Wild Trajectories)를 소개합니다. MINT는 하나의 공유된 시공간 비디오 표현으로부터 카메라 궤적, 카메라 프레임 기준 손 상태, 프레임별 손 존재 여부를 함께 예측하고, 이후 명시적인 좌표 변환을 통해 월드 공간의 손 동작을 생성합니다. 이러한 모델을 대규모로 학습하는 것은 월드 공간의 카메라와 손 어노테이션이 쌍으로 갖추어진 데이터가 드물기 때문에 어렵습니다. 이에 우리는 공개된 대규모 에고센트릭 비디오 컬렉션을 구조화된 카메라-손 궤적 지도(supervision)로 변환하는 오픈소스 레이블링 파이프라인 EGOPIPELINE을 개발했습니다. MINT는 먼저 이러한 대규모 의사 레이블(pseudo-label)로 사전학습(pre-training)한 뒤, 소규모의 고품질 결합 어노테이션 세트로 파인튜닝(fine-tuning)합니다. 공개 벤치마크 전반에서 MINT는 월드 공간 손 궤적 정확도에서 [xxx]의 향상, 카메라 궤적 추정에서 [xxx]의 향상을 달성하였으며, 레이블링 파이프라인 대비 종단 간(end-to-end) 궤적 생성 속도가 [xxx] 더 빠르고, 보지 못한 에고센트릭 데이터셋에도 제로샷(zero-shot)으로 일반화됩니다. 우리는 모델, 학습 및 추론 코드, 레이블링 파이프라인, 그리고 엄선된 1,021시간 분량의 에고센트릭 궤적 데이터셋을 공개합니다.

원문 초록

Recovering camera and hand motion in world coordinates from egocentric video is a key capability for activity understanding, robot learning, and augmented reality. Existing systems typically decompose this problem into separate stages for camera motion, depth, hand reconstruction, and trajectory refinement, resulting in substantial computational overhead and preventing the joint modeling of camera and hand motion. We introduce MINT (Minting IN-the-Wild Trajectories), the first foundation model that directly produces complete world-space two-hand trajectories from ego-centric RGB video. From a single shared spatiotemporal video representation, MINT jointly predicts the camera trajectory, camera-frame hand states, and per-frame hand presence, and then produces world-space hand motion via explicit coordinate transformations. Training such a model at scale is challenging, since paired world-space camera and hand annotations are scarce. We therefore develop an open-source labeling EGOPIPELINE that converts large collections of public egocentric videos into structured camera-and-hand trajectory supervision. MINT is first pretrained on these large-scale pseudo-labels and then fine-tuned on a small set of high-quality joint annotations. Across public benchmarks, MINT achieves [xxx] improvement in world-space hand trajectory accuracy, [xxx] improvement in camera trajectory estimation, and [xxx] faster end-to-end trajectory generation than the labeling pipeline, while generalizing zero-shot to unseen egocentric datasets. We release the model, training and inference code, labeling pipeline, and a curated 1,021-hour egocentric trajectory dataset.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.04958v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.