arXiv:2611.22151v1 cs.CV

EgoHandWAM: 1인칭 세계 행동 모델링에서 손 움직임의 역할 분석

EgoHandWAM: Probing the Role of Hand Motion in Egocentric World Action Modeling

Kailin Wang, Haoxiang Jie, Yaoyuan Yan, Zhiyou Heng, Zhaosong Li

제출 2026-11-18

한국어 초록

손 움직임으로 1인칭 카메라에 다음에 무엇이 보일지 얼마나 알 수 있을까? EgoHandWAM은 현재 영상과 최근 손 상태에서 손목과 손끝의 3차원 궤적 및 미래 시각 특징을 예측한다. 가중치를 고정한 DINOv2 인코더를 사용해 EgoDex의 시계열 구간 751,065개로 학습한다. 개발용으로 분리한 세션에서 행동 전용 모델은 손이 그대로 있다고 가정한 예측 대비 2초 후 손목 종점 오차를 60.26mm에서 56.48mm로 줄였다. 다만 손을 멀리 뻗을 때의 이동 거리는 여전히 과소 추정한다. 미래 특징에 대한 지도 신호를 추가해도 궤적 정확도는 거의 같았다. 기록된 손 상태 이력을 제공하면 시각 예측 헤드의 Smooth L1 오차는 현재 특징을 그대로 복사할 때보다 1.32% 감소한다. 이력을 세션 간에 섞으면 이 개선 효과가 사라진다. 별도의 네 과제 분석에서는 관측 문맥과 미래 추적 유효성 마스크에 실제로 기록된 미래 변위를 더하면 시각 특징 오차가 3.93% 줄어든다. 마스크만 넣으면 개선 폭이 작으며, 동일한 관측에서 예측한 궤적을 추가하는 효과도 작다. RoboTwin 시뮬레이션 과제 두 개에서 보조 로봇 예시 배치를 대응하는 사람 예시로 대체했을 때, 세 학습 시드에 걸쳐 과제 성공률이 일관되게 높아지지는 않았다.

원문 초록

How much does hand motion tell us about what a first-person camera will see next? EgoHandWAM forecasts three-dimensional wrist and fingertip trajectories and a future visual feature from the current image and recent hand states. We train on 751,065 EgoDex windows using a frozen DINOv2 encoder. On held-out development sessions, the action-only model reduces two-second wrist endpoint error from 60.26 to 56.48~mm relative to a stationary forecast. It still underestimates long reaches. Adding future-feature supervision gives nearly identical trajectory accuracy. With the recorded hand history, the visual head reduces smooth L1 error by 1.32\% relative to copying the current feature. Shuffling histories across sessions erases this gain. In a separate four-task probe, adding recorded future displacements to observed context and future tracking-validity masks reduces visual-feature error by 3.93\%. Masks alone give little improvement. A trajectory predicted from the same observations adds little. On two simulated RoboTwin tasks, substituting aligned human examples for an auxiliary batch of robot examples gives no consistent increase in task success across three training seeds.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22151v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.