TOMAS: 자기 중심 손 동작 예측을 위한 위상 인식 조작 모델링 및 적응형 단계화
TOMAS: Topology-Aware Operation Modeling and Adaptive Staging for Egocentric Hand Forecasting
한국어 초록
자기 중심 비디오로부터 미래의 손 움직임을 예측하는 것은 인간의 의도와 손-물체 상호작용을 이해하는 데 중요한 역할을 한다. 그러나 동일한 물체와 상호작용하더라도 조작 의도가 다르면 손 궤적이 크게 달라질 수 있다. 기존 방법은 이러한 조작 의존적 움직임 패턴을 포착하기 위한 관절형 손 움직임과 물체 의미 간의 내재적 관계를 충분히 탐구하지 못했다. 이에 본 논문은 자기 중심 손 동작 예측을 위한 위상 인식 조작 모델링 및 적응형 단계화 프레임워크인 TOMAS를 제안한다. 구체적으로, 손 골격 구조와 관절 동역학을 물체 의미 및 공간 관계와 연관시켜 잠재적 상호작용 대상과 잠재 조작 동작을 함께 추론하는 위상 인식 손-물체 추론 메커니즘을 개발한다. 그 결과로 얻은 물체-조작 표현은 각 데이터셋에서 이용 가능한 주석에 맞게 지도 방식을 조정하여 미래 손 궤적 예측을 위한 상호작용 조건을 제공한다. 나아가 미래 손 움직임을 학습 가능한 시간 경계를 갖는 순서화된 잠재 단계로 구성하는 적응형 단계화 메커니즘을 도입한다. 이후 단계별 기하학적 하위 목표를 반영하여 기저의 조작 패턴에 따라 궤적 정제를 유도한다. 공개된 여러 벤치마크에서의 실험 결과는 TOMAS가 다차원 및 다중 대상 손 동작 예측에서 최고 수준의 성능을 달성함을 보여 준다.
원문 초록
Forecasting future hand movements from egocentric videos plays an important role in understanding human intentions and hand-object interactions. However, different manipulation intentions can lead to substantially different hand trajectories even when interacting with the same object. Existing methods have not sufficiently explored the intrinsic relationships between articulated hand movements and object semantics to capture such operation-dependent motion patterns. Therefore, we propose TOMAS, a topology-aware operation modeling and adaptive staging framework for egocentric hand forecasting. Specifically, we develop a topology-aware hand-object reasoning mechanism that associates hand skeletal structures and articulation dynamics with object semantics and spatial relationships to jointly infer potential interaction targets and latent manipulation operations. The resulting object-operation representations provide interaction conditions for future hand trajectory prediction, with supervision adapted to the annotations available in each dataset. Furthermore, we introduce an adaptive staging mechanism that organizes future hand movements into ordered latent stages with learnable temporal boundaries. Stage-specific geometric subgoals are then incorporated to guide trajectory refinement according to the underlying manipulation patterns. Experimental results on multiple publicly available benchmarks demonstrate that TOMAS achieves state-of-the-art performance in multi-dimensional and multi-target hand motion forecasting.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23970v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.