PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00451v1cs.CV

PACT: 비디오로부터 인간 포즈, 접촉 및 힘의 엔드투엔드 학습

PACT: End-to-End Learning of Human Pose, Contacts, and Forces from Video

인간의 동작, 환경과의 접촉, 상호작용 힘(interaction force)은 공통된 물리 법칙의 지배를 받지만, 기존 접근 방식들은 일반적으로 시각적 포즈 재구성(pose reconstruction)과 접촉 및 힘 추정을 분리하여 처리합니다. 이러한 분리는 공동 추론(joint reasoning)을 제한하고 단계 간에 오차가 전파될 수 있습니다. 본 연구에서는 단안 비디오(monocular video)로부터 인간의 포즈, 접촉 및 접촉력을 공동으로 추정하도록 학습하는 엔드투엔드 모델인 PACT를 소개합니다. 제안하는 접근 방식은 인간 재구성 파운데이션 모델에 학습 가능한 접촉-힘 토큰(token)과 시각적 특징을 월드 좌표계 동작과 통합하는 시계열 트랜스포머(temporal transformer)를 결합하여 확장합니다. 공동 예측 헤드는 인간의 포즈를 정제하고 접촉 및 힘을 추정하며, 물리 기반 감독(physics-based supervision)을 통해 재구성된 동작과 상호작용 힘 간의 일관성을 유도합니다. 힘 주석(force annotation)의 희소성 문제를 해결하기 위해, 접촉 라벨링과 물리 기반 동작 및 힘 최적화를 결합한 데이터 주석 파이프라인을 개발하여 합성 및 실제 비디오로부터 학습 감독 데이터를 생성합니다. 또한 클라이밍 비디오와 힘 센서로부터 획득한 상응하는 실측(ground-truth) 접촉력으로 구성된 실제 환경 클라이밍 벤치마크 ForceWall을 소개합니다. 실험 결과, 본 모델은 최첨단 접촉 및 힘 추정 성능을 입증하며, 단계별 재구성 방식을 능가하고 학습 분포를 벗어난 상호작용으로도 일반화됨을 보여줍니다. 이러한 결과는 엔드투엔드 공동 학습이 비디오로부터 인간 동작과 물리적 상호작용을 복원하는 효과적인 접근 방식임을 뒷받침합니다.