arXiv:2610.00451v1 cs.CV

PACT: 비디오로부터 인간 포즈, 접촉 및 힘의 엔드투엔드 학습

PACT: End-to-End Learning of Human Pose, Contacts, and Forces from Video

Rikhat Akizhanov, Yangsong Zhang, Nikolai Kaliazin, Peter Wolf, Yoshihiko Nakamura, Pascal Fua, Fabio Pizzati, Ivan Laptev

제출 2026-09-30

저자 비고

arXiv Comments

31 pages, 12 figures. Project page: https://rihat99.github.io/PACT/

한국어 초록

인간의 동작, 환경과의 접촉, 상호작용 힘(interaction force)은 공통된 물리 법칙의 지배를 받지만, 기존 접근 방식들은 일반적으로 시각적 포즈 재구성(pose reconstruction)과 접촉 및 힘 추정을 분리하여 처리합니다. 이러한 분리는 공동 추론(joint reasoning)을 제한하고 단계 간에 오차가 전파될 수 있습니다. 본 연구에서는 단안 비디오(monocular video)로부터 인간의 포즈, 접촉 및 접촉력을 공동으로 추정하도록 학습하는 엔드투엔드 모델인 PACT를 소개합니다. 제안하는 접근 방식은 인간 재구성 파운데이션 모델에 학습 가능한 접촉-힘 토큰(token)과 시각적 특징을 월드 좌표계 동작과 통합하는 시계열 트랜스포머(temporal transformer)를 결합하여 확장합니다. 공동 예측 헤드는 인간의 포즈를 정제하고 접촉 및 힘을 추정하며, 물리 기반 감독(physics-based supervision)을 통해 재구성된 동작과 상호작용 힘 간의 일관성을 유도합니다. 힘 주석(force annotation)의 희소성 문제를 해결하기 위해, 접촉 라벨링과 물리 기반 동작 및 힘 최적화를 결합한 데이터 주석 파이프라인을 개발하여 합성 및 실제 비디오로부터 학습 감독 데이터를 생성합니다. 또한 클라이밍 비디오와 힘 센서로부터 획득한 상응하는 실측(ground-truth) 접촉력으로 구성된 실제 환경 클라이밍 벤치마크 ForceWall을 소개합니다. 실험 결과, 본 모델은 최첨단 접촉 및 힘 추정 성능을 입증하며, 단계별 재구성 방식을 능가하고 학습 분포를 벗어난 상호작용으로도 일반화됨을 보여줍니다. 이러한 결과는 엔드투엔드 공동 학습이 비디오로부터 인간 동작과 물리적 상호작용을 복원하는 효과적인 접근 방식임을 뒷받침합니다.

원문 초록

Human motion, environmental contacts, and interaction forces are governed by common physical laws, yet existing approaches typically separate visual pose reconstruction from contact and force estimation. This separation limits joint reasoning and can propagate errors between stages. We introduce PACT, an end-to-end model that jointly learns to estimate human pose, contacts and contact forces from monocular video. Our approach augments a human reconstruction foundation model with learnable contact-force tokens and a temporal transformer that integrates visual features with world-space motion. Joint prediction heads refine human poses and estimate contacts and forces, while physics-based supervision encourages consistency between the reconstructed motion and interaction forces. To address the scarcity of force annotations, we develop a data annotation pipeline that combines contact labeling with physics-based motion and force optimization, producing training supervision from synthetic and real-world videos. We also introduce a real-world climbing benchmark ForceWall with climbing videos and corresponding ground-truth contact forces obtained from the force sensors. Experiments demonstrate state-of-the-art contact and force estimation, outperforming staged reconstruction approaches and generalizing to interactions beyond the training distribution. These results support end-to-end joint learning as an effective approach to recovering human motion and physical interactions from video.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00451v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03691v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Human Mesh Recovery

FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처

FlowHMR: Physically Plausible Motion Capture from Video

본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.

arXiv:2607.24302v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction, Human Mesh Recovery

가림이 있는 대규모 장면에서의 다중 시점 다중 인물 인간 메시 복원

Multiview Multi-Person Human Mesh Recovery Under Large Scenes with Occlusions

인간 메시 복원(HMR)은 이미지로부터 3D 인간 메시를 복원하는 것을 목표로 한다. 기존 HMR 벤치마크와 방법의 대부분은 단일 시점에서의 다중 인물 재구성 또는 다중 시점에서의 단일 인물 재구성 중 하나에 초점을 맞추며, 이 경우 대상자 수와 장면 규모가 상대적으로 제한적이다. 이러한 설정은 대규모 장면과 심각한 인물 간 가림이 있는 실세계 응용에는 부족하다. 이 한계를 해결하기 위해, 우리는 MVMP-HMR이라 명명한 다중 시점 다중 인물 HMR을 위한 대규모 합성 벤치마크를 제안한다. 제안된 데이터셋은 최대 50개의 카메라 시점과 30명의 상호작용하는 인물을 포함하는 15개의 복잡한 장면으로 구성되며, 넓은 공간적 커버리지와 심각한 가림을 특징으로 하여 인간 메시 복원의 난이도를 크게 높인다. 이 벤치마크를 바탕으로, 우리는 MVMP-HMR 모델이라 불리는 다중 시점 다중 인물 전신 인간 메시 복원 모델을 추가로 제안한다. 이 모델은 먼저 다중 시점 특징을 장면 수준의 3D 특징 볼륨으로 융합한 다음, 3D 포즈 추정 네트워크가 예측한 골반 관절을 활용하여 3D 특징 볼륨으로부터 인물별 쿼리를 추출한다. 이러한 인간 쿼리는 3D 특징 볼륨과 교차 어텐션(cross-attention)을 수행하고 통합되어 각 인물의 3D 메시를 디코딩한다. 또한, 심각한 가림 하에서의 방향 및 포즈 모호성을 완화하기 위해 방향 손실(orientation loss)과 3D 관절 밀도 손실(3D joint density loss)이라는 두 가지 새로운 손실을 도입한다. 실험 결과, 기존 최신 HMR 방법들은 제안된 MVMP-HMR 벤치마크에서 어려움을 겪는 반면, 우리 방법은 심각한 가림이 있는 대규모 장면에서 기존 SOTA보다 일관되게 우수한 성능을 보인다.

arXiv:2609.13504v3cs.CV공통 태그 Pose Estimation, 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2607.13472v2cs.RO공통 태그 Pose Estimation, 3D Reconstruction

EgoHTR: 자아시점 4D 인간 지형 통과 시연

EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal

비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.

arXiv:2610.15734v1cs.CV공통 태그 Pose Estimation, 3D Reconstruction

ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기

ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning

본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.