FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처
FlowHMR: Physically Plausible Motion Capture from Video
한국어 초록
본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.
원문 초록
We present FlowHMR, a framework for recovering physically plausible global 3D human motion from monocular video. Previous learning-based methods typically regress human motion directly from video and train the network with geometric supervision. However, recovering human motion from monocular video is inherently ambiguous in depth, and direct regression tends to collapse toward an averaged solution. Moreover, the recovered motions are not guaranteed to be physically plausible, so physics-based tracking of them often fails. To address these challenges, we formulate video motion capture as a video-conditioned motion generation problem and first pretrain a flow matching model for this task. Given an input video, the pretrained model generates diverse motion candidates, but not all of them are faithful to the video or physically trackable. We therefore post-train the model using Group Relative Policy Optimization (GRPO) with two rewards. A fidelity reward encourages consistency with the input video. A tracking reward favors motions that a physics-based controller can track successfully. Together, these rewards shift the model's output preference, so the post-trained model stays faithful to the input video while producing more physically plausible motion. We further introduce Wild-4K, a large and diverse dataset of about 4K internet videos, for evaluating human motion recovery in the wild. Qualitative and quantitative experiments on Wild-4K show that our method outperforms state-of-the-art methods in overall motion fidelity and achieves a physical tracking success rate of 82.47%, compared with 62.82% for the strongest baseline, GVHMR.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PACT: 비디오로부터 인간 포즈, 접촉 및 힘의 엔드투엔드 학습
PACT: End-to-End Learning of Human Pose, Contacts, and Forces from Video
인간의 동작, 환경과의 접촉, 상호작용 힘(interaction force)은 공통된 물리 법칙의 지배를 받지만, 기존 접근 방식들은 일반적으로 시각적 포즈 재구성(pose reconstruction)과 접촉 및 힘 추정을 분리하여 처리합니다. 이러한 분리는 공동 추론(joint reasoning)을 제한하고 단계 간에 오차가 전파될 수 있습니다. 본 연구에서는 단안 비디오(monocular video)로부터 인간의 포즈, 접촉 및 접촉력을 공동으로 추정하도록 학습하는 엔드투엔드 모델인 PACT를 소개합니다. 제안하는 접근 방식은 인간 재구성 파운데이션 모델에 학습 가능한 접촉-힘 토큰(token)과 시각적 특징을 월드 좌표계 동작과 통합하는 시계열 트랜스포머(temporal transformer)를 결합하여 확장합니다. 공동 예측 헤드는 인간의 포즈를 정제하고 접촉 및 힘을 추정하며, 물리 기반 감독(physics-based supervision)을 통해 재구성된 동작과 상호작용 힘 간의 일관성을 유도합니다. 힘 주석(force annotation)의 희소성 문제를 해결하기 위해, 접촉 라벨링과 물리 기반 동작 및 힘 최적화를 결합한 데이터 주석 파이프라인을 개발하여 합성 및 실제 비디오로부터 학습 감독 데이터를 생성합니다. 또한 클라이밍 비디오와 힘 센서로부터 획득한 상응하는 실측(ground-truth) 접촉력으로 구성된 실제 환경 클라이밍 벤치마크 ForceWall을 소개합니다. 실험 결과, 본 모델은 최첨단 접촉 및 힘 추정 성능을 입증하며, 단계별 재구성 방식을 능가하고 학습 분포를 벗어난 상호작용으로도 일반화됨을 보여줍니다. 이러한 결과는 엔드투엔드 공동 학습이 비디오로부터 인간 동작과 물리적 상호작용을 복원하는 효과적인 접근 방식임을 뒷받침합니다.
AgentSTAR: 단안 영상으로부터의 에이전트 기반 형상 추적 및 재구성
AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos
본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.
TOM-GS: 정적 3D 가우시안의 시간적 불투명도 변조를 통한 편집 가능한 비디오 표현
TOM-GS: Editable Video Representation via Temporal Opacity Modulation of Static 3D Gaussians
암시적 신경 표현(INR)과 동적 3D 가우시안 스플래팅(3DGS)은 비디오 처리에서 인상적인 결과를 달성하지만, 쉽게 편집할 수 있는 표현을 만들기에는 종종 부족하다. 최근 방법들은 복잡한 공간 변형이나 접힌 분포를 도입하여 이를 해결하지만, 이는 최적화를 제약하고 하위 편집 작업의 유연성을 줄인다. 본 논문에서는 복잡한 변형 대신 연속적인 시간적 불투명도 공식을 갖춘 일반적인 3D 가우시안을 사용하는 편집 가능한 비디오 표현인 TOM-GS를 제안한다. 각 가우시안의 불투명도에 학습 가능한 시간적 평균과 스케일을 할당함으로써, 모델은 정적 3D 공간 구성 요소가 장면에서 부드럽게 나타났다 사라지도록 한다. 견고한 기성 포즈 추정에 기반하여, 우리 접근법은 정적 공간 기하학을 유지하며 자연스럽게 다양한 수동 및 물리 기반 편집을 지원한다. TOM-GS는 시각적 충실도에서 기존 편집 가능한 비디오 표현을 능가하며, 표준 3D 가우시안에 의존함으로써 기존 3D 편집 도구와의 원활한 호환성을 보장한다.
가림이 있는 대규모 장면에서의 다중 시점 다중 인물 인간 메시 복원
Multiview Multi-Person Human Mesh Recovery Under Large Scenes with Occlusions
인간 메시 복원(HMR)은 이미지로부터 3D 인간 메시를 복원하는 것을 목표로 한다. 기존 HMR 벤치마크와 방법의 대부분은 단일 시점에서의 다중 인물 재구성 또는 다중 시점에서의 단일 인물 재구성 중 하나에 초점을 맞추며, 이 경우 대상자 수와 장면 규모가 상대적으로 제한적이다. 이러한 설정은 대규모 장면과 심각한 인물 간 가림이 있는 실세계 응용에는 부족하다. 이 한계를 해결하기 위해, 우리는 MVMP-HMR이라 명명한 다중 시점 다중 인물 HMR을 위한 대규모 합성 벤치마크를 제안한다. 제안된 데이터셋은 최대 50개의 카메라 시점과 30명의 상호작용하는 인물을 포함하는 15개의 복잡한 장면으로 구성되며, 넓은 공간적 커버리지와 심각한 가림을 특징으로 하여 인간 메시 복원의 난이도를 크게 높인다. 이 벤치마크를 바탕으로, 우리는 MVMP-HMR 모델이라 불리는 다중 시점 다중 인물 전신 인간 메시 복원 모델을 추가로 제안한다. 이 모델은 먼저 다중 시점 특징을 장면 수준의 3D 특징 볼륨으로 융합한 다음, 3D 포즈 추정 네트워크가 예측한 골반 관절을 활용하여 3D 특징 볼륨으로부터 인물별 쿼리를 추출한다. 이러한 인간 쿼리는 3D 특징 볼륨과 교차 어텐션(cross-attention)을 수행하고 통합되어 각 인물의 3D 메시를 디코딩한다. 또한, 심각한 가림 하에서의 방향 및 포즈 모호성을 완화하기 위해 방향 손실(orientation loss)과 3D 관절 밀도 손실(3D joint density loss)이라는 두 가지 새로운 손실을 도입한다. 실험 결과, 기존 최신 HMR 방법들은 제안된 MVMP-HMR 벤치마크에서 어려움을 겪는 반면, 우리 방법은 심각한 가림이 있는 대규모 장면에서 기존 SOTA보다 일관되게 우수한 성능을 보인다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Project page: https://flowhmr.github.io/ Code: https://github.com/flowhmr/flowhmr