FactorizedHMR: 비디오 휴먼 메시 복원을 위한 하이브리드 프레임워크
FactorizedHMR: A Hybrid Framework for Video Human Mesh Recovery
한국어 초록
휴먼 메시 복원(Human Mesh Recovery, HMR)은 본질적으로 모호성을 갖는다: 가림(occlusion)이나 깊이 정보가 약한 조건에서는 동일한 이미지 증거를 여러 개의 3D 신체가 동시에 설명할 수 있다. 이러한 모호성은 신체 전반에 걸쳐 균일하지 않은데, 몸통(torso) 자세와 루트(root) 구조는 비교적 잘 제약되는 경우가 많은 반면, 팔과 다리 같은 말단 관절은 더 큰 불확실성을 보인다. 이러한 관찰을 바탕으로, 본 논문은 이 두 영역을 서로 다르게 다루는 2단계 프레임워크인 FactorizedHMR을 제안한다. 먼저 결정론적 회귀 모듈이 안정적인 몸통-루트 앵커를 복원하고, 이어서 확률적 플로우 매칭(flow-matching) 모듈이 나머지 비(非)몸통 관절을 완성한다. 이 완성 과정을 신뢰할 수 있게 만들기 위해, 복합 타겟 표현과 기하 인지 지도 학습, 특징 인지 분류기 없는 가이던스(classifier-free guidance)를 결합하여, 몸통-루트 앵커를 보존하면서 모호성이 큰 관절에 대한 단일 참조 복원 성능을 개선한다. 또한 다양한 시점에서 이미지-카메라-모션 짝 지도 신호를 제공하는 합성 데이터 파이프라인을 소개한다. 카메라 공간 및 월드 공간 벤치마크 전반에서, FactorizedHMR은 강력한 베이스라인들과 경쟁력 있는 성능을 유지하며, 가림이 심한 복원과 드리프트에 민감한 월드 공간 지표에서 가장 뚜렷한 성능 향상을 보인다.
원문 초록
Human Mesh Recovery (HMR) is fundamentally ambiguous: under occlusion or weak depth cues, multiple 3D bodies can explain the same image evidence. This ambiguity is not uniform across the body, as torso pose and root structure are often relatively well constrained, whereas distal articulations such as the arms and legs are more uncertain. Building on this observation, we propose FactorizedHMR, a two-stage framework that treats these two regimes differently. A deterministic regression module first recovers a stable torso-root anchor, and a probabilistic flow-matching module then completes the remaining non-torso articulation. To make this completion reliable, we combine a composite target representation with geometry-aware supervision and feature-aware classifier-free guidance, preserving the torso-root anchor while improving single-reference recovery of ambiguity-prone articulation. We also introduce a synthetic data pipeline that provides the paired image-camera-motion supervision under diverse viewpoints. Across camera-space and world-space benchmarks, FactorizedHMR remains competitive with strong baselines, with the clearest gains in occlusion-heavy recovery and drift-sensitive world-space metrics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처
FlowHMR: Physically Plausible Motion Capture from Video
본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.
PACT: 비디오로부터 인간 포즈, 접촉 및 힘의 엔드투엔드 학습
PACT: End-to-End Learning of Human Pose, Contacts, and Forces from Video
인간의 동작, 환경과의 접촉, 상호작용 힘(interaction force)은 공통된 물리 법칙의 지배를 받지만, 기존 접근 방식들은 일반적으로 시각적 포즈 재구성(pose reconstruction)과 접촉 및 힘 추정을 분리하여 처리합니다. 이러한 분리는 공동 추론(joint reasoning)을 제한하고 단계 간에 오차가 전파될 수 있습니다. 본 연구에서는 단안 비디오(monocular video)로부터 인간의 포즈, 접촉 및 접촉력을 공동으로 추정하도록 학습하는 엔드투엔드 모델인 PACT를 소개합니다. 제안하는 접근 방식은 인간 재구성 파운데이션 모델에 학습 가능한 접촉-힘 토큰(token)과 시각적 특징을 월드 좌표계 동작과 통합하는 시계열 트랜스포머(temporal transformer)를 결합하여 확장합니다. 공동 예측 헤드는 인간의 포즈를 정제하고 접촉 및 힘을 추정하며, 물리 기반 감독(physics-based supervision)을 통해 재구성된 동작과 상호작용 힘 간의 일관성을 유도합니다. 힘 주석(force annotation)의 희소성 문제를 해결하기 위해, 접촉 라벨링과 물리 기반 동작 및 힘 최적화를 결합한 데이터 주석 파이프라인을 개발하여 합성 및 실제 비디오로부터 학습 감독 데이터를 생성합니다. 또한 클라이밍 비디오와 힘 센서로부터 획득한 상응하는 실측(ground-truth) 접촉력으로 구성된 실제 환경 클라이밍 벤치마크 ForceWall을 소개합니다. 실험 결과, 본 모델은 최첨단 접촉 및 힘 추정 성능을 입증하며, 단계별 재구성 방식을 능가하고 학습 분포를 벗어난 상호작용으로도 일반화됨을 보여줍니다. 이러한 결과는 엔드투엔드 공동 학습이 비디오로부터 인간 동작과 물리적 상호작용을 복원하는 효과적인 접근 방식임을 뒷받침합니다.
AgentSTAR: 단안 영상으로부터의 에이전트 기반 형상 추적 및 재구성
AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos
본 연구에서는 에이전트 기반 분석-합성(agentic analysis-by-synthesis) 방식을 통해 영상으로부터 형상을 재구성하고 추적하는 방법을 제안한다. 조밀한 픽셀 대응관계를 먼저 추정한 뒤 이를 바탕으로 물체의 움직임을 복원하는 기존 방법들과 달리, 본 방법은 기하학적 구조와 운동학적 구조를 포함한 구조화된 3D 물체 모델을 추론하고, 이 모델을 사용하여 시간에 따른 물체의 추적(track) 추정치를 최적화한다. 최적화 루프에서 비전-언어 모델(VLM) 에이전트는 렌더링-비교(render-and-compare) 루프를 통해 형상 또는 일반화된 자세(pose)를 반복적으로 정제하며, 개략적 시각적 추론(coarse visual reasoning)과 수치적 자세 최적화를 결합하여 정밀한 상태 추정을 수행한다. 이러한 구조화된 정식화(formulation) 덕분에 본 방법은 픽셀 매칭 목적함수에 의존하지 않고도 큰 움직임, 관절 운동(articulation), 심한 가림(occlusion)을 거치며 추적할 수 있다. 정량적으로, ARCTIC 데이터셋에서 본 방법은 관절형 물체(articulated object)에 대한 최신 3D 포인트 추적(point-tracking) 베이스라인들을 크게 능가하며, HOT3D에서는 평가된 모든 강체(rigid-object) 추적 베이스라인을 능가한다.
가림이 있는 대규모 장면에서의 다중 시점 다중 인물 인간 메시 복원
Multiview Multi-Person Human Mesh Recovery Under Large Scenes with Occlusions
인간 메시 복원(HMR)은 이미지로부터 3D 인간 메시를 복원하는 것을 목표로 한다. 기존 HMR 벤치마크와 방법의 대부분은 단일 시점에서의 다중 인물 재구성 또는 다중 시점에서의 단일 인물 재구성 중 하나에 초점을 맞추며, 이 경우 대상자 수와 장면 규모가 상대적으로 제한적이다. 이러한 설정은 대규모 장면과 심각한 인물 간 가림이 있는 실세계 응용에는 부족하다. 이 한계를 해결하기 위해, 우리는 MVMP-HMR이라 명명한 다중 시점 다중 인물 HMR을 위한 대규모 합성 벤치마크를 제안한다. 제안된 데이터셋은 최대 50개의 카메라 시점과 30명의 상호작용하는 인물을 포함하는 15개의 복잡한 장면으로 구성되며, 넓은 공간적 커버리지와 심각한 가림을 특징으로 하여 인간 메시 복원의 난이도를 크게 높인다. 이 벤치마크를 바탕으로, 우리는 MVMP-HMR 모델이라 불리는 다중 시점 다중 인물 전신 인간 메시 복원 모델을 추가로 제안한다. 이 모델은 먼저 다중 시점 특징을 장면 수준의 3D 특징 볼륨으로 융합한 다음, 3D 포즈 추정 네트워크가 예측한 골반 관절을 활용하여 3D 특징 볼륨으로부터 인물별 쿼리를 추출한다. 이러한 인간 쿼리는 3D 특징 볼륨과 교차 어텐션(cross-attention)을 수행하고 통합되어 각 인물의 3D 메시를 디코딩한다. 또한, 심각한 가림 하에서의 방향 및 포즈 모호성을 완화하기 위해 방향 손실(orientation loss)과 3D 관절 밀도 손실(3D joint density loss)이라는 두 가지 새로운 손실을 도입한다. 실험 결과, 기존 최신 HMR 방법들은 제안된 MVMP-HMR 벤치마크에서 어려움을 겪는 반면, 우리 방법은 심각한 가림이 있는 대규모 장면에서 기존 SOTA보다 일관되게 우수한 성능을 보인다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026