arXiv:2309.16189

Cloth2Body: Generating 3D Human Body Mesh from 2D Clothing

Lu Dai, Liqian Ma, Shenhan Qian, Hao liu, Ziwei Liu, Hui Xiong

제출 2023-09-28

원문 초록

In this paper, we define and study a new Cloth2Body problem which has a goal of generating 3D human body meshes from a 2D clothing image. Unlike the existing human mesh recovery problem, Cloth2Body needs to address new and emerging challenges raised by the partial observation of the input and the high diversity of the output. Indeed, there are three specific challenges. First, how to locate and pose human bodies into the clothes. Second, how to effectively estimate body shapes out of various clothing types. Finally, how to generate diverse and plausible results from a 2D clothing image. To this end, we propose an end-to-end framework that can accurately estimate 3D body mesh parameterized by pose and shape from a 2D clothing image. Along this line, we first utilize Kinematics-aware Pose Estimation to estimate body pose parameters. 3D skeleton is employed as a proxy followed by an inverse kinematics module to boost the estimation accuracy. We additionally design an adaptive depth trick to align the re-projected 3D mesh better with 2D clothing image by disentangling the effects of object size and camera extrinsic. Next, we propose Physics-informed Shape Estimation to estimate body shape parameters. 3D shape parameters are predicted based on partial body measurements estimated from RGB image, which not only improves pixel-wise human-cloth alignment, but also enables flexible user editing. Finally, we design Evolution-based pose generation method, a skeleton transplanting method inspired by genetic algorithms to generate diverse reasonable poses during inference. As shown by experimental results on both synthetic and real-world data, the proposed framework achieves state-of-the-art performance and can effectively recover natural and diverse 3D body meshes from 2D images that align well with clothing.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03691v1cs.CV공통 태그 Pose Estimation, Human Mesh Recovery

FlowHMR: 비디오로부터 물리적으로 타당한 모션 캡처

FlowHMR: Physically Plausible Motion Capture from Video

본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.

arXiv:2610.00451v1cs.CV공통 태그 Pose Estimation, Human Mesh Recovery

PACT: 비디오로부터 인간 포즈, 접촉 및 힘의 엔드투엔드 학습

PACT: End-to-End Learning of Human Pose, Contacts, and Forces from Video

인간의 동작, 환경과의 접촉, 상호작용 힘(interaction force)은 공통된 물리 법칙의 지배를 받지만, 기존 접근 방식들은 일반적으로 시각적 포즈 재구성(pose reconstruction)과 접촉 및 힘 추정을 분리하여 처리합니다. 이러한 분리는 공동 추론(joint reasoning)을 제한하고 단계 간에 오차가 전파될 수 있습니다. 본 연구에서는 단안 비디오(monocular video)로부터 인간의 포즈, 접촉 및 접촉력을 공동으로 추정하도록 학습하는 엔드투엔드 모델인 PACT를 소개합니다. 제안하는 접근 방식은 인간 재구성 파운데이션 모델에 학습 가능한 접촉-힘 토큰(token)과 시각적 특징을 월드 좌표계 동작과 통합하는 시계열 트랜스포머(temporal transformer)를 결합하여 확장합니다. 공동 예측 헤드는 인간의 포즈를 정제하고 접촉 및 힘을 추정하며, 물리 기반 감독(physics-based supervision)을 통해 재구성된 동작과 상호작용 힘 간의 일관성을 유도합니다. 힘 주석(force annotation)의 희소성 문제를 해결하기 위해, 접촉 라벨링과 물리 기반 동작 및 힘 최적화를 결합한 데이터 주석 파이프라인을 개발하여 합성 및 실제 비디오로부터 학습 감독 데이터를 생성합니다. 또한 클라이밍 비디오와 힘 센서로부터 획득한 상응하는 실측(ground-truth) 접촉력으로 구성된 실제 환경 클라이밍 벤치마크 ForceWall을 소개합니다. 실험 결과, 본 모델은 최첨단 접촉 및 힘 추정 성능을 입증하며, 단계별 재구성 방식을 능가하고 학습 분포를 벗어난 상호작용으로도 일반화됨을 보여줍니다. 이러한 결과는 엔드투엔드 공동 학습이 비디오로부터 인간 동작과 물리적 상호작용을 복원하는 효과적인 접근 방식임을 뒷받침합니다.

arXiv:2609.23974v1cs.AI공통 태그 Pose Estimation, Human Mesh Recovery

LEAP-NBV: 파운데이션 모델 기반 차기 최적 시점 계획을 위한 경량 엣지 능동 지각

LEAP-NBV: Lightweight Edge Active-Perception for Foundation-Model Next-Best-View Planning

파운데이션 모델(foundation model)은 자율 시스템에 더 뛰어난 지능을 부여하여 시각적 지각을 통한 환경(environment)에 대한 보다 포괄적인 이해를 가능하게 하고 있다. 대표적인 예로 인체 메시 복원(HMR, Human Mesh Recovery)이 있으며, 이는 전술적 임무에 유용하게 활용될 수 있는 타깃의 3D 포즈 및 형태 추정치를 제공한다. 그러나 이러한 모델(model)의 크기와 전력 소모량으로 인해 엣지 플랫폼에서 구동하기 어렵고 실시간 성능이 제한되어 전술적 엣지 배포(edge deployment)의 요구사항을 충족하기 어렵다. 특히 통신이 제한된 환경에서 모바일 로봇이 계산을 외부로 오프로드하지 못하고 온보드 상에서 차기 최적 시점(NBV, Next-Best-View)을 계획해야 하는 능동 지각(active perception)의 경우 더욱 그렇다. 본 논문에서는 엣지 디바이스 온보드에서 파운데이션 모델 기반 차기 최적 시점 계획을 실행하는 경량 능동 지각 프레임워크인 LEAP-NBV를 제안한다. 이를 위해 오프라인 메시 목표 함수를 사용하여 대규모 HMR 교사 모델 제품군을 각각 컴팩트한 32M 학생 모델로 지식 증류(distillation)한 후, 비전 인코더를 FP16으로 양자화(quantization)하고 온디바이스 정확도와 지연 시간을 특성화한다. 차폐 인식 능동 지각 루프 내에서 동일한 홀드아웃 벤치마크(benchmark)를 통해 모든 구성을 평가(evaluation)하고, 전체 엔드투엔드 파이프라인을 NVIDIA Jetson Xavier NX에 배포하여 실제 측정된 온디바이스 지연 시간과 에너지를 보고한다. 지식 증류를 통해 테스트 세트에서 증류되지 않은 학생 모델 대비 프로크루스테스 정렬 평균 정점당 위치 오차(PA-MPVPE)를 6-7 mm 개선한다. 엣지에 최적화된 압축 모델을 선택함으로써 약간의 정확도 손실만으로 HMR 엔진의 속도를 약 12 ms로 끌어올리고, 전체 폐루프를 3.6 FPS 및 프레임당 2.6 J로 구동하여 다운스트림 태스크 품질을 거의 유지하면서도 압축되지 않은 모델 대비 2.0배의 속도 향상과 3.0배 낮은 에너지를 달성한다.

arXiv:2607.24302v1cs.CV공통 태그 Pose Estimation, Human Mesh Recovery

가림이 있는 대규모 장면에서의 다중 시점 다중 인물 인간 메시 복원

Multiview Multi-Person Human Mesh Recovery Under Large Scenes with Occlusions

인간 메시 복원(HMR)은 이미지로부터 3D 인간 메시를 복원하는 것을 목표로 한다. 기존 HMR 벤치마크와 방법의 대부분은 단일 시점에서의 다중 인물 재구성 또는 다중 시점에서의 단일 인물 재구성 중 하나에 초점을 맞추며, 이 경우 대상자 수와 장면 규모가 상대적으로 제한적이다. 이러한 설정은 대규모 장면과 심각한 인물 간 가림이 있는 실세계 응용에는 부족하다. 이 한계를 해결하기 위해, 우리는 MVMP-HMR이라 명명한 다중 시점 다중 인물 HMR을 위한 대규모 합성 벤치마크를 제안한다. 제안된 데이터셋은 최대 50개의 카메라 시점과 30명의 상호작용하는 인물을 포함하는 15개의 복잡한 장면으로 구성되며, 넓은 공간적 커버리지와 심각한 가림을 특징으로 하여 인간 메시 복원의 난이도를 크게 높인다. 이 벤치마크를 바탕으로, 우리는 MVMP-HMR 모델이라 불리는 다중 시점 다중 인물 전신 인간 메시 복원 모델을 추가로 제안한다. 이 모델은 먼저 다중 시점 특징을 장면 수준의 3D 특징 볼륨으로 융합한 다음, 3D 포즈 추정 네트워크가 예측한 골반 관절을 활용하여 3D 특징 볼륨으로부터 인물별 쿼리를 추출한다. 이러한 인간 쿼리는 3D 특징 볼륨과 교차 어텐션(cross-attention)을 수행하고 통합되어 각 인물의 3D 메시를 디코딩한다. 또한, 심각한 가림 하에서의 방향 및 포즈 모호성을 완화하기 위해 방향 손실(orientation loss)과 3D 관절 밀도 손실(3D joint density loss)이라는 두 가지 새로운 손실을 도입한다. 실험 결과, 기존 최신 HMR 방법들은 제안된 MVMP-HMR 벤치마크에서 어려움을 겪는 반면, 우리 방법은 심각한 가림이 있는 대규모 장면에서 기존 SOTA보다 일관되게 우수한 성능을 보인다.

arXiv:2607.09089v1cs.CV공통 태그 Pose Estimation, Human Mesh Recovery

DETRAM: 인체 메시의 엔드-투-엔드 감지, 추적 및 복원

DETRAM: End-to-end DEtection, Tracking and Recovery of HumAn Meshes

인체 메시 복원(HMR) 과제에서 다중 인물 장면은 시간이 지남에 따라 등장하는 수많은 개체와 이들 간의 상호 차폐(occlusion)로 인해 처리하기가 특히 까다롭다. 특히 동영상 입력의 경우 각 개체를 안정적이고 일관되게 추적할 필요가 있다. 기존 방법들은 사전학습된 인체 감지 모듈에 의존하여 런타임이 증가하고 추적 가능한 개체 수가 제한된다. 본 논문에서는 다중 인물 HMR과 추적을 위한 통합 프레임워크인 DETRAM을 제안한다. DETRAM은 자동 방식과 사용자 프롬프트 방식 모두를 통해 시간 축에 걸쳐 인물을 동시에 감지하고 재구성하며 추적한다. DETRAM은 프레임 간에 지속되는 아이덴티티 일관성 있는 학습 가능한 쿼리 임베딩 집합을 갖춘 단일 트랜스포머 디코더를 사용한다. 감지 쿼리는 새로운 인물을 발견하고, 추적 쿼리는 기존 개체의 자세와 형태를 유지하며, 프롬프트 쿼리는 사용자가 지정한 아이덴티티를 따른다. 본 접근법은 PoseTrack21, 3DPW, BEDLAM, MuPoTS-3D에서 최첨단 추적 결과를 달성하고, BEDLAM과 3DPW에서 경쟁력 있는 재구성 정확도를 보이며, 다중 인물 장면에서 프롬프트 기반 개인 추적이라는 고유한 기능을 지원한다. 저자들의 지식 범위 내에서, 이는 프롬프트 가능성과 다중 인물 HMR을 추적과 함께 엔드-투-엔드 학습 가능한 프레임워크로 통합한 최초의 방법으로, 동영상 내 사용자 주도 인체 분석을 가능하게 한다.

arXiv:2607.01626v1cs.CV공통 태그 Pose Estimation, Human Mesh Recovery

Multi-THuMBS: 비디오 샷을 넘나드는 다중 인물 3D 인체 메시 추적

Multi-THuMBS: Multi-person Tracking of 3D Human Meshes Beyond Video Shots

비제한 환경에서의 복잡한 상호작용, 빈번한 가림(occlusion), 심한 절단(truncation)으로 인해 실제 동영상에서 다중 인물의 3D 인체 메시를 추적하는 것은 매우 어려운 문제다. 최근 접근법들이 이러한 문제에 대한 견고성을 향상시켰지만, 실제 영상에서 흔히 발생하는 핵심 과제인 빈번한 샷 전환(shot change)을 대부분 간과하고 있다. 카메라 시점의 갑작스러운 전환은 기존 방법들이 인물의 신원(identity) 추적을 놓치고 시간적으로 일관된 궤적 재구성에 실패하는 원인이 된다. 일부 최근 연구들이 샷 전환 환경에서의 3D 인체 메시 추적을 탐구했지만, 여전히 단일 인물 시나리오에 국한되어 있어 여러 사람이 동시에 상호작용하고 등장하는 실제 영상에는 부적합하다. 이 한계를 해결하기 위해, 우리는 최신 3D 장면 사전(scene prior)을 활용하여 샷 경계의 두 프레임을 단일 공유 3D 공간에서 재구성하는 Multi-THuMBS(비디오 샷을 넘나드는 다중 인물 3D 인체 메시 추적)를 제안한다. 인체 메시는 공유 3D 공간 내에 등록되어 샷 전환에 걸쳐 인물별 신원과 동작 일관성을 유지한다. 광범위한 실험을 통해 우리의 접근법이 3D 인체 메시 복원, 카메라 포즈 추정, 신원 추적에서 현저한 성능 향상을 달성하며, 기존 최신 방법들과 비교하여 샷 전반에 걸친 일관된 신원 보존과 고품질 동작 재구성을 보장함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.