1인칭 시점(egocentric) 비디오에서 동적 3D 손을 재구성하는 것은 AR/VR 및 AI 안경과 같은 차세대 컴퓨팅 플랫폼에 필수적입니다. 이러한 중요성에도 불구하고, 대부분의 기존 연구는 다중 시점(multi-view) 3D 손 재구성 또는 4D 인체 재구성에만 초점을 맞추어 왔습니다. 1인칭 시점 4D 손 재구성은 빠른 손과 카메라의 움직임, 손과 물체 및 양손 간의 상호작용, 단일 시점 관측으로 인한 본질적인 모호성으로 인해 여전히 어렵습니다. 이러한 문제를 해결하기 위해, 우리는 1인칭 시점 비디오에서 동적 4D 손을 재구성하기 위한 피드포워드(feed-forward) 프레임워크인 Hand-4DGS를 제안합니다. 우리의 접근 방식은 구조적 사전 정보를 위한 메시 유도 표현과 동적 모션을 모델링하기 위한 시간 합성곱(temporal convolution)을 통합합니다. 우리는 1인칭 시점 손-물체 상호작용 데이터셋인 H2O와 ARCTIC에서 프레임워크를 평가하고, 베이스라인 대비 성능 향상을 보입니다. 우리의 모델은 학습에 포함되지 않은 데이터셋의 보지 못한 비디오에도 효율적으로 적응할 수 있습니다. 또한, 미분 가능한 가우시안 래스터화를 통한 이미지 감독(supervision)은 실제 3D 손 자세(ground-truth 3D hand pose) 어노테이션 없이도 학습 및 테스트 시점 최적화(test-time optimization) 과정에서 외관 최적화와 자세 조정을 위한 추가적인 신호를 제공합니다.
1인칭(egocentric) 비디오는 임바디드 모델(embodied model)의 주요 지도 신호원이 되었으며, 그 가치는 카메라 움직임과 손의 가려짐으로 인해 추정이 까다로운 월드 좌표계(world coordinates)에서의 손 움직임 복원에 달려 있습니다. 기존의 재구성 파이프라인은 일반적으로 손과 장면 추정을 분리하고, 상호작용 속성을 별도의 태스크 특화 모델에 맡기며, 비디오당 여러 모델을 실행합니다. 이로 인해 기존 재구성 모델 중 이러한 속성을 직접 추정하는 모델은 없었으며, 처리율(throughput)은 대규모 어노테이션에서 실질적인 제약이 되었습니다. 이에 본 연구에서는 장면과 공유되는 미터법 단위(metric scale)로 월드 좌표계 손 형상을 추정하고, 가시성, 접촉, 거리를 포함한 점별 상호작용 속성을 예측하는 통합 엔드투엔드 모델인 EgoFound3R을 제안합니다. 이 모델은 세 가지 설계를 통합합니다. (i) 사전학습된 기하학적 사전 지식을 월드 좌표계 손 재구성으로 전이하는 구조화된 손 프롬프트, (ii) 손 형상과 상호작용 속성을 디코딩하는 명시적 손 표현, (iii) 추론 비용을 낮추는 매개변수 공유 멀티레이트(multi-rate) 설계입니다. 이러한 설계가 결합되어 한 번의 패스로 손 형상과 점별 속성을 동시에 예측합니다. OakInk-v2, TACO, HOI4D 벤치마크에서 EgoFound3R은 기존 방법 대비 관절당 평균 위치 오차(MPJPE)를 각각 43.2%, 22.4%, 11.6% 줄였으며, 동일한 패스 내에서 형상과 함께 점별 접촉 및 거리를 예측하는 동시에 약 6배 더 높은 처리율을 달성했습니다.
본 연구는 실제 세계의 손 모션 캡처 시나리오에서 실용적으로 사용할 수 있도록 설계된, 새롭고 일반화 가능한 다중 뷰 손 메쉬 재구성(HMR) 모델인 POEM을 제안한다. POEM 모델의 진전은 두 가지 주요 측면으로 구성된다. 첫째, 문제 모델링 측면에서 다중 뷰 스테레오 공간 내에 정적 기준점(basis point)을 임베딩하는 방법을 제안한다. 점은 3D 정보의 자연스러운 표현 형태이며, 각 뷰에서 서로 다른 투영을 갖기 때문에 다양한 뷰 간 특징을 융합하는 이상적인 매개체 역할을 한다. 따라서 본 방법은 간단하면서도 효과적인 아이디어를 활용한다. 즉, 복잡한 3D 손 메쉬는 다음 세 가지 조건을 만족하는 3D 기준점 집합으로 표현할 수 있다. 1) 다중 뷰 스테레오에 임베딩되고, 2) 다중 뷰 이미지로부터 특징을 담으며, 3) 손을 감싼다. 둘째 진전은 학습 전략에 있다. 다섯 개의 대규모 다중 뷰 데이터셋을 결합하여 활용하고, 카메라의 수, 순서, 포즈에 대한 무작위화를 적용한다. 이처럼 방대한 데이터와 다양한 카메라 구성을 처리함으로써, 본 모델은 실제 응용에서 뛰어난 일반화 성능을 보여준다. 그 결과 POEM은 좌우 양손 모두에 대해 사용자 친화적이고 비용 효율적인 다중 뷰 모션 캡처를 가능하게 하는, 매우 실용적인 즉시 사용 가능한(plug-and-play) 솔루션을 제시한다. 모델과 소스 코드는 https://github.com/JubSteven/POEM-v2 에서 이용할 수 있다.
디지털 휴먼 생성에 필수적인 강건하고 고품질의 3D 손 캡처는, 풍부한 광도 정보와 제한된 뷰포인트 밀도로 인해 발생하는 복원의 기하학적 모호성 사이의 균형을 맞춰야 하는 실용적인 다중 뷰 시스템에서 여전히 어려운 과제입니다. 본 논문은 뷰 효율적인 설정(약 20개 뷰)에 특화되어 설계된 동적 손 퍼포먼스 캡처 및 레지스트레이션을 위한 엔드-투-엔드 파이프라인을 제시합니다. 우리는 두 가지 주요 혁신을 통해 핵심 과제를 해결합니다. 첫째, 제한된 뷰 중첩 및 배경 클러터(clutter)와 같은 복원의 어려움을 극복하기 위해, 마스크가 없는(mask-free) 우리의 신경망 기반 방법은 장면 파라미터화와 시나리오 특화 밀도 정규화(density regularization)를 사용하여 마스크 처리되지 않은 이미지에서 상세한 손 형상과 외관을 강건하게 추출합니다. 둘째, 비선형 피부 변형을 정확하게 캡처하고 심각한 자가 접촉(self-contact) 동안 타당한 결과를 보장하는 것과 같은 레지스트레이션 과제를 해결하기 위해, 물리에 영감을 받은 프레임워크를 제안합니다. 이 방법은 포즈 파라미터와 함께 정규 사면체 메쉬(canonical tetrahedral mesh) 내부의 고유한 볼류메트릭 오프셋(volumetric offsets)을 최적화하여 복원 결과를 개인화된 손 모델에 정렬합니다. 강건한 손실(losses)과 최적화에 의해 지원되는 이 접근 방식은 미세한 표면 변형을 캡처하고, 심각한 관절 운동 및 자가 접촉 하에서 타당한 결과를 보장하며, 입력 노이즈에 대한 강력한 내성을 보여줍니다. 우리는 12,000개 이상의 시퀀스로 구성된 광범위한 데이터셋(dataset)에서 자동화된 파이프라인의 확장성과 강건성을 입증했으며, 여기서 다운스트림(downstream) 작업 학습을 위한 대규모의 고품질 합성 2D/3D 손 데이터셋(dataset)도 파생했습니다. 이는 단일 손, 복잡한 두 손 상호작용, 그리고 자연스러운 손-물체 조작에 대한 효과성을 보여줍니다. 우리의 방법은 뷰 효율적이고 마스크가 없는 시나리오에서 최첨단(state-of-the-art) 복원 충실도와 매우 정확한 레지스트레이션을 달성합니다. 프로젝트 페이지는 https://vephand.github.io/ 에서 확인할 수 있습니다.