일상 이미지에서의 양손 3D 손 동작 및 관절 움직임 예측
Bimanual 3D Hand Motion and Articulation Forecasting in Everyday Images
우리는 일상적인 환경에서 단일 이미지로부터 양손의 3D 손 동작과 관절 움직임을 예측하는 문제를 다룬다. 다양한 환경에서 3D 손 어노테이션이 부족한 문제를 해결하기 위해, 우리는 2D 손 키포인트 시퀀스를 4D 손 동작으로 끌어올리는(lift) 확산 모델(diffusion model)로 구성된 어노테이션 파이프라인을 설계한다. 예측 모델에서는 손 동작 분포의 다중모달성(multimodality)을 반영하기 위해 확산 손실(diffusion loss)을 채택한다. 6개의 데이터셋에 대한 광범위한 실험을 통해, 우리가 보완(impute)한 레이블로 학습했을 때의 이점(14% 향상)과 우리의 끌어올리기(lifting) 모델(45% 개선) 및 예측(forecasting) 모델(16.4% 향상)의 효과가 최고 성능 베이스라인 대비 확인되었으며, 특히 일상 이미지에 대한 제로샷(zero-shot) 일반화에서 그 효과가 두드러졌다.