PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2408.10581v3cs.CV공식 코드 · Papers with Code

포인트 임베딩 트랜스포머 기반 다중 뷰 손 재구성

Multi-view Hand Reconstruction with a Point-Embedded Transformer

본 연구는 실제 세계의 손 모션 캡처 시나리오에서 실용적으로 사용할 수 있도록 설계된, 새롭고 일반화 가능한 다중 뷰 손 메쉬 재구성(HMR) 모델인 POEM을 제안한다. POEM 모델의 진전은 두 가지 주요 측면으로 구성된다. 첫째, 문제 모델링 측면에서 다중 뷰 스테레오 공간 내에 정적 기준점(basis point)을 임베딩하는 방법을 제안한다. 점은 3D 정보의 자연스러운 표현 형태이며, 각 뷰에서 서로 다른 투영을 갖기 때문에 다양한 뷰 간 특징을 융합하는 이상적인 매개체 역할을 한다. 따라서 본 방법은 간단하면서도 효과적인 아이디어를 활용한다. 즉, 복잡한 3D 손 메쉬는 다음 세 가지 조건을 만족하는 3D 기준점 집합으로 표현할 수 있다. 1) 다중 뷰 스테레오에 임베딩되고, 2) 다중 뷰 이미지로부터 특징을 담으며, 3) 손을 감싼다. 둘째 진전은 학습 전략에 있다. 다섯 개의 대규모 다중 뷰 데이터셋을 결합하여 활용하고, 카메라의 수, 순서, 포즈에 대한 무작위화를 적용한다. 이처럼 방대한 데이터와 다양한 카메라 구성을 처리함으로써, 본 모델은 실제 응용에서 뛰어난 일반화 성능을 보여준다. 그 결과 POEM은 좌우 양손 모두에 대해 사용자 친화적이고 비용 효율적인 다중 뷰 모션 캡처를 가능하게 하는, 매우 실용적인 즉시 사용 가능한(plug-and-play) 솔루션을 제시한다. 모델과 소스 코드는 https://github.com/JubSteven/POEM-v2 에서 이용할 수 있다.