arXiv:1812.02050

Point-to-Pose Voting based Hand Pose Estimation using Residual Permutation Equivariant Layer

Shile Li, Dongheui Lee

제출 2018-12-05

원문 초록

Recently, 3D input data based hand pose estimation methods have shown state-of-the-art performance, because 3D data capture more spatial information than the depth image. Whereas 3D voxel-based methods need a large amount of memory, PointNet based methods need tedious preprocessing steps such as K-nearest neighbour search for each point. In this paper, we present a novel deep learning hand pose estimation method for an unordered point cloud. Our method takes 1024 3D points as input and does not require additional information. We use Permutation Equivariant Layer (PEL) as the basic element, where a residual network version of PEL is proposed for the hand pose estimation task. Furthermore, we propose a voting based scheme to merge information from individual points to the final pose output. In addition to the pose estimation task, the voting-based scheme can also provide point cloud segmentation result without ground-truth for segmentation. We evaluate our method on both NYU dataset and the Hands2017Challenge dataset. Our method outperforms recent state-of-the-art methods, where our pose accuracy is currently the best for the Hands2017Challenge dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

arXiv:2606.30308v2cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

손 동작 재구성을 위한 비디오 확산 모델의 놀라운 효과성

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

에고센트릭(egocentric) 비디오에서의 4D 손 동작 재구성은 기존 방법들의 명확한 한계로 인해 병목 현상을 겪고 있다. 이미지 기반 파이프라인은 심한 가림(occlusion) 상황에서 실패하는 검출기에 의존하고, 비디오 기반 방법은 희소한 손 자세 주석으로만 학습된 시간적 모듈에 의존한다. 이는 동작 역학, 가림 추론, 손-객체 상호작용을 모델링하기에 부족한 신호다. 그러나 이러한 능력들은 인터넷 규모에서 일관된 비디오를 합성하도록 학습될 때 비디오 생성 모델이 암묵적으로 획득해야 하는 것들이다. 이에 착안하여, 우리는 사전학습된 비디오 확산 모델의 표현을 활용해 4D 양손 자세를 재구성하는 ViDiHand를 제안한다. 우리는 손 오버레이 렌더링 목적함수를 통해 이 모델을 적응시켜 세계 사전 지식을 보존하면서 손에 특화된 특징을 추출하게 한다. 이후 디코더가 적응된 특징으로부터 미터 스케일 자세를 복원한다. 전체 파이프라인은 검출기, 인필러(infiller), 테스트 시간 최적화 없이 전체 프레임에서 직접 동작한다. ARCTIC, HOT3D, HOI4D에서 ViDiHand는 기존 방법들을 크게 능가하며, 비디오 확산 모델을 손 동작 재구성을 위한 강력한 새 기반으로, 그리고 체화 AI(embodied AI)를 위한 확장 가능한 자연 환경 데이터 수집의 유망한 경로로 확립한다. 프로젝트 페이지: https://vidihand.github.io.

arXiv:2606.18243v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

MOCHI: 협업형 인간-객체 상호작용의 모션 향상

MOCHI: Motion Enhancement of Collaborative Human-object Interactions

협업형 인간-객체 상호작용은 참여자와 공유 객체 간의 상호 예측과 지속적인 조정을 요구하는 역동적이고 복잡한 움직임을 보입니다. 이러한 협업형 다중 인간-객체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기초 단계로 필수적이지만, 인간-인간 및 인간-객체 상호작용이 동시에 발생하는 MHOI의 내재된 복잡성으로 인해 이는 어려운 과제입니다. 이러한 복잡성은 손과 객체 간의 접촉 정렬 불일치, 캡처된 시퀀스의 모션 지터(jitter) 및 시간적 불일치, 그리고 손가락 수준의 관절 세부 정보 누락 또는 불완전함과 같은 여러 아티팩트(artifacts)가 특징인 노이즈가 섞인 MHOI 캡처 데이터로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 노이즈가 섞인 MHOI 데이터를 향상시키기 위한 2단계 프레임워크인 MOCHI를 제시합니다. 우리의 접근 방식은 먼저 노이즈가 섞인 신체 입력을 통해 최적화를 수행하여 물리적으로 타당한 손 그립(grasp)을 생성함으로써, 신체 자세와 의미적으로 일치하는 그립을 만들어내고, 이러한 최적화된 그립을 완전한 손-객체 상호작용 시퀀스로 확장합니다. 결과적으로, 모든 참여자의 전신 모션은 단일 인간 모션 사전(priors)을 사용하는 디퓨전 기반 노이즈 최적화 프레임워크를 통해 정제됩니다. 최적화 과정에서, 우리는 이러한 단일 인간 사전 내에 인간-객체 및 인간-인간 상호작용 정보를 인코딩하기 위한 최적화 목적 함수(objectives)를 도입합니다. 실험 결과는 기존 캡처 방법으로 획득되었거나 생성 모델에 의해 합성된 다양한 MHOI 데이터에 걸쳐 우리 파이프라인의 효과성을 입증합니다. 우리는 또한 참여자 수와 상호작용 유형의 변화에 따른 시스템의 견고성(robustness)을 보여주며, 키프레임 기반 MHOI 생성 및 다양한 객체 형상(geometries)을 통한 데이터 증강을 포함한 다양한 응용 사례를 시연합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.