arXiv:2111.06500

Dynamic Iterative Refinement for Efficient 3D Hand Pose Estimation

John Yang, Yash Bhalgat, Simyung Chang, Fatih Porikli, Nojun Kwak

제출 2021-11-11

원문 초록

While hand pose estimation is a critical component of most interactive extended reality and gesture recognition systems, contemporary approaches are not optimized for computational and memory efficiency. In this paper, we propose a tiny deep neural network of which partial layers are recursively exploited for refining its previous estimations. During its iterative refinements, we employ learned gating criteria to decide whether to exit from the weight-sharing loop, allowing per-sample adaptation in our model. Our network is trained to be aware of the uncertainty in its current predictions to efficiently gate at each iteration, estimating variances after each loop for its keypoint estimates. Additionally, we investigate the effectiveness of end-to-end and progressive training protocols for our recursive structure on maximizing the model capacity. With the proposed setting, our method consistently outperforms state-of-the-art 2D/3D hand pose estimation approaches in terms of both accuracy and efficiency for widely used benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

arXiv:2606.30308v2cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

손 동작 재구성을 위한 비디오 확산 모델의 놀라운 효과성

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

에고센트릭(egocentric) 비디오에서의 4D 손 동작 재구성은 기존 방법들의 명확한 한계로 인해 병목 현상을 겪고 있다. 이미지 기반 파이프라인은 심한 가림(occlusion) 상황에서 실패하는 검출기에 의존하고, 비디오 기반 방법은 희소한 손 자세 주석으로만 학습된 시간적 모듈에 의존한다. 이는 동작 역학, 가림 추론, 손-객체 상호작용을 모델링하기에 부족한 신호다. 그러나 이러한 능력들은 인터넷 규모에서 일관된 비디오를 합성하도록 학습될 때 비디오 생성 모델이 암묵적으로 획득해야 하는 것들이다. 이에 착안하여, 우리는 사전학습된 비디오 확산 모델의 표현을 활용해 4D 양손 자세를 재구성하는 ViDiHand를 제안한다. 우리는 손 오버레이 렌더링 목적함수를 통해 이 모델을 적응시켜 세계 사전 지식을 보존하면서 손에 특화된 특징을 추출하게 한다. 이후 디코더가 적응된 특징으로부터 미터 스케일 자세를 복원한다. 전체 파이프라인은 검출기, 인필러(infiller), 테스트 시간 최적화 없이 전체 프레임에서 직접 동작한다. ARCTIC, HOT3D, HOI4D에서 ViDiHand는 기존 방법들을 크게 능가하며, 비디오 확산 모델을 손 동작 재구성을 위한 강력한 새 기반으로, 그리고 체화 AI(embodied AI)를 위한 확장 가능한 자연 환경 데이터 수집의 유망한 경로로 확립한다. 프로젝트 페이지: https://vidihand.github.io.

arXiv:2606.24498v1cs.CV공통 태그 Pose Estimation, Gesture Recognition

VistaRef: 포인팅-객체 검출을 위한 시각적 공간 방향 인식 강화

VistaRef: Boosting Visual Spatial Orientation Awareness for Pointing-to-Object Detection

자연 이미지에서 지시적 제스처를 그라운딩하는 것은 AR 및 인간-로봇 협업의 근간으로, 원활한 공간적 상호작용의 기반을 제공한다. 트랜스포머 기반 시각 모델이 일반 객체 검출에서 상당한 발전을 이루었음에도 불구하고, 이들의 전역 어텐션 메커니즘은 미세한 기하학적 관계를 간과하는 경향이 있어 방향 정확도를 저하시킨다. 포인팅 태스크에서 이 결함은 손가락 포즈로부터 암시되는 포인팅 레이를 정확하게 포착하지 못하는 형태로 나타나며, 멀리 떨어지거나 밀집된 객체를 다룰 때 포인팅 드리프트 및 위치 모호성을 야기한다. 이를 해결하기 위해 우리는 공간 방향 인식을 명시적으로 강화하도록 설계된 프레임워크인 VistaRef를 제안한다. 첫째, 손 포즈 임베딩을 통합하여 미세한 손가락 편차를 포착하는 모델의 능력을 강화하는 LHEM(Local Hand Entity Modeling) 모듈을 개발한다. 둘째, 다중 시점 기하학에서 영감을 받아, 암묵적인 방향 정보를 명시적인 공간 기하학적 특징으로 변환하고 어텐션 메커니즘을 통해 특징 집계 및 심층 융합을 유도하는 GRM(Geometric Ray Modeling) 모듈을 구성한다. 또한, 손의 존재 여부와 포인팅 일관성을 상호보완적으로 감독하는 새로운 OCAL(Orientation-Consistent Alignment Loss)을 도입하여, 모든 아키텍처적 개선이 공간 위치 추정이라는 핵심 목표에 집합적으로 기여하도록 보장한다. 실험 결과, VistaRef는 그라운딩 정확도에서 14포인트 절대 향상을 달성하며 기준선을 크게 능가함을 보인다. 정성적 분석을 통해 VistaRef가 손에서 대상 객체까지의 기하학적 상관관계를 효과적으로 모델링하여, 복잡한 시나리오에서 전통적인 트랜스포머에 내재된 공간 지각 격차를 해소함을 확인한다. 코드: https://github.com/lingli1724/VistaRef.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.