arXiv:1903.01013

Hand Pose Estimation: A Survey

Bardia Doosti

제출 2019-03-03

원문 초록

The success of Deep Convolutional Neural Networks (CNNs) in recent years in almost all the Computer Vision tasks on one hand, and the popularity of low-cost consumer depth cameras on the other, has made Hand Pose Estimation a hot topic in computer vision field. In this report, we will first explain the hand pose estimation problem and will review major approaches solving this problem, especially the two different problems of using depth maps or RGB images. We will survey the most important papers in each field and will discuss the strengths and weaknesses of each. Finally, we will explain the biggest datasets in this field in detail and list 22 datasets with all their properties. To the best of our knowledge this is the most complete list of all the datasets in the hand pose estimation field.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00881v1cs.CV공통 태그 Pose Estimation, Survey

수어를 위한 기계 번역

Machine Translation for Sign Languages

수어 기계 번역(machine translation)은 지난 10년간 고립 수어 인식에서 종단간(end-to-end) 번역 시스템으로 발전하며 상당한 진전을 이루어 왔다. 포즈 추정, 트랜스포머(transformer) 아키텍처, 대규모 데이터셋(dataset) 수집의 발전이 이러한 진전을 이끌었지만, 여전히 과제가 남아 있다. 데이터셋은 음성 언어 자원에 비해 제한적이며, 평가 지표는 출력물의 언어적 품질을 충분히 포착하지 못하고, 모델은 수어의 동시적이고 다층적이며 3차원적인 구조를 포착해야 한다. 본 논문은 기술적 과제와 이해관계자 고려사항 간의 균형을 추구하는 포괄적인 리뷰를 제공한다. 우리는 수어를 계산적으로 독특하게 만드는 언어학적 특성을 살펴보고, 인식, 번역, 생성 시스템의 발전 과정을 추적하며, 현재진행 중인 기술적 과제를 분석한다. 결정적으로, 우리는 데이터 거버넌스, 커뮤니티 참여, 적절한 사용에 관한 윤리적 고려사항을 다룬다. 컴퓨터 비전, 수어 언어학, 농인학(deaf studies)을 아우르는 학제간 관점을 바탕으로, 우리의 분석은 지속적인 진전을 위해서는 이러한 분야들 간, 그리고 농인 커뮤니티와의 지속적인 협력이 필요함을 강조한다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

arXiv:2607.14821v2cs.CV공통 태그 Survey

모달 경계의 흐림: 단일 모달에서 다중 모달 인물 재식별(ReID)에 대한 통합 서벡

Blurring Modal Boundaries: A Unified Survey from Single- to Multi-Modal Person Re-ldentification

인물 재식별(ReID)은 지능형 감시 시스템의 핵심 구성 요소로, 분리된 카메라 네트워크 간 신원을 매칭하는 것을 목표로 한다. 전통적인 방법은 주로 단일 모달 RGB 영상에 의존하지만, 낮은 조도와 가림(occlusion)과 같은 환경적 도전 과제에 종종 제약을 받는다. 이러한 한계를 극복하기 위해 해당 분야는 교차 모달(cross-modal) 및 다중 모달(multi-modal) 패러다임으로 빠르게 발전하고 있다. 본 서벡은 이러한 전환에 대한 포괄적인 개요를 제시하며, 직접 가시성을 넘어 지각을 확장하는 신흥 비시선(NLOS, Non-Line-of-Sight) ReID를 포함하여 가시-적외선(VI-ReID), 텍스트-이미지(TI-ReID), 스케치 기반(Sketch-ReID) 등 주요 교차 모달 과제를 체계적으로 검토한다. 또한 3분광(tri-spectral) 및 다중 모달 융합 ReID를 살펴보고, 다양한 센서의 상보적 정보가 어떻게 견고성(robustness)을 향상시키는지 논의한다. 데이터셋, 과제, 방법론을 요약하는 것을 넘어, 모달리티 불변(modality-invariant) 특징을 효과적으로 포착하도록 설계된 가시-적외선 ReID용 트랜스포머 기반 기준선 프레임워크를 제안한다. 마지막으로, 현재 연구 환경을 바탕으로 향후 연구를 위한 여러 유망한 방향을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.