PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24424v1cs.CV

비전 트랜스포머를 활용한 카메라 공간 내 정확한 손 자세 추정

Estimating Accurate Hand Pose in Camera Space with Vision Transformer

단안 RGB 기반 손 자세 추정은 컴퓨터 비전(CV) 분야에서 중요한 핵심 연구 분야로 떠올랐습니다. 로컬 손 자세 추정 방법은 손목을 기준으로 손 자세를 예측하는 반면, 글로벌 손 자세 추정은 카메라 좌표계에서 손목의 위치까지 추정해야 합니다. 그러나 이러한 카메라 공간 추정은 두 가지 근본적인 문제에 직면합니다. (1) 단안 환경에서의 깊이 모호성, 그리고 (2) 원근 투영에서 손의 로컬 자세와 글로벌 손목 위치 간의 결합 효과(coupling effect)입니다. 특히 이러한 결합은 원근 투영이 손의 로컬 자세, 손목 위치, 카메라 내부 파라미터(intrinsics)에 의해 공동으로 결정된다는 점을 반영합니다. 이러한 문제를 극복하기 위해, 본 프레임워크는 주류 인코더-디코더 아키텍처 내에 통합된 두 가지 핵심 혁신을 제안합니다. 바로 손 깊이 정보 추출을 위한 변환-동형 감독(Transformation-Isomorphism Supervision)과 로컬 자세 및 손목 위치 간의 상기 결합 효과를 해결하기 위한 원근 정보 임베딩(Perspective Information Embedding)입니다. 아울러 순차적 자세 정제를 위한 프레임 레이트 인식 다중 데이터셋 학습 전략을 새롭게 제안합니다. 완전히 통합된 본 접근 방식은 HO3D에서 기존 SOTA 대비 CS-MJE 기준 최대 37.1%의 우수한 성능을 달성합니다. 프로젝트 페이지: https://github.com/Mine268/CS-ViT.