arXiv:1901.04877

Feature Boosting Network For 3D Pose Estimation

Jun Liu, Henghui Ding, Amir Shahroudy, Ling-Yu Duan, Xudong Jiang, Gang Wang, Alex C. Kot

제출 2019-01-15

원문 초록

In this paper, a feature boosting network is proposed for estimating 3D hand pose and 3D body pose from a single RGB image. In this method, the features learned by the convolutional layers are boosted with a new long short-term dependence-aware (LSTD) module, which enables the intermediate convolutional feature maps to perceive the graphical long short-term dependency among different hand (or body) parts using the designed Graphical ConvLSTM. Learning a set of features that are reliable and discriminatively representative of the pose of a hand (or body) part is difficult due to the ambiguities, texture and illumination variation, and self-occlusion in the real application of 3D pose estimation. To improve the reliability of the features for representing each body part and enhance the LSTD module, we further introduce a context consistency gate (CCG) in this paper, with which the convolutional feature maps are modulated according to their consistency with the context representations. We evaluate the proposed method on challenging benchmark datasets for 3D hand pose estimation and 3D full body pose estimation. Experimental results show the effectiveness of our method that achieves state-of-the-art performance on both of the tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26923v1cs.CV공통 태그 Pose Estimation, 3D Pose Estimation

크리켓 샷 분류 및 자동 생체역학 분석을 위한 3D 포즈 기반 앙상블 프레임워크

A 3D Pose-Based Ensemble Framework for Cricket Shot Classification and Automated Biomechanical Analysis

크리켓은 전 세계에서 가장 사랑받는 스포츠 중 하나이며, 기술 발전은 현대 경기가 분석되고 코칭되는 방식에 깊이 자리 잡았다. 크리켓 샷 분류와 자동화된 성과 분석은 이러한 흐름에 또 다른 차원을 더한다. 전통적 접근법은 RGB 영상 특징이나 정적 이미지에 의존하며, 카메라 각도, 조명, 배경 잡음 등 환경 변화에 민감하고, 타격 동작의 근본적인 생체역학을 포착하는 데 종종 실패한다. 본 논문에서는 원시 영상 데이터를 입력으로 받아 YOLO로 영상 프레임에서 타자를 추출하고 MeTRAbs로 영상 프레임에서 3D 포즈 데이터를 추출하여 크리켓 코칭을 개선하는 시스템을 제안한다. 이 시스템은 30개 신체 관절점의 순차적 골격 포즈 데이터를 생성하며 타자의 생체역학적 특징을 포착한다. 시스템의 일부로 flick, pull, defense, drive 네 가지 샷에 대한 샷 분류용 심층 학습 앙상블도 제안한다. 앙상블은 기존 분류 연구 대비 우수한 성능을 보였으며 97.68%의 정확도를 달성했다. 또한 오분류율을 분석하여 샷이 잘못 분류된 사례를 식별하고 가능한 원인을 검토했다. 제안 시스템은 초보 선수가 전문 타자 대비 중요 관절 각도와 같은 유용한 피드백을 얻을 수 있게 하며, 부상 예방에도 도움이 될 수 있다. 샷 분류기는 클래스별 샷을 시간에 따라 추적하여 추가 분석을 돕는다. 초보 선수뿐 아니라 코치도 선수 평가에 이 시스템을 활용할 수 있다.

arXiv:2607.11064v1cs.CV공통 태그 Pose Estimation, 3D Pose Estimation

WiFi-JEPA: WiFi-CSI 3D 인체 자세 추정을 위한 자기지도학습

WiFi-JEPA: Self-supervised Learning for WiFi-CSI 3D Human Pose Estimation

WiFi 채널 상태 정보(CSI)는 카메라 사용이 불가한 환경에서 프라이버시를 보호하는 인체 자세 감지를 가능하게 하지만, 기존 WiFi 기반 자세 추정기는 환경 변화에 취약하고 확장성을 제한하는 비용이 높은 카메라 기반 어노테이션 파이프라인에 의존한다. 본 논문에서는 WiFi-JEPA를 제안한다. 이는 하드웨어 특유의 아티팩트를 포함할 수 있는 원시 CSI 신호를 재구성하는 대신 마스킹된 잠재 임베딩을 예측함으로써 CSI 고유 표현을 학습하는 자기지도학습 프레임워크이다. WiFi-JEPA는 세 가지 기여를 한다: (i) 채널, 시간, 링크(C,T,L)에 걸친 CSI 텐서에 맞춰 설계된 CSI 전용 토큰화 및 링크 마스킹; 전체 송수신(Tx-Rx) 안테나 링크를 마스킹함으로써 모델이 다른 공간 링크 뷰로부터 하나의 뷰를 예측하도록 강제하여, 3D 공간 구조에 관한 정보를 담은 교차 링크 상관관계를 포착한다. (ii) 무작위화된 기하학적 프리미티브로부터 다양한 비레이블 CSI를 생성하는 레이 트레이싱 CSI 시뮬레이션 파이프라인으로, 자세 어노테이션 없이 확장 가능한 사전학습 데이터를 제공한다. (iii) Person-in-WiFi-3D에서의 최첨단 결과: WiFi-JEPA는 동일한 평가 프로토콜 하에서 단일 및 다중 인물 3D 자세 추정 모두에서 기존 WiFi-CSI 기준 모델을 능가한다. 또한 시뮬레이션된 CSI가 실제 CSI에 대한 보완적인 사전학습 신호를 제공하며, 비전 고유의 자기지도학습(SSL) 목적 함수 네 가지는 처음부터 학습하는 것보다 성능을 저하시키는 반면, WiFi-JEPA는 다운스트림 자세 추정을 일관되게 향상시킴을 보인다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

arXiv:2606.30308v2cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

손 동작 재구성을 위한 비디오 확산 모델의 놀라운 효과성

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

에고센트릭(egocentric) 비디오에서의 4D 손 동작 재구성은 기존 방법들의 명확한 한계로 인해 병목 현상을 겪고 있다. 이미지 기반 파이프라인은 심한 가림(occlusion) 상황에서 실패하는 검출기에 의존하고, 비디오 기반 방법은 희소한 손 자세 주석으로만 학습된 시간적 모듈에 의존한다. 이는 동작 역학, 가림 추론, 손-객체 상호작용을 모델링하기에 부족한 신호다. 그러나 이러한 능력들은 인터넷 규모에서 일관된 비디오를 합성하도록 학습될 때 비디오 생성 모델이 암묵적으로 획득해야 하는 것들이다. 이에 착안하여, 우리는 사전학습된 비디오 확산 모델의 표현을 활용해 4D 양손 자세를 재구성하는 ViDiHand를 제안한다. 우리는 손 오버레이 렌더링 목적함수를 통해 이 모델을 적응시켜 세계 사전 지식을 보존하면서 손에 특화된 특징을 추출하게 한다. 이후 디코더가 적응된 특징으로부터 미터 스케일 자세를 복원한다. 전체 파이프라인은 검출기, 인필러(infiller), 테스트 시간 최적화 없이 전체 프레임에서 직접 동작한다. ARCTIC, HOT3D, HOI4D에서 ViDiHand는 기존 방법들을 크게 능가하며, 비디오 확산 모델을 손 동작 재구성을 위한 강력한 새 기반으로, 그리고 체화 AI(embodied AI)를 위한 확장 가능한 자연 환경 데이터 수집의 유망한 경로로 확립한다. 프로젝트 페이지: https://vidihand.github.io.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.