arXiv:2203.16202

Spatial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation

Shuying Liu, Wenbin Wu, Jiaxian Wu, Yue Lin

제출 2022-03-30

원문 초록

We propose an approach to estimate arm and hand dynamics from monocular video by utilizing the relationship between arm and hand. Although monocular full human motion capture technologies have made great progress in recent years, recovering accurate and plausible arm twists and hand gestures from in-the-wild videos still remains a challenge. To solve this problem, our solution is proposed based on the fact that arm poses and hand gestures are highly correlated in most real situations. To fully exploit arm-hand correlation as well as inter-frame information, we carefully design a Spatial-Temporal Parallel Arm-Hand Motion Transformer (PAHMT) to predict the arm and hand dynamics simultaneously. We also introduce new losses to encourage the estimations to be smooth and accurate. Besides, we collect a motion capture dataset including 200K frames of hand gestures and use this data to train our model. By integrating a 2D hand pose estimation model and a 3D human pose estimation model, the proposed method can produce plausible arm and hand dynamics from monocular video. Extensive evaluations demonstrate that the proposed method has advantages over previous state-of-the-art approaches and shows robustness under various challenging scenarios.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02943v1cs.CV공통 태그 Pose Estimation, 3D Human Pose Estimation

피험자 수준 프라이버시를 고려한 기구학 유도 다중 모달 3D 인간 자세 추정

Kinematics-Induced Multimodal 3D Human Pose Estimation with Subject-Level Privacy

다중 모달 3D 인간 자세 추정(3D Human Pose Estimation, 3D HPE)은 RGB, LiDAR, mmWave 레이더의 상호 보완적인 정보를 결합하지만, 동일한 개인으로부터 얻은 상관된 관측치로 학습된 모델은 레코드 수준 분석에서는 간과되는 프라이버시 위험을 초래합니다. 본 논문에서는 기구학 유도(kinematics-induced) 센서 융합을 피험자 수준(subject-level) 프라이버시 감사 및 프라이버시 보존 학습과 결합한 다중 모달 3D HPE를 위한 통합 프레임워크를 제시합니다. 첫째, 제안하는 다중 모달 모델은 모달리티별 관절 표현을 정렬하고 골격 구조를 주입하며 상호 보완적인 센서 단서를 적응적으로 통합하여 정확한 자세 예측을 수행합니다. 둘째, 개별 공격 점수 결과가 멤버십 결과에 대한 추론을 어떻게 변화시키는지 특성화하는 경험적 점별 최대 누출(pointwise maximal leakage) 분석을 보완하여, 3D HPE를 위한 블랙박스 피험자 멤버십 추론 공격(membership inference attack)을 정식화합니다. 셋째, 행동 및 시간적 범위를 보장하는 모집단 가중 피험자 내 샘플링 전략인 행동-시간 계층화(Action Temporal Stratification)를 통해 사용자 수준 차분 프라이버시(differential privacy)를 구현합니다. 세 가지의 다양한 실험 프로토콜에 걸쳐 MM-Fi 데이터셋에서 본 프레임워크를 평가합니다. 소스 코드는 논문 채택 시 공개될 예정입니다.

arXiv:2607.11221v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

HandFlow: 플로우 매칭을 이용한 완전 생성형 4D 손 복원

HandFlow: Fully Generative 4D Hand Recovery with Flow Matching

단안 카메라 기반 4D 손 재구성은 여전히 어려운 과제로 남아 있다. 프레임별 판별적 회귀 모델은 시간적 문맥이 부족하여 떨리는(jittery) 예측을 산출하는 경우가 많다. 시간적 모델은 여러 프레임에 걸쳐 정보를 집계함으로써 일관성을 향상시키지만, 대부분 결정론적 회귀 모델이기 때문에 가림(occlusion)이나 모션 블러로 인한 모호한 관측에 취약하다. 생성 모델링은 그럴듯한 손 동작 시퀀스에 대한 사전 분포를 학습함으로써, 시각적 증거가 불완전하거나 신뢰할 수 없을 때에도 일관된 손 상태 복원을 가능하게 하는 자연스러운 대안을 제공한다. 이러한 관찰에 착안하여, 우리는 단안 비디오로부터 시간적으로 일관된 3D 손 자세 및 형상 추정을 위한 완전 생성형 플로우 매칭 프레임워크인 HandFlow를 제안한다. HandFlow는 시각적 관측과 골격 관측이 주어지면, 단일 ODE 적분을 통해 MANO 파라미터의 전체 시간 윈도우를 디노이징한다. 이를 위해, 자기회귀적 디코딩 없이 전체 시퀀스에 걸쳐 어텐션을 적용하여 장거리 의존성을 포착하는 Flux 스타일의 이중 스트림 트랜스포머와, 노이즈가 있거나 누락된 관측을 처리하기 위해 관측된 특징과 학습 가능한 마스크 토큰을 혼합하는 신뢰도 인식 연속 마스킹 메커니즘을 사용한다. DexYCB 및 HOT3D에서의 실험 결과, HandFlow는 최첨단 성능을 달성하며, 특히 세계 좌표계 정확도와 시간적 부드러움에서 큰 향상을 보인다. 가장 강력한 기준선 대비 세계 좌표계 자세 오차를 30% 이상 감소시키고, 평가된 모든 방법 중 가장 낮은 가속도 오차를 달성하면서도 프레임별 자세 정확도에서 경쟁력을 유지한다. 또한, 단일 GPU에서 HandFlow는 150프레임 시퀀스를 47fps로 재구성하며, 이는 가장 빠른 기존 비디오 기반 방법보다 약 12배 빠른 속도이고, 재구성 자체는 엔드투엔드 지연 시간의 작은 부분만을 차지한다.

arXiv:2606.30308v2cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

손 동작 재구성을 위한 비디오 확산 모델의 놀라운 효과성

The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction

에고센트릭(egocentric) 비디오에서의 4D 손 동작 재구성은 기존 방법들의 명확한 한계로 인해 병목 현상을 겪고 있다. 이미지 기반 파이프라인은 심한 가림(occlusion) 상황에서 실패하는 검출기에 의존하고, 비디오 기반 방법은 희소한 손 자세 주석으로만 학습된 시간적 모듈에 의존한다. 이는 동작 역학, 가림 추론, 손-객체 상호작용을 모델링하기에 부족한 신호다. 그러나 이러한 능력들은 인터넷 규모에서 일관된 비디오를 합성하도록 학습될 때 비디오 생성 모델이 암묵적으로 획득해야 하는 것들이다. 이에 착안하여, 우리는 사전학습된 비디오 확산 모델의 표현을 활용해 4D 양손 자세를 재구성하는 ViDiHand를 제안한다. 우리는 손 오버레이 렌더링 목적함수를 통해 이 모델을 적응시켜 세계 사전 지식을 보존하면서 손에 특화된 특징을 추출하게 한다. 이후 디코더가 적응된 특징으로부터 미터 스케일 자세를 복원한다. 전체 파이프라인은 검출기, 인필러(infiller), 테스트 시간 최적화 없이 전체 프레임에서 직접 동작한다. ARCTIC, HOT3D, HOI4D에서 ViDiHand는 기존 방법들을 크게 능가하며, 비디오 확산 모델을 손 동작 재구성을 위한 강력한 새 기반으로, 그리고 체화 AI(embodied AI)를 위한 확장 가능한 자연 환경 데이터 수집의 유망한 경로로 확립한다. 프로젝트 페이지: https://vidihand.github.io.

arXiv:2606.18243v1cs.CV공통 태그 Pose Estimation, Hand Pose Estimation

MOCHI: 협업형 인간-객체 상호작용의 모션 향상

MOCHI: Motion Enhancement of Collaborative Human-object Interactions

협업형 인간-객체 상호작용은 참여자와 공유 객체 간의 상호 예측과 지속적인 조정을 요구하는 역동적이고 복잡한 움직임을 보입니다. 이러한 협업형 다중 인간-객체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기초 단계로 필수적이지만, 인간-인간 및 인간-객체 상호작용이 동시에 발생하는 MHOI의 내재된 복잡성으로 인해 이는 어려운 과제입니다. 이러한 복잡성은 손과 객체 간의 접촉 정렬 불일치, 캡처된 시퀀스의 모션 지터(jitter) 및 시간적 불일치, 그리고 손가락 수준의 관절 세부 정보 누락 또는 불완전함과 같은 여러 아티팩트(artifacts)가 특징인 노이즈가 섞인 MHOI 캡처 데이터로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 노이즈가 섞인 MHOI 데이터를 향상시키기 위한 2단계 프레임워크인 MOCHI를 제시합니다. 우리의 접근 방식은 먼저 노이즈가 섞인 신체 입력을 통해 최적화를 수행하여 물리적으로 타당한 손 그립(grasp)을 생성함으로써, 신체 자세와 의미적으로 일치하는 그립을 만들어내고, 이러한 최적화된 그립을 완전한 손-객체 상호작용 시퀀스로 확장합니다. 결과적으로, 모든 참여자의 전신 모션은 단일 인간 모션 사전(priors)을 사용하는 디퓨전 기반 노이즈 최적화 프레임워크를 통해 정제됩니다. 최적화 과정에서, 우리는 이러한 단일 인간 사전 내에 인간-객체 및 인간-인간 상호작용 정보를 인코딩하기 위한 최적화 목적 함수(objectives)를 도입합니다. 실험 결과는 기존 캡처 방법으로 획득되었거나 생성 모델에 의해 합성된 다양한 MHOI 데이터에 걸쳐 우리 파이프라인의 효과성을 입증합니다. 우리는 또한 참여자 수와 상호작용 유형의 변화에 따른 시스템의 견고성(robustness)을 보여주며, 키프레임 기반 MHOI 생성 및 다양한 객체 형상(geometries)을 통한 데이터 증강을 포함한 다양한 응용 사례를 시연합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.