Estimating Ego-Body Pose from Doubly Sparse Egocentric Video Data
원문 초록
We study the problem of estimating the body movements of a camera wearer from egocentric videos. Current methods for ego-body pose estimation rely on temporally dense sensor data, such as IMU measurements from spatially sparse body parts like the head and hands. However, we propose that even temporally sparse observations, such as hand poses captured intermittently from egocentric videos during natural or periodic hand movements, can effectively constrain overall body motion. Naively applying diffusion models to generate full-body pose from head pose and sparse hand pose leads to suboptimal results. To overcome this, we develop a two-stage approach that decomposes the problem into temporal completion and spatial completion. First, our method employs masked autoencoders to impute hand trajectories by leveraging the spatiotemporal correlations between the head pose sequence and intermittent hand poses, providing uncertainty estimates. Subsequently, we employ conditional diffusion models to generate plausible full-body motions based on these temporally dense trajectories of the head and hands, guided by the uncertainty estimates from the imputation. The effectiveness of our method was rigorously tested and validated through comprehensive experiments conducted on various HMD setup with AMASS and Ego-Exo4D datasets.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SenseShift6D: Multimodal RGB-D Benchmarking for Robust 6D Pose Estimation across Environment and Sensor Variations
DETRPose: 수정된 트랜스포머 디코더와 새로운 디노이징 키포인트를 통한 실시간 엔드-투-엔드 다중 인물 포즈 추정
DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints
다중 인물 포즈 추정(MPPE)은 이미지 내 모든 사람에 대한 신체 관절 위치(키포인트)를 검출하는 작업으로, 컴퓨터 비전의 핵심 과제입니다. 최근 발전에도 불구하고, 현재 실시간 성능을 달성하는 트랜스포머 기반 모델은 존재하지 않습니다. 본 연구는 다중 인물 2D 포즈 추정을 위한 최초의 실시간 엔드-투-엔드 트랜스포머 모델 계열인 DETRPose를 도입하여 지연 시간 문제를 해결합니다. DETRPose는 GroupPose 디코더를 대폭 개선하여 실시간 추론을 가능하게 합니다. 학습을 위해, 수렴을 가속화하는 새로운 디노이징 키포인트 기법이 제안됩니다. 또한, 쿼리 품질을 향상시키기 위해 varifocal 손실을 키포인트에 확장한 Keypoint Similarity VariFocal 손실을 도입합니다. 광범위한 평가를 통해 DETRPose 모델이 학습 에폭 수를 5~10배 줄이면서도 주요 경쟁 모델과 동등하거나 그 이상의 정확도를 달성함을 입증합니다. DETRPose-S는 COCO 데이터셋에서 YOLOv8-Pose-X 및 YOLO11-Pose-X와 유사한 정확도(AP 기준 67.0 대 67.3 및 67.2)를 보이면서, 파라미터 수는 81% 적고(11.5M 대 69.4M 및 58.8M), 추론 속도는 52% 빠릅니다(2.39ms 대 5.23ms 및 4.93ms). CrowdPose 데이터셋에서 DETRPose-X는 ED-Pose-SwinL-5S 대비 FLOPs가 13.1배 적고(232.3G 대 3048.1G), 정밀도는 단 2%만 낮습니다(AP 기준 75.1 대 76.6). OCHuman 데이터셋에서 DETRPose-S는 모든 이전 모델을 능가하며, 분포 외 데이터셋에서의 DETRPose의 강건성을 보여줍니다. 코드는 https://github.com/SebastianJanampa/DETRPose 에서 확인할 수 있습니다.
Deep learning with missing data
Efficient Calisthenics Skills Classification through Foreground Instance Selection and Depth Estimation
SpatialTrackerV2: 3D Point Tracking Made Easy
GKNet: Graph-based Keypoints Network for Monocular Pose Estimation of Non-cooperative Spacecraft
토론
이 논문과 연결된 포럼 글이 아직 없습니다.