arXiv:2012.03680

UNOC: Understanding Occlusion for Embodied Presence in Virtual Reality

Mathias Parger, Chengcheng Tang, Yuanlu Xu, Christopher Twigg, Lingling Tao, Yijing Li, Robert Wang, Markus Steinberger

제출 2020-11-12

원문 초록

Tracking body and hand motions in the 3D space is essential for social and self-presence in augmented and virtual environments. Unlike the popular 3D pose estimation setting, the problem is often formulated as inside-out tracking based on embodied perception (e.g., egocentric cameras, handheld sensors). In this paper, we propose a new data-driven framework for inside-out body tracking, targeting challenges of omnipresent occlusions in optimization-based methods (e.g., inverse kinematics solvers). We first collect a large-scale motion capture dataset with both body and finger motions using optical markers and inertial sensors. This dataset focuses on social scenarios and captures ground truth poses under self-occlusions and body-hand interactions. We then simulate the occlusion patterns in head-mounted camera views on the captured ground truth using a ray casting algorithm and learn a deep neural network to infer the occluded body parts. In the experiments, we show that our method is able to generate high-fidelity embodied poses by applying the proposed method on the task of real-time inside-out body tracking, finger motion synthesis, and 3-point inverse kinematics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26923v1cs.CV공통 태그 Pose Estimation, 3D Pose Estimation

크리켓 샷 분류 및 자동 생체역학 분석을 위한 3D 포즈 기반 앙상블 프레임워크

A 3D Pose-Based Ensemble Framework for Cricket Shot Classification and Automated Biomechanical Analysis

크리켓은 전 세계에서 가장 사랑받는 스포츠 중 하나이며, 기술 발전은 현대 경기가 분석되고 코칭되는 방식에 깊이 자리 잡았다. 크리켓 샷 분류와 자동화된 성과 분석은 이러한 흐름에 또 다른 차원을 더한다. 전통적 접근법은 RGB 영상 특징이나 정적 이미지에 의존하며, 카메라 각도, 조명, 배경 잡음 등 환경 변화에 민감하고, 타격 동작의 근본적인 생체역학을 포착하는 데 종종 실패한다. 본 논문에서는 원시 영상 데이터를 입력으로 받아 YOLO로 영상 프레임에서 타자를 추출하고 MeTRAbs로 영상 프레임에서 3D 포즈 데이터를 추출하여 크리켓 코칭을 개선하는 시스템을 제안한다. 이 시스템은 30개 신체 관절점의 순차적 골격 포즈 데이터를 생성하며 타자의 생체역학적 특징을 포착한다. 시스템의 일부로 flick, pull, defense, drive 네 가지 샷에 대한 샷 분류용 심층 학습 앙상블도 제안한다. 앙상블은 기존 분류 연구 대비 우수한 성능을 보였으며 97.68%의 정확도를 달성했다. 또한 오분류율을 분석하여 샷이 잘못 분류된 사례를 식별하고 가능한 원인을 검토했다. 제안 시스템은 초보 선수가 전문 타자 대비 중요 관절 각도와 같은 유용한 피드백을 얻을 수 있게 하며, 부상 예방에도 도움이 될 수 있다. 샷 분류기는 클래스별 샷을 시간에 따라 추적하여 추가 분석을 돕는다. 초보 선수뿐 아니라 코치도 선수 평가에 이 시스템을 활용할 수 있다.

arXiv:2607.10370v1cs.CV공통 태그 Pose Estimation, Motion Synthesis

임의의 캐릭터 토폴로지 간 신경망 기반 모션 블렌딩

Neural Motion Blending Across Arbitrary Character Topologies

캐릭터 애니메이션에서 모션 블렌딩(motion blending)은 기존 예시들 사이를 보간하여 새로운 모션을 합성하는 것을 가능하게 한다. 현재 방법들은 일반적으로 고정된 스켈레톤 토폴로지에 제한되어, 캐릭터 간에 동일하거나 거의 동일한 골격 구조를 요구한다. 우리는 이종(heterogeneous) 스켈레톤 간 모션 블렌딩을 위한 새로운 프레임워크를 제시한다. 제안된 아키텍처는 모션 상태의 프레임별 잠재 표현(latent representation)을 추출하는 의미론적 인코더(semantic encoder)와, 이 잠재 코드에 조건화되어 캐릭터별 모션을 재구성하는 확산 기반(diffusion-based) 디코더를 결합한다. 추론 시, 두 입력 모션의 잠재 표현을 보간함으로써 블렌딩된 모션을 얻는다. 우리는 동일한 스켈레톤 토폴로지와 서로 다른 스켈레톤 토폴로지 모두에서 정의된 모션을 사용하여 Truebones Zoo 데이터셋으로 해당 방법을 학습하고 평가하며, 다양한 시나리오에서 자연스럽고 그럴듯한 블렌딩을 달성할 수 있음을 입증한다.

arXiv:2607.10408v1cs.CV공통 태그 Pose Estimation, Motion Synthesis

GNOCHI: 근접 인간-인간 상호작용을 위한 생성 신경 모델

GNOCHI: Generative Neural mOdel for Close Human-Human Interactions

가상 환경에서 사실적인 3D 인간-인간 상호작용을 생성하는 것은 인체의 높은 자유도와 서로 충돌하지 않는 물리적으로 정확한 자세가 필요하기 때문에 어렵다. 인간-인간 상호작용에 대한 전통적인 방법들은 모션 트래킹 또는 3D 신체 재구성에 기반하지만 생성 능력이 부족하다. 최근의 생성 방법들은 텍스트나 이미지 입력을 통해 개별 또는 상호작용하는 모션의 합성을 가능하게 하지만, 일반적으로 근접 상호작용 모델링에서는 한계를 보인다. 본 논문은 조건부 변분 오토인코더(cVAE)를 사용하여 근접 3D 인간-인간 상호작용을 위한 새로운 생성 모델을 소개하며, 이 모델은 다른 사람의 자세를 조건으로 한 사람의 자세를 생성하여 제어 가능하고 다양한 상호작용 합성을 가능하게 한다. 모델 학습을 위해 인간-인간 상호작용 분야의 두 가지 오랜 과제를 해결한다. 첫째, 데이터 부족 문제에 대해서는 합성적이면서도 사실적인 상호작용 자세를 생성하는 자동화된 지도 학습 기반 데이터 증강 전략을 제안하고, 둘째, 생성 접근법에서의 충돌 인식 문제에 대해서는 물리적으로 올바른 상호작용을 보장하기 위해 체적 프록시를 사용한 충돌 해소 기법에 기반한 자기지도 손실을 제안한다. 본 논문은 모델의 역량을 광범위하게 평가하고, 현재 최신 방법으로는 생성할 수 없는 다양하고 물리적으로 올바른 상호작용들을 시연한다.

arXiv:2607.11064v1cs.CV공통 태그 Pose Estimation, 3D Pose Estimation

WiFi-JEPA: WiFi-CSI 3D 인체 자세 추정을 위한 자기지도학습

WiFi-JEPA: Self-supervised Learning for WiFi-CSI 3D Human Pose Estimation

WiFi 채널 상태 정보(CSI)는 카메라 사용이 불가한 환경에서 프라이버시를 보호하는 인체 자세 감지를 가능하게 하지만, 기존 WiFi 기반 자세 추정기는 환경 변화에 취약하고 확장성을 제한하는 비용이 높은 카메라 기반 어노테이션 파이프라인에 의존한다. 본 논문에서는 WiFi-JEPA를 제안한다. 이는 하드웨어 특유의 아티팩트를 포함할 수 있는 원시 CSI 신호를 재구성하는 대신 마스킹된 잠재 임베딩을 예측함으로써 CSI 고유 표현을 학습하는 자기지도학습 프레임워크이다. WiFi-JEPA는 세 가지 기여를 한다: (i) 채널, 시간, 링크(C,T,L)에 걸친 CSI 텐서에 맞춰 설계된 CSI 전용 토큰화 및 링크 마스킹; 전체 송수신(Tx-Rx) 안테나 링크를 마스킹함으로써 모델이 다른 공간 링크 뷰로부터 하나의 뷰를 예측하도록 강제하여, 3D 공간 구조에 관한 정보를 담은 교차 링크 상관관계를 포착한다. (ii) 무작위화된 기하학적 프리미티브로부터 다양한 비레이블 CSI를 생성하는 레이 트레이싱 CSI 시뮬레이션 파이프라인으로, 자세 어노테이션 없이 확장 가능한 사전학습 데이터를 제공한다. (iii) Person-in-WiFi-3D에서의 최첨단 결과: WiFi-JEPA는 동일한 평가 프로토콜 하에서 단일 및 다중 인물 3D 자세 추정 모두에서 기존 WiFi-CSI 기준 모델을 능가한다. 또한 시뮬레이션된 CSI가 실제 CSI에 대한 보완적인 사전학습 신호를 제공하며, 비전 고유의 자기지도학습(SSL) 목적 함수 네 가지는 처음부터 학습하는 것보다 성능을 저하시키는 반면, WiFi-JEPA는 다운스트림 자세 추정을 일관되게 향상시킴을 보인다.

arXiv:2607.05787v1cs.CV공통 태그 Pose Estimation, Motion Synthesis

DeSeG: 물리적으로 타당한 인간-장면 상호작용을 위한 의미적 의도와 기하학적 제약의 분리

DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction

물리적으로 타당한 인간-장면 상호작용(HSI)을 합성하는 것은 컴퓨터 비전(CV)과 인간 아바타 개발에서 여전히 중요한 과제로 남아 있다. 최근 생성 모델들이 다양한 동작 합성을 가능하게 하지만, 의미-기하학적 얽힘(semantic-geometric entanglement)이라 불리는 귀납적 바이어스 문제를 겪고 있다. 학습 데이터에서 공간적 제약이 특정 행동과 강하게 연관되는 경우가 많기 때문에, 단일 모델은 이러한 단축 바이어스를 학습하여 엄격한 기하학적 단서에 직면했을 때 의미적 의도를 과도하게 무시하게 된다. 더욱이 이러한 얽힘은 신체-장면 관통과 같은 물리적 환각(hallucination)을 악화시킨다. 이러한 한계를 해결하기 위해, 우리는 의미적 의도와 기하학적 제약을 명시적으로 분리하는 계층적 프레임워크인 DeSeG를 제안한다. 먼저, 텍스트 지시문과 정규화된 목표 복셀(voxel)을 소형 잠재 공간(latent space)으로 인코딩하는 잔차 의미 플래너(Residual Semantic Planner)를 도입하여 공간 궤적과 독립적인 세밀한 의미 제어를 가능하게 한다. 다음으로, 미분 가능한 반발 포텐셜 필드를 확산(diffusion) 목적 함수에 직접 통합하여 충돌 인식 동작 생성을 강제하는 물리 정규화 확산 실행기(physics regularized diffusion executor)를 제안한다. Lingo 데이터셋에 대한 광범위한 실험을 통해 DeSeG가 최신 기준 모델(SOTA baselines) 대비 평균 장면 관통을 47% 감소시키고 의미 정렬을 29% 향상시키며 최고 성능을 달성함을 입증한다.

arXiv:2606.18243v1cs.CV공통 태그 Pose Estimation, Motion Synthesis

MOCHI: 협업형 인간-객체 상호작용의 모션 향상

MOCHI: Motion Enhancement of Collaborative Human-object Interactions

협업형 인간-객체 상호작용은 참여자와 공유 객체 간의 상호 예측과 지속적인 조정을 요구하는 역동적이고 복잡한 움직임을 보입니다. 이러한 협업형 다중 인간-객체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기초 단계로 필수적이지만, 인간-인간 및 인간-객체 상호작용이 동시에 발생하는 MHOI의 내재된 복잡성으로 인해 이는 어려운 과제입니다. 이러한 복잡성은 손과 객체 간의 접촉 정렬 불일치, 캡처된 시퀀스의 모션 지터(jitter) 및 시간적 불일치, 그리고 손가락 수준의 관절 세부 정보 누락 또는 불완전함과 같은 여러 아티팩트(artifacts)가 특징인 노이즈가 섞인 MHOI 캡처 데이터로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 노이즈가 섞인 MHOI 데이터를 향상시키기 위한 2단계 프레임워크인 MOCHI를 제시합니다. 우리의 접근 방식은 먼저 노이즈가 섞인 신체 입력을 통해 최적화를 수행하여 물리적으로 타당한 손 그립(grasp)을 생성함으로써, 신체 자세와 의미적으로 일치하는 그립을 만들어내고, 이러한 최적화된 그립을 완전한 손-객체 상호작용 시퀀스로 확장합니다. 결과적으로, 모든 참여자의 전신 모션은 단일 인간 모션 사전(priors)을 사용하는 디퓨전 기반 노이즈 최적화 프레임워크를 통해 정제됩니다. 최적화 과정에서, 우리는 이러한 단일 인간 사전 내에 인간-객체 및 인간-인간 상호작용 정보를 인코딩하기 위한 최적화 목적 함수(objectives)를 도입합니다. 실험 결과는 기존 캡처 방법으로 획득되었거나 생성 모델에 의해 합성된 다양한 MHOI 데이터에 걸쳐 우리 파이프라인의 효과성을 입증합니다. 우리는 또한 참여자 수와 상호작용 유형의 변화에 따른 시스템의 견고성(robustness)을 보여주며, 키프레임 기반 MHOI 생성 및 다양한 객체 형상(geometries)을 통한 데이터 증강을 포함한 다양한 응용 사례를 시연합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.