PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.09231v4cs.CV

골격 자세 궤적을 위한 탄성 형상 변이형 오토인코더

An Elastic Shape Variational Autoencoder for Skeleton Pose Trajectories

심층 생성 모델(deep generative model)은 이미지, 비디오, 3D 객체, 텍스트와 같은 복잡하고 구조화된 데이터를 모델링하기 위한 유연한 프레임워크를 제공합니다. 그러나 인간 골격 시퀀스에 적용할 때 표준 변이형 오토인코더(VAE)는 형상 및 그 움직임의 고유한 기하학적 구조보다는 카메라 방향, 피험자 크기, 시점, 실행 속도와 같은 방해 요인(nuisance factor)에 상당한 용량을 할당하는 경우가 많습니다. 본 논문에서는 켄달 형상 다양체(Kendall's shape manifold) 상의 TSRVF(transported square-root velocity field) 표현을 활용하여 골격 궤적을 모델링하는 기하학 인식 생성 모델인 탄성 형상 변이형 오토인코더(ES-VAE, Elastic Shape - Variational Autoencoder)를 제안합니다. 이 표현은 형상의 강체 평행이동, 회전, 전역 스케일링뿐만 아니라 시퀀스의 시간적 속도 변동성을 본질적으로 제거하여 기저의 형상 동역학을 분리합니다. ES-VAE 인코더는 리만 로그 사상(Riemannian logarithm map)을 통합하여 골격 시퀀스를 저차원 잠재 공간에 매핑하며, 디코더는 대응하는 지수 사상(exponential map)을 사용하여 시퀀스를 재구성합니다. 두 가지 데이터셋에서 ES-VAE의 효과를 입증합니다. 첫째, 임상 이동성 점수를 예측하고 피험자를 건강한 그룹과 뇌졸중 후 그룹으로 분류하기 위해 골격 보행 주기를 분석합니다. 둘째, NTU RGB+D 데이터셋에서 행동 인식을 평가합니다. 두 환경 모두에서 ES-VAE는 표준 VAE 및 시간 합성곱 신경망(TCN), 트랜스포머(transformer), 그래프 합성곱 신경망(GCN)을 포함한 다양한 시퀀스 모델링 베이스라인을 일관되게 능가합니다. 보다 넓은 관점에서 ES-VAE는 자세 형상 다양체 상의 종단적 데이터에 대한 생성 모델을 학습하기 위한 원칙적인 프레임워크를 제공하며, 기존 심층 학습 접근 방식에 비해 향상된 잠재 표현과 다운스트림 성능을 제공합니다.