본 논문에서는 단안 비디오로부터 물리적으로 타당한 글로벌 3D 인간 모션을 복원하는 프레임워크인 FlowHMR을 제시합니다. 기존의 학습 기반 방법들은 일반적으로 비디오에서 직접 인간 모션을 회귀하고 기하학적 지도 학습(geometric supervision)을 통해 네트워크를 학습시킵니다. 그러나 단안 비디오에서 인간 모션을 복원하는 것은 깊이(depth) 측면에서 본질적으로 모호하며, 직접 회귀 방식은 평균화된 해(averaged solution)로 수렴하는 경향이 있습니다. 또한 복원된 모션이 물리적으로 타당하다고 보장되지 않아, 물리 기반 추적이 실패하는 경우가 빈번합니다. 이러한 문제를 해결하기 위해, 우리는 비디오 모션 캡처를 비디오 조건부 모션 생성 문제로 공식화하고 먼저 이 작업을 위한 플로우 매칭(flow matching) 모델을 사전학습(pre-training)합니다. 입력 비디오가 주어지면 사전학습된 모델이 다양한 모션 후보들을 생성하지만, 이들 모두가 비디오에 충실하거나 물리적으로 추적 가능한 것은 아닙니다. 따라서 우리는 두 가지 보상(reward)을 사용하는 그룹 상대 정책 최적화(GRPO)를 통해 모델을 사후학습(post-training)합니다. 충실도 보상(fidelity reward)은 입력 비디오와의 일관성을 장려합니다. 추적 보상(tracking reward)은 물리 기반 컨트롤러가 성공적으로 추적할 수 있는 모션을 선호하도록 합니다. 이 두 보상이 결합되어 모델의 출력 선호도를 전환함으로써, 사후학습된 모델은 입력 비디오에 충실하면서도 더욱 물리적으로 타당한 모션을 생성합니다. 나아가 야생 환경(in the wild)에서의 인간 모션 복원을 평가하기 위해 약 4천 개의 인터넷 비디오로 구성된 대규모의 다양한 데이터셋인 Wild-4K를 소개합니다. Wild-4K에 대한 정성적 및 정량적 실험 결과, 제안하는 방법이 전반적인 모션 충실도에서 최첨단 방법들을 능가하며, 가장 강력한 기준선인 GVHMR의 62.82%에 비해 82.47%의 물리적 추적 성공률을 달성함을 보여줍니다.
보행 분석은 보행 기능에 대한 객관적인 특성화를 제공하며, 신경계 및 정형외과적 질환 전반에 걸친 진단 및 재활 모니터링을 지원하는 데 널리 활용됩니다. 이 분야에 심층 학습(deep learning)의 적용이 점차 확대되고 있으나, 대부분의 접근법은 질환 라벨이 부착된 데이터로 학습된 지도 분류기에 의존하여 이질적인 병적 양상에 대한 일반화가 제한적입니다. 본 연구의 방법론적 목표는 마커리스 멀티 카메라 모션 캡처 시스템으로 획득한 성인 150명의 규범적 보행 시퀀스만으로 학습된 트랜스포머(Transformer) 마스크드 오토인코더를 기반으로, 관절 수준의 이상 탐지 및 운동학적 교정을 수행하는 무라벨(label-free) 프레임워크를 개발하는 것입니다. 추론(inference) 시에는 병적 상태일 가능성이 있는 입력 시퀀스에 2단계 절차가 적용됩니다. 먼저 개별 관절을 가리고 학습된 규범적 사전 확률(prior)로부터의 편차를 측정하여 관절 불일치 점수를 추정합니다. 그런 다음 플래그가 지정된 관절을 인코더 입력에서 제외하고 남아 있는 시공간적 컨텍스트로부터 전체 골격을 재구성하여, 플래그가 지정된 위치에서 교정된 운동학적 궤적을 산출합니다. 검증(validation) 목표는 이 프레임워크가 보지 못한 규범적 보행을 보존하고 시뮬레이션된 비정상 보행 패턴에서 각도 편차를 줄이는지 평가하는 것입니다. 개념 증명 평가에서 7가지 시뮬레이션 비정상 보행 패턴을 수행한 10명의 미공개(held-out) 규범적 참가자 데이터를 통해 큰 효과 크기(effect size)로 분석된 모든 관절에서 각도 편차의 유의미한 감소와 규범적 운동학 보존이 입증되었습니다. 제안된 접근법은 질환 라벨 없이도 학습된 규범적 보행 패턴과 일치하지 않는 관절을 해석 가능하고 대상자 맞춤형으로 국소화하며, 개인화된 규범적 재구성을 생성할 수 있도록 지원합니다. 비디오는 https://youtu.be/Rcm3jqR5pN4 에서 확인할 수 있습니다.
인체에 작용하는 지면 접촉력(ground contact forces)은 생체역학 연구나 스포츠 수행 분석에 매우 중요하다. 기존 방법은 지면 접촉 역학을 수집하기 위해 힘판(force plate)이나 압력 매트(pressure mat)에 의존하여, 신중하게 통제된 환경에서만 적용 가능성이 제한된다. 더 확장 가능한 해결책은 모션 캡처(motion capture) 데이터로부터 역학을 직접 추정하는 것이다. 최근 접근법은 신체와 지면 사이의 수직 거리만으로 지면 접촉 역학을 대략적으로 추정하여, 모든 접촉점의 복잡한 압력 분포를 포착할 수 없다. 이를 위해 우리는 GraCE(Gravity-guided Contact Dynamics Estimation, 중력 유도 접촉 역학 추정)를 제안한다. 이는 신체 질량 분포와 중력의 현실적인 영향을 사용하는 인체 동작용 새로운 전신 접촉 역학 모델이다. 인체의 무게중심(center of gravity)을 사용하여, 신체에 대한 상대 거리에 기반해 지면 접촉을 추정한다. 각 접촉에 가해지는 힘은 예측된 접촉 확률과 질량중심(center of mass) 궤적로부터 계산된 총 외력의 곱을 통해 추정한다. GroundLink 데이터셋에서 지면 반력(ground reaction force) 추정에, MOYO 데이터셋에서 상세 접촉 압력 예측에 관련 연구를 능가한다. 코드는 https://github.com/cuongle1206/GraCE 에 공개되어 있다.
Action Research Arm Test(ARAT)는 신경 재활에서 널리 사용되는 상지 결과 측정 도구이지만, 순서형 채점은 주관적이며 민감도와 특이도가 제한적이다. 우리는 임상 일상 중 ARAT 평가에 통합된 인공지능(AI) 기반 마커리스 동작 캡처(MMC)가 상지 움직임을 정확하게 재구성하고, 순서형 점수를 넘어 임상적으로 의미 있는 정보를 담은 타당하고 객관적인 운동학적 지표를 제공하는지 평가했다. 20명의 혼합 신경학적 환자로부터 47회 세션(ARAT 과제 1,174건)에 걸쳐, 생체역학적 재구성은 손상 수준 전반에 걸쳐 정확하고 견고했으며, 운동학적 지표는 구성 타당성(construct validity)을 갖춘 측정에서 기대되는 변별 패턴을 보였다. 종단적 사례 연구에서 해당 지표는 순서형 점수가 결여한 특이도와 민감도를 보완했다. 영역 분해(domain decomposition)는 동일한 ARAT 향상 이면에 있는 환자별 회복 프로파일을 드러냈다(특이도), ARAT가 포화된 이후에도 운동학적 개선은 계속 검출되었다(민감도). 따라서 임상 일상에서의 MMC는 순서형 채점을 보완하는 타당하고 객관적이며 민감하고 특이적인 운동학적 측정을 제공할 수 있다.
최근 3D 인간 재구성 분야의 발전으로 전반적인 성능이 향상되었지만, 현재 모델들은 여전히 가장 어려운 실제 시나리오에서 실패한다. 깊이 모호성이나 자기 가림(self-occlusion) 상황에서는 불안정한 기하학, 부정확한 사지 관절, 신뢰할 수 없는 예측을 내는 경우가 많다. 핵심 원인 중 하나는 기존 데이터셋이 견고한 재구성을 지원하는 데 필요한 고해상도 이미지, 고정밀도 주석, 다양한 전신 동작의 조합을 여전히 갖추지 못하고 있다는 점이다. 이 공백을 메우기 위해, 모캡 정확도의 SMPL-X 주석을 갖춘 대규모 4K 멀티뷰 전신 인간 재구성 데이터셋 Human4K를 제안한다. Human4K는 전문 Vicon 모션 캡처 시스템과 동기화된 8뷰 고해상도 카메라 시스템으로 촬영한 600만 장 이상의 4K 이미지를 포함하며, 복잡하고 고도로 관절화되며 강한 자기 가림이 있는 전신 동작을 수행하는 11명의 피험자를 다룬다. 모든 시퀀스는 전신 및 말초부의 정밀한 정렬을 보장하기 위해 Motion-Retargeting and Refinement Module(MRRM)로 처리된다. 실험 결과 Human4K로 학습하면 표준 벤치마크에서 전신 재구성이 일관되게 향상되며, 특히 손, 발, 깊이 모호한 사지 구성에서 큰 폭의 개선을 보인다.
본 연구는 실제 세계의 손 모션 캡처 시나리오에서 실용적으로 사용할 수 있도록 설계된, 새롭고 일반화 가능한 다중 뷰 손 메쉬 재구성(HMR) 모델인 POEM을 제안한다. POEM 모델의 진전은 두 가지 주요 측면으로 구성된다. 첫째, 문제 모델링 측면에서 다중 뷰 스테레오 공간 내에 정적 기준점(basis point)을 임베딩하는 방법을 제안한다. 점은 3D 정보의 자연스러운 표현 형태이며, 각 뷰에서 서로 다른 투영을 갖기 때문에 다양한 뷰 간 특징을 융합하는 이상적인 매개체 역할을 한다. 따라서 본 방법은 간단하면서도 효과적인 아이디어를 활용한다. 즉, 복잡한 3D 손 메쉬는 다음 세 가지 조건을 만족하는 3D 기준점 집합으로 표현할 수 있다. 1) 다중 뷰 스테레오에 임베딩되고, 2) 다중 뷰 이미지로부터 특징을 담으며, 3) 손을 감싼다. 둘째 진전은 학습 전략에 있다. 다섯 개의 대규모 다중 뷰 데이터셋을 결합하여 활용하고, 카메라의 수, 순서, 포즈에 대한 무작위화를 적용한다. 이처럼 방대한 데이터와 다양한 카메라 구성을 처리함으로써, 본 모델은 실제 응용에서 뛰어난 일반화 성능을 보여준다. 그 결과 POEM은 좌우 양손 모두에 대해 사용자 친화적이고 비용 효율적인 다중 뷰 모션 캡처를 가능하게 하는, 매우 실용적인 즉시 사용 가능한(plug-and-play) 솔루션을 제시한다. 모델과 소스 코드는 https://github.com/JubSteven/POEM-v2 에서 이용할 수 있다.
오늘날 웨어러블 기기의 급격한 인기 상승은 근본적으로 독특한 모션 캡처(motion capture) 문제를 제기한다: 특정 시점에 착용된 임의의 센싱 하드웨어 조합으로부터 전신 움직임을 재구성하는 것이다. 그러나 대부분의 연구는 고정된 센서 구성(예: IMU 슈트 또는 HMD 중심 리그)을 가정하며 이를 일반화하지 못한다. 이와 달리, 우리는 모션 캡처가 스마트폰, 스마트워치, 스마트 안경, 스마트 인솔과 같이 비침습적이고 경량인 기기를 우선시해야 하며, 이들 간의 상호작용을 연구해야 한다고 주장한다. 이를 위해 세 가지 기여를 제시한다. 첫째, 일상 작업, 스포츠, 사회적 상호작용을 포함한 50가지 다양한 활동에 걸쳐 이러한 소비자용 센서와 정답 3D 모션을 동기화한 대규모 멀티모달 데이터셋을 공개한다. 둘째, 가용 센서의 임의 부분집합으로부터 모션을 재구성하고 누락된 모달리티를 강건하게 처리하며 물리적으로 타당한 동작을 생성하는 기준선 생성 모델 WHIP을 제안한다. 셋째, 서로 다른 모달리티가 어떻게 상호 보완하는지를 정량화하는 센서 상보성(sensor complementarity)에 대한 체계적인 연구를 수행한다. 코드와 데이터셋은 https://vcai.mpi-inf.mpg.de/projects/WHIP/ 에서 이용 가능하다.
마커리스 모션 추적(Markerless motion tracking)은 지난 10년간 빠르게 발전해왔으며, 현재 행동, 임상, 생체역학 연구에 강력한 기회를 제공하고 있다. 여러 특화된 툴킷이 특정 작업에서 높은 성능을 제공하지만, 기존 도구를 사용하는 데에는 여전히 상당한 기술적 전문성이 요구된다. 다양한 환경에서 비전문가에게 충분한 추적 성능을 제공하는 접근 가능한 통합 솔루션은 아직 부재한 상태다. TrackStudio는 이러한 격차를 해소하기 위해, 기존 오픈소스 도구들을 즉시 사용 가능한 단일의 모듈식 GUI 기반 파이프라인으로 통합하여 개발되었다. 이 툴킷은 프로그래밍 기술 없이도 비디오 녹화 전처리, 녹화 동기화, 자동 2D 및 3D 포즈 추정, 시각화를 제공한다. 우리는 비디오 촬영, 카메라 캘리브레이션, 비디오 동기화, 실험 설정에 대한 실용적인 조언을 담은 사용자 가이드와 함께 일반적인 문제점 및 이를 방지하는 방법에 대한 문서도 제공한다. 툴킷의 성능을 검증하기 위해, 저가형 웹캠 또는 고해상도 카메라를 사용하여 신체 위치, 조명, 공간, 장애물 등 까다로운 조건을 포함한 세 가지 환경에서 성능을 테스트하였다. 76명의 참가자를 대상으로 한 실험에서 평균 프레임 간 상관관계는 0.98을 초과하였고, 평균 삼각측량 오차는 낮게 유지되어(손 추적의 경우 13.6mm 미만) 안정적이고 일관된 추적 성능을 입증하였다. 또한 동일한 파이프라인이 손 추적을 넘어 다른 신체 및 얼굴 부위로 확장 가능함을 보여준다. TrackStudio는 전문적 전문성 없이도 신뢰할 수 있는 성능이 필요한 연구자나 일반인을 위해 마커리스 추적에 접근할 수 있는 실용적인 경로를 제공한다.
마커리스 모션 캡처(MMC) 기법은 인체 동작의 생체역학적 분석에 광범위하게 활용되어 왔으나, 복잡한 손 동작으로의 적용은 다른 근골격계 시스템에 비해 뒤처져 있다. 본 연구의 주요 목표는 MMC를 이용하여 정교하고 비구속적인 손 동작을 추적하기 위해 루프 내 생체역학 모델과 그래디언트 기반 최적화 방식을 구현한 생체역학적 재구성 방법의 성능을 평가하는 것이다. 커스텀 8카메라 설정을 이용하여 6명의 참가자로부터 121개의 비디오 녹화 데이터를 수집하였으며, 참가자들은 6가지 손 자세, 5가지 물체 조작 과제, 그리고 근위 상지 관절 동작을 포함한 총 11가지 과제를 수행하였다. 제안된 MMC 파이프라인의 성능은, 컴퓨터 비전(CV) 자세 추정 알고리즘으로부터 2D 키포인트를 먼저 3D로 삼각측량한 뒤 구속 역기구학 문제를 풀어 생체역학적 제약을 적용하는 보다 일반적으로 채택된 2단계 재구성 방법과 직접 비교되었다. 상대적 성능은 시각적 검사를 통한 정성적 평가와 컴퓨터 비전 지표를 이용한 정량적 평가로 측정하였다. 제안된 방법은 121개 전체 비디오 녹화에 대해 솔루션을 생성한 반면, 2단계 방법은 녹화의 15%에서 수렴하지 못하였다. 나머지 비디오 전반에 걸쳐 제안된 방법은 2단계 방법보다 생체역학적으로 더 타당한 손 운동학을 생성하였으며, 물체가 포함된 과제에서 발생하는 폐색 효과에 더 강인하였다. 엔드-투-엔드 방법의 상대적 강인성은 가용한 2D 디지털 키포인트 정보를 더 효과적으로 활용함을 시사한다. 정교한 동작 중 손 운동학의 자동적이고 생체역학적으로 의미 있는 추적은 임상 평가, 재활 모니터링, 그리고 인체 운동 제어 연구를 지원할 잠재력을 지닌다.
감정적 신체 동작 표현은 비언어적 커뮤니케이션의 핵심 요소이다. 가상현실 아바타나 소셜 로봇공학 분야에서 기술을 통해 이러한 표현을 효과적으로 전달하는 것은 매우 중요하다. 생성 모델의 최근 발전은 감정적 신체 동작 학습 연구를 발전시킬 새로운 기회를 열었다. 그러나 감정 단서의 미묘함, 개인 간 변이성, 문화적 차이로 인해 정확한 감정 표현 표현을 생성하는 것은 어려운 과제이다. 본 연구에서는 생성 모델이 명시적인 감정-동작 지도 없이 문화적으로 기반한 모션 캡처 데이터로부터 직접 감정적 신체 동작을 암묵적으로 학습할 수 있는지 조사한다. 49명의 일본 배우들의 감정 퍼포먼스 데이터셋을 사용하여, 13개의 이산 감정 레이블을 조건으로 표현적 동작을 생성하는 트랜스포머 기반 생성 모델을 학습시켰다. 생성된 동작을 두 가지 관점에서 평가하였다: (1) 기계 관찰자의 인식 가능성을 평가하는 LSTM 기반 분류기로 22.80%의 인식 정확도를 달성하였으며, (2) 인간의 정서적 해석과의 일치도를 평가하기 위한 일본인 평가자 대상 인간 지각 연구에서 24.91%의 인식 정확도를 나타냈다. 이에 더하여, 감정 인식 모델 증강, 감정별 대표 동작 패턴 추출, 감정 강도 간 부드러운 전환 합성이라는 세 가지 실용적 과제에서 생성 모델링의 유용성을 평가하였다. 본 연구 결과는 정서 컴퓨팅(affective computing) 응용 프로그램 강화와 감정 표현에 대한 이해를 높이기 위한 암묵적·데이터 기반 생성 모델링의 잠재력을 부각시킨다.
휴머노이드 동작 모방에서 비전 기반 파이프라인이 접촉 동역학을 무시해 발 미끄러짐·바닥 관통 등이 발생하는 문제를, PressMimic이 모션 캡처부터 제어까지 압력을 통합 모달리티로 활용해 해결한다. 인식 단계의 RGB-압력 융합 모델 FRAPPE++와 강화학습 기반 압력 감독 정책(PSP), 대규모 데이터셋 MotionPRO를 통해 동작 추정 정확도·궤적 일관성·실행 안정성이 향상됨을 보였다.
대규모 인간 모션 데이터셋은 분석, 합성, 이해를 위한 견고한 모션 모델 학습에 필수적이다. 마커 기반 모션 캡처(motion capture)는 정밀한 데이터를 제공하지만, 비용이 크고 규모와 다양성 면에서 제한적이다. 단안(monocular) 모션 캡처와 비디오-언어(video-language) 이해의 최근 발전은 제약 없는 온라인 영상에서 그럴듯한(plausible) 모션을 추출할 길을 열었다. 우리는 실환경(in-the-wild) 인간 모션 데이터셋 구축을 위한 확장 가능한(scalable) 파이프라인을 제안한다. 소수의 키워드만으로 시스템은 영상을 검색하고, 3D 신체 및 얼굴 모션을 추출하며, 고수준(high-level) 텍스트 설명을 생성한다. 이 파이프라인은 유연하여 다양한 동작, 다인원 상호작용, 또는 표현적 행동의 목표 지향적 수집을 가능하게 한다. 우리는 모션 재구성(reconstruction) 및 모션 생성(generation) 모델을 학습하여 품질을 입증하며, 전통적인 모션 캡처 데이터셋으로 학습한 모델과 비슷한 성능과 강한 교차 데이터셋(cross-dataset) 일반화(generalization)를 보인다.
마커 없는 단일 RGB-D 카메라 모션 캡처는 로봇 원격 조작(teleoperation)을 위해 기존 마커 기반 시스템에 대한 저렴하고 비침습적인 대안을 제공합니다. 그러나 깊이 추정(depth estimation)은 자기 가려짐(self-occlusion)이 발생할 때, 특히 상지 운동 중에 자주 저하됩니다. 본 논문은 일정한 팔 길이를 기반으로 하는 기하학적 제약 조건을 강제하여 깊이 추정을 개선하는 팔 운동학 보정(AKC) 방법을 제시합니다. 제안된 접근 방식은 피타고라스 정리를 기반으로 하는 결정론적 공식을 통해 손목 위치와 미리 정의된 팔 길이를 활용하여 가려진 관절 깊이를 재구성하며, 이를 통해 복잡한 확률적 모델링이나 매개변수 튜닝의 필요성을 피합니다. Vicon 기준 시스템에 대한 실험적 검증(validation)은 제곱 평균 제곱근 오차(RMSE)와 피어슨 상관계수를 사용하여 평가한 결과, 정적 및 동적 관절 운동 모두에 대해 신뢰할 수 있는 성능을 보여주었습니다. 또한, 시뮬레이션 및 실제 로봇 환경 모두에서 모션 매핑 원격 조작(teleoperation)이 성공적으로 시연되었습니다. 결과는 AKC가 덜 신뢰할 수 있는 시간적 필터와 함께 사용되는 경우에도 장기간의 심각한 자기 가려짐(self-occlusion) 상황에서 견고성을 향상시키고 해부학적 일관성을 유지함을 보여주며, 이는 로봇 원격 조작(teleoperation) 및 인간-로봇 상호작용(HRI)과 같은 실시간 응용 분야에서의 실용성을 강조합니다.
생성형 3D 에셋의 폭발적 증가는 애니메이션에 대한 막대한 수요를 만들었지만, 현재의 모션 캡처(motion capture) 방법은 여전히 취약하여 종별 특화 템플릿(예: SMPL)에 제한되거나 노동 집약적인 수동 리깅(rigging)을 요구한다. 본 논문은 TopoCap을 소개하는데, 이는 단안 비디오에서 모션을 추출하고 테스트 시점 최적화 없이 이족보행 동물부터 육각보행 동물(hexapod) 및 무생물 객체에 이르는 임의의, 보지 못한 골격 토폴로지를 가진 캐릭터에 리타겟팅(retargeting)할 수 있는 최초의 통합 프레임워크이다. 핵심 통찰은 골격 구조는 조합적(combinatorial)이고 이산적(discrete)인 반면, 모션의 기저 물리는 연속적이고 저차원 매니폴드(manifold)를 차지한다는 것이다. 이 통찰을 2단계 생성 파이프라인을 통해 구현한다. 먼저, 이질적인 운동학적 체인(kinematic chain)을 공유된 고정 길이 잠재 코드(latent code)로 압축하는 Graph CVAE를 사용하여 범용 모션 매니폴드(Universal Motion Manifold)를 학습한다. 타깃 리그(rig)의 구조적 임베딩(embedding)으로 디코더를 명시적으로 조건화함으로써, 모션 역학(motion dynamics)과 골격 토폴로지를 분리(disentangle)한다. 둘째, 비디오-애니메이션 변환을 조건부 flow matching 문제로 취급하여, 시각적 특징으로부터 이러한 토폴로지 무관 코드를 예측한다. 이 일반화된 프라이어를 학습하기 위해 Objaverse-XL에서 큐레이션한 대규모 데이터셋 Mobjaverse를 소개한다. 5,000개 이상의 고유 골격 토폴로지와 200만 프레임으로 구성되며, 기존 데이터셋의 구조적 다양성을 두 자릿수(order of magnitude) 초과한다. 광범위한 실험은 \MethodMotion이 인간 및 사족동물(quadruped) 벤치마크에서 전문(specialist) 모델을 능가하면서, 3D 생물의 롱테일(long tail)에 대해 제로샷(zero-shot) 리타겟팅을 가능하게 함을 보여준다. 데이터셋은 https://huggingface.co/datasets/duckduckplz/Mobjaverse 에서 공개적으로 이용 가능하다.