Physics-based Human Motion Estimation and Synthesis from Videos
원문 초록
Human motion synthesis is an important problem with applications in graphics, gaming and simulation environments for robotics. Existing methods require accurate motion capture data for training, which is costly to obtain. Instead, we propose a framework for training generative models of physically plausible human motion directly from monocular RGB videos, which are much more widely available. At the core of our method is a novel optimization formulation that corrects imperfect image-based pose estimations by enforcing physics constraints and reasons about contacts in a differentiable way. This optimization yields corrected 3D poses and motions, as well as their corresponding contact forces. Results show that our physically-corrected motions significantly outperform prior work on pose estimation. We can then use these to train a generative model to synthesize future motion. We demonstrate both qualitatively and quantitatively improved motion estimation, synthesis quality and physical plausibility achieved by our method on the Human3.6m dataset~\cite{h36m_pami} as compared to prior kinematic and physics-based methods. By enabling learning of motion synthesis from video, our method paves the way for large-scale, realistic and diverse motion synthesis. Project page: \url{https://nv-tlabs.github.io/publication/iccv_2021_physics/}
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
임의의 캐릭터 토폴로지 간 신경망 기반 모션 블렌딩
Neural Motion Blending Across Arbitrary Character Topologies
캐릭터 애니메이션에서 모션 블렌딩(motion blending)은 기존 예시들 사이를 보간하여 새로운 모션을 합성하는 것을 가능하게 한다. 현재 방법들은 일반적으로 고정된 스켈레톤 토폴로지에 제한되어, 캐릭터 간에 동일하거나 거의 동일한 골격 구조를 요구한다. 우리는 이종(heterogeneous) 스켈레톤 간 모션 블렌딩을 위한 새로운 프레임워크를 제시한다. 제안된 아키텍처는 모션 상태의 프레임별 잠재 표현(latent representation)을 추출하는 의미론적 인코더(semantic encoder)와, 이 잠재 코드에 조건화되어 캐릭터별 모션을 재구성하는 확산 기반(diffusion-based) 디코더를 결합한다. 추론 시, 두 입력 모션의 잠재 표현을 보간함으로써 블렌딩된 모션을 얻는다. 우리는 동일한 스켈레톤 토폴로지와 서로 다른 스켈레톤 토폴로지 모두에서 정의된 모션을 사용하여 Truebones Zoo 데이터셋으로 해당 방법을 학습하고 평가하며, 다양한 시나리오에서 자연스럽고 그럴듯한 블렌딩을 달성할 수 있음을 입증한다.
GNOCHI: 근접 인간-인간 상호작용을 위한 생성 신경 모델
GNOCHI: Generative Neural mOdel for Close Human-Human Interactions
가상 환경에서 사실적인 3D 인간-인간 상호작용을 생성하는 것은 인체의 높은 자유도와 서로 충돌하지 않는 물리적으로 정확한 자세가 필요하기 때문에 어렵다. 인간-인간 상호작용에 대한 전통적인 방법들은 모션 트래킹 또는 3D 신체 재구성에 기반하지만 생성 능력이 부족하다. 최근의 생성 방법들은 텍스트나 이미지 입력을 통해 개별 또는 상호작용하는 모션의 합성을 가능하게 하지만, 일반적으로 근접 상호작용 모델링에서는 한계를 보인다. 본 논문은 조건부 변분 오토인코더(cVAE)를 사용하여 근접 3D 인간-인간 상호작용을 위한 새로운 생성 모델을 소개하며, 이 모델은 다른 사람의 자세를 조건으로 한 사람의 자세를 생성하여 제어 가능하고 다양한 상호작용 합성을 가능하게 한다. 모델 학습을 위해 인간-인간 상호작용 분야의 두 가지 오랜 과제를 해결한다. 첫째, 데이터 부족 문제에 대해서는 합성적이면서도 사실적인 상호작용 자세를 생성하는 자동화된 지도 학습 기반 데이터 증강 전략을 제안하고, 둘째, 생성 접근법에서의 충돌 인식 문제에 대해서는 물리적으로 올바른 상호작용을 보장하기 위해 체적 프록시를 사용한 충돌 해소 기법에 기반한 자기지도 손실을 제안한다. 본 논문은 모델의 역량을 광범위하게 평가하고, 현재 최신 방법으로는 생성할 수 없는 다양하고 물리적으로 올바른 상호작용들을 시연한다.
DeSeG: 물리적으로 타당한 인간-장면 상호작용을 위한 의미적 의도와 기하학적 제약의 분리
DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction
물리적으로 타당한 인간-장면 상호작용(HSI)을 합성하는 것은 컴퓨터 비전(CV)과 인간 아바타 개발에서 여전히 중요한 과제로 남아 있다. 최근 생성 모델들이 다양한 동작 합성을 가능하게 하지만, 의미-기하학적 얽힘(semantic-geometric entanglement)이라 불리는 귀납적 바이어스 문제를 겪고 있다. 학습 데이터에서 공간적 제약이 특정 행동과 강하게 연관되는 경우가 많기 때문에, 단일 모델은 이러한 단축 바이어스를 학습하여 엄격한 기하학적 단서에 직면했을 때 의미적 의도를 과도하게 무시하게 된다. 더욱이 이러한 얽힘은 신체-장면 관통과 같은 물리적 환각(hallucination)을 악화시킨다. 이러한 한계를 해결하기 위해, 우리는 의미적 의도와 기하학적 제약을 명시적으로 분리하는 계층적 프레임워크인 DeSeG를 제안한다. 먼저, 텍스트 지시문과 정규화된 목표 복셀(voxel)을 소형 잠재 공간(latent space)으로 인코딩하는 잔차 의미 플래너(Residual Semantic Planner)를 도입하여 공간 궤적과 독립적인 세밀한 의미 제어를 가능하게 한다. 다음으로, 미분 가능한 반발 포텐셜 필드를 확산(diffusion) 목적 함수에 직접 통합하여 충돌 인식 동작 생성을 강제하는 물리 정규화 확산 실행기(physics regularized diffusion executor)를 제안한다. Lingo 데이터셋에 대한 광범위한 실험을 통해 DeSeG가 최신 기준 모델(SOTA baselines) 대비 평균 장면 관통을 47% 감소시키고 의미 정렬을 29% 향상시키며 최고 성능을 달성함을 입증한다.
MOCHI: 협업형 인간-객체 상호작용의 모션 향상
MOCHI: Motion Enhancement of Collaborative Human-object Interactions
협업형 인간-객체 상호작용은 참여자와 공유 객체 간의 상호 예측과 지속적인 조정을 요구하는 역동적이고 복잡한 움직임을 보입니다. 이러한 협업형 다중 인간-객체 상호작용(MHOI) 시나리오를 모델링하려면 고품질 데이터 획득이 기초 단계로 필수적이지만, 인간-인간 및 인간-객체 상호작용이 동시에 발생하는 MHOI의 내재된 복잡성으로 인해 이는 어려운 과제입니다. 이러한 복잡성은 손과 객체 간의 접촉 정렬 불일치, 캡처된 시퀀스의 모션 지터(jitter) 및 시간적 불일치, 그리고 손가락 수준의 관절 세부 정보 누락 또는 불완전함과 같은 여러 아티팩트(artifacts)가 특징인 노이즈가 섞인 MHOI 캡처 데이터로 이어집니다. 이러한 문제를 해결하기 위해, 우리는 노이즈가 섞인 MHOI 데이터를 향상시키기 위한 2단계 프레임워크인 MOCHI를 제시합니다. 우리의 접근 방식은 먼저 노이즈가 섞인 신체 입력을 통해 최적화를 수행하여 물리적으로 타당한 손 그립(grasp)을 생성함으로써, 신체 자세와 의미적으로 일치하는 그립을 만들어내고, 이러한 최적화된 그립을 완전한 손-객체 상호작용 시퀀스로 확장합니다. 결과적으로, 모든 참여자의 전신 모션은 단일 인간 모션 사전(priors)을 사용하는 디퓨전 기반 노이즈 최적화 프레임워크를 통해 정제됩니다. 최적화 과정에서, 우리는 이러한 단일 인간 사전 내에 인간-객체 및 인간-인간 상호작용 정보를 인코딩하기 위한 최적화 목적 함수(objectives)를 도입합니다. 실험 결과는 기존 캡처 방법으로 획득되었거나 생성 모델에 의해 합성된 다양한 MHOI 데이터에 걸쳐 우리 파이프라인의 효과성을 입증합니다. 우리는 또한 참여자 수와 상호작용 유형의 변화에 따른 시스템의 견고성(robustness)을 보여주며, 키프레임 기반 MHOI 생성 및 다양한 객체 형상(geometries)을 통한 데이터 증강을 포함한 다양한 응용 사례를 시연합니다.
RGB-D 영상 및 3차 스플라인 호장 적분을 이용한 곡률 인지 온실 오이 3D 길이 추정
Curvature-aware 3D length estimation of greenhouse cucumbers using RGB-D imaging and cubic spline arc-length integration
상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.