Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model
원문 초록
This paper discusses video motion capture, namely, 3D reconstruction of human motion from multi-camera images. After the Part Confidence Maps are computed from each camera image, the proposed spatiotemporal filter is applied to deliver the human motion data with accuracy and smoothness for human motion analysis. The spatiotemporal filter uses the human skeleton and mixes temporal smoothing in two-time inverse kinematics computations. The experimental results show that the mean per joint position error was 26.1mm for regular motions and 38.8mm for inverted motions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
A Design-Intent-Preserving Agent Harness for Parametric CAD Modeling
EgoHTR: 자아시점 4D 인간 지형 통과 시연
EgoHTR: Egocentric 4D Demonstrations of Human Terrain Traversal
비정형 지형에서 휴머노이드 로봇을 배치하는 것은 여전히 미해결 문제이다. 전통적인 강화학습은 실세계 상호작용의 막대한 복잡성 때문에 어려움을 겪는 반면, 인간 사전지식(human priors)을 활용하는 더 유망한 방법들은 맥락 인식이 부족한 모델에 국한되어 있다. 제한된 동작 합성은 기존 데이터셋 파이프라인이 어려운 환경에서 인간-장면(human-scene) 시퀀스를 포착하지 못하는 데서 비롯된 직접적인 결과이다. 휴머노이드 학습과 장면 재구성(scene reconstruction) 사이의 이러한 격차를 메우기 위해, 우리는 자아시점 인간-지형 재구성(Egocentric Human-Terrain Reconstruction, EgoHTR) 데이터셋을 제안한다. 우리는 자아시점 웨어러블과 휴대용 3D 스캐너로 구성된 다중 센서 설정을 사용하여 다양하고 복잡한 환경에서 55개의 장면 정렬(scene-aligned) 4D 인간 동작 시퀀스를 포착하는 재구성 파이프라인을 개발하고 오픈소스로 공개한다. 결과 데이터셋은 15만 프레임 이상으로 구성되며, 우리는 이를 모션 캡처(motion-capture) 정답(ground truth)과 비교 평가하여 최첨단 수준의 정확도를 보여 주고, 인간 동작 분석 및 합성을 위한 엄격한 벤치마크를 확립한다. 또한, 우리는 이 데이터를 활용하여 지각적(perceptive) 보행(locomotion) 정책을 학습하고, 재구성된 기준(reference) 동작에 대해 Unitree G1에서 하드웨어 배포를 시연한다. 우리의 파이프라인은 커뮤니티 주도의 데이터셋 확장을 가능하게 하며, 문제를 분해하여 연구자들이 불균일한 지형을 안정적으로 통과하는 기반적이고 맥락 인식이 가능한 로봇을 구축할 수 있도록 돕는다.
Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation
다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.