Real-Time Human Reconstruction and Animation using Feed-Forward Gaussian Splatting
원문 초록
We present HumanGS, a generalizable feed-forward Gaussian splatting framework for human 3D reconstruction and real-time animation from sparse multi-view RGB images and their associated SMPL-X poses. Unlike prior methods that rely on depth supervision, fixed input views, UV maps, repeated feed-forward inference for each target pose or view, or computationally expensive vertex-to-image cross-attention, HumanGS employs a simple transformer architecture that explicitly associates SMPL-X vertices with multi-scale image features through geometric back-projection. This eliminates the need for large pre-trained human representation models while naturally aggregating complementary information from multiple views. The aggregated vertex features are mapped by a lightweight MLP decoder to a canonical set of 3D Gaussian primitives aligned with SMPL-X vertices. One Gaussian is regularized to remain close to the SMPL-X surface, providing a strong geometric prior and stable correspondence to the parametric body model, while a small set of unconstrained Gaussians per vertex captures geometric details beyond the body surface, such as clothing and hair. The resulting canonical representation is animated efficiently using linear blend skinning and Gaussian rasterization without further network inference. Trained entirely from scratch on only 10K frames from THuman2.1, HumanGS achieves reconstruction quality comparable to or better than state-of-the-art methods while reducing reconstruction time by over 15 times compared to recent transformer-based approaches, enabling real-time animation and interactive applications. Code and pre-trained models are available at https://github.com/Devdoot57/HumanGS .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2604.10259v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TOM-GS: 정적 3D 가우시안의 시간적 불투명도 변조를 통한 편집 가능한 비디오 표현
TOM-GS: Editable Video Representation via Temporal Opacity Modulation of Static 3D Gaussians
암시적 신경 표현(INR)과 동적 3D 가우시안 스플래팅(3DGS)은 비디오 처리에서 인상적인 결과를 달성하지만, 쉽게 편집할 수 있는 표현을 만들기에는 종종 부족하다. 최근 방법들은 복잡한 공간 변형이나 접힌 분포를 도입하여 이를 해결하지만, 이는 최적화를 제약하고 하위 편집 작업의 유연성을 줄인다. 본 논문에서는 복잡한 변형 대신 연속적인 시간적 불투명도 공식을 갖춘 일반적인 3D 가우시안을 사용하는 편집 가능한 비디오 표현인 TOM-GS를 제안한다. 각 가우시안의 불투명도에 학습 가능한 시간적 평균과 스케일을 할당함으로써, 모델은 정적 3D 공간 구성 요소가 장면에서 부드럽게 나타났다 사라지도록 한다. 견고한 기성 포즈 추정에 기반하여, 우리 접근법은 정적 공간 기하학을 유지하며 자연스럽게 다양한 수동 및 물리 기반 편집을 지원한다. TOM-GS는 시각적 충실도에서 기존 편집 가능한 비디오 표현을 능가하며, 표준 3D 가우시안에 의존함으로써 기존 3D 편집 도구와의 원활한 호환성을 보장한다.
신규 뷰 합성을 통한 에일리어싱·저텍스처 환경에서의 희소 시점 기반 시각적 재국소화
Visual Relocalization from Sparse Views in Aliased and Low-Texture Environments via Novel View Synthesis
행성형 지형과 같이 저텍스처, 지각적 에일리어싱(perceptual aliasing), 혹독한 조명, 그리고 전진 로버 이동과 제약 없는 주행 방향으로 인해 희소하고 겹침이 약한 시점(viewpoint)이 형성되는 환경에서는 시각적 국소화(visual localization)가 극히 어렵다. 이러한 조건에서 최신 image-to-image 및 image-to-map 매칭 파이프라인은 성능이 크게 저하된다. 본 연구에서는 3D Gaussian Splatting(3DGS)로 구축한 미분 가능한 맵 표현에 대해 카메라 포즈를 직접 추정함으로써, 고전적인 대응(correspondence) 기반 파이프라인과 다른 시각적 재국소화(visual relocalization) 방법을 제안한다. 핵심 기여는 광도(photometric) 손실과 기하(geometric) 손실을 결합한 기하 인식(geometry-aware) 학습 전략이며, 기하적 지도(supervision)는 MVS(multi-view stereo)와 LiDAR 깊이를 결합하여 최초로 제공된다. 이 공동 최적화는 기본 장면 기하에 더 잘 부합하는 3DGS 모델을 생성하며, 광도·기하 일관성을 향상시키고 더 견고하고 정확한 단일 이미지 6-DoF 포즈 추정으로 이어진다는 것을 보인다. 행성 유사(planetary-analog) 환경에서 수집한 데이터에 대한 광범위한 실험을 통해 접근법의 효과를 검증했으며, 어려운 조건에서 재국소화 정확도가 크게 향상됨을 보였다. 코드는 https://github.com/DLR-RM/multimodal-gsplat-relocalization 에서 제공된다.
GLAM-SLAM: 흐름 밀집화 및 공간 분해를 통한 실시간 가우시안 대규모 매핑
GLAM-SLAM: Real-time Gaussian Large-scale Mapping via Flow Densification and Spatial Decomposition
기존 가우시안 스플래팅(Gaussian Splatting) 기반 단안 동시 위치 추정 및 지도 작성(SLAM) 시스템은 짧은 시퀀스에 특화되어 있거나 실시간이 아니거나, 과도한 GPU 메모리 요구로 인한 문제가 있어 현실적인 장기 시나리오에서의 적용이 제한된다. 이를 해결하기 위해, 대규모 실외 장면을 위해 설계된 실시간 분리형(decoupled) 가우시안 스플래팅 SLAM 시스템인 GLAM-SLAM을 제안한다. 견고한 특징(feature) 기반 SLAM 프론트엔드를 사용하여 경량 추적을 보장하고, 매핑에서는 구조화된 희소 앵커 그리드 표현을 채택하여 확장 가능한 동작을 보장하고 장기 시퀀스에 걸친 장면 일관성을 유지한다. 3D 가우시안 스플래팅(3DGS)의 밀집 초기화(initialization) 요구사항을 충족하기 위해, 에피폴라(epipolar) 제약을 사용하는 기하학 기반 흐름 밀집화(flow-densification) 앵커링 전략을 도입한다. 또한 매핑을 다중 장면(multi-scene) 문제로 취급하여, MLP 초기화를 통해 강한 공간적 귀납 바이어스(bias)를 도입하여 국소화된 가우시안을 생성하는 장면 분할(scene-partitioning) 전략을 제안한다. 도전적인 장시퀀 KITTI Odometry, Oxford RobotCar, M'alaga 데이터셋에서 시스템을 평가한다. 광범위한 ablation 및 비교를 통해 두 번째로 우수한 방법 대비 재구성 품질에서 15% 향상을 보이면서, 실시간 성능과 더 긴 시퀀스로 확장 가능한 능력을 유지함을 입증한다. 코드는 커뮤니티를 위해 공개되어 있다.
T3HG-Editor: SMPL-X에 내장된 신체 사전 정보를 활용한 텍스트 기반 3D 인간 의상 편집
T3HG-Editor: Text-driven 3D Human Garment Editing with Body Priors Embedded in SMPL-X
3D 가우시안 편집(3DGE)이 상당한 진전을 이루었지만, 텍스트 기반 3D 인간 의상 편집은 여전히 연구가 거의 이루어지지 않은 상태이다. 기존 3DGE 연구는 일반적으로 다시점 렌더링 이미지에 2D 편집 기법을 적용하고 수정된 이미지를 바탕으로 3D Gaussian을 업데이트하는 패러다임을 따른다. 이러한 방법을 3D 인간 의상 편집에 확장하면 왜곡과 의상 불일치로 인해 저품질 결과가 발생한다. 가상 인간을 위한 풍부한 사전 정보를 담고 있는 SMPL eXpressive(SMPL-X) 모델에서 유망한 돌파구를 찾을 수 있다. 이 통찰에 영감을 받아, SMPL-X에 내장된 기하 및 관절 사전 정보를 활용하여 고품질이며 의상 일관성 있는 결과를 제공하는 텍스트 기반 3D 인간 의상 편집기 T3HG-Editor를 제안한다. 구체적으로, T3HG-Editor는 편집 가능한 Gaussian 획득, 의상 일관성 편집, 그리고 오버플로우 가지치기를 수반한 Gaussian 업데이트의 세 단계로 구성된다. 편집 가능한 Gaussian 획득은 SMPL-X 법선을 따라 Gaussian을 시딩하여 충분한 근표면 Gaussian을 생성하는 것으로 시작하며, 이어 2D 마스크 제약으로 편집 대상 Gaussian을 정밀하게 국소화한다. 의상 일관성 편집은 여러 시점에서 동일한 SMPL-X 정점에 해당하는 토큰을 집계하고 원래 시점으로 전파하여 추가 학습 없이 의상 일관성을 강제한다. 오버플로우 가지치기를 수반한 Gaussian 업데이트는 SMPL-X 위에 정의된 부호 거리 함수(SDF)를 사용해 인간 거리 필드를 구성하고, 이를 2D 의미 마스크와 통합하여 넘치는 Gaussian을 가지치기함으로써 비대상 영역의 오염을 방지한다. 여러 피사체와 다양한 의상 유형에 대한 실험은 T3HG-Editor가 편집 품질과 의상 일관성 모두에서 최신 기법들보다 우수한 성능을 보임을 입증한다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.