arXiv:2610.10945v1 cs.CV

GHARP: 대규모 재구성 사전지식을 활용한 실시간 가우시안 두부 애니메이션

GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior

Ali Benlalah, Sepehr Johari, Patricia Vitoria, Armin Kappeler, Artem Sevastopolsky, Alexander Jung, Gabriele Fanelli, Kevin Mader, Manuel Breitenstein, Claudia Plüss, Jan Rüegg, Simon Biland, Thomas Etterlin, Dmitry Kostiaev, Mathias Deschler 외 2명

제출 2026-10-07

저자 비고

arXiv Comments

Accepted to ACCV 2026. 35 pages (14 main + references + 15 pages supplementary), 14 figures, 17 tables

한국어 초록

본 논문에서는 소수의 대상(피사체) 입력 이미지와 표정 구동 신호로부터 3D 인간 두부를 실시간으로 애니메이션화하는 기법인 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior)를 제안합니다. 우리는 이 문제를 오프라인에서 대상의 기하학적 구조와 외형 표현을 구축하는 신원(identity) 단계와, 런타임에 그 위에서 표정 의존적 잔차를 예측하는 애니메이션 단계로 분리합니다. 이러한 분리는 충실도, 품질 및 런타임 측면에서 유리한 트레이드오프를 제공합니다. 신원 단계는 계산 비용이 높을 수 있는 반면, 애니메이션 단계는 모바일 기기에 최적화된 경량 네트워크를 실행합니다. 본 기법은 사전학습(pre-training)된 재구성 모델의 의미론적으로 구조화된 잠재 공간에서 애니메이션을 수행하며, 이 공간에서는 표정 변화가 공간적으로 국한되어 잔차 예측이 효율적입니다. 이러한 재구성 사전지식은 일관된 공간 배치를 제공하여 여러 입력 시점을 컴팩트하고 고정된 크기의 정규(canonical) 가우시안 표현으로 융합할 수 있도록 합니다. 이러한 2단계 설계가 런타임-품질 트레이드오프를 개선함에도 불구하고, 표정 구동 아바타 기법들에 공통적인 문제점을 여전히 안고 있습니다. 즉, 표정 코드는 얼굴만을 설명하므로 신체 자세와 의복 위치를 누락하여 입력에서 이러한 영역이 불완전하게 지정됩니다. 애니메이션 네트워크는 잘못 설정된 매핑 문제에 직면하여 상충하는 신체 외형을 평균화하게 되고, 이로 인해 블러와 시간적 깜빡임(flicker)이 발생합니다. 우리는 타깃 이미지의 신체를 입력 참조 이미지와 정렬하도록 학습하여 학습(training) 신호에서 모호성을 제거하는 신체 정렬 네트워크를 통해 이 문제를 해결합니다. 본 기법은 Ava-256 벤치마크(benchmark)에서 최고 수준(state-of-the-art)의 품질을 달성하는 동시에, A100 GPU에서 8배 더 적은 가우시안을 사용하여 최대 13배 빠르게 실행됩니다.

원문 초록

We present GHARP (Real-time Gaussian Head Animation from Large-scale Reconstruction Prior), a method that animates 3D human heads in real time from a few input images of a subject and a driving expression signal. We decouple the problem into an identity stage that builds a representation of the subject's geometry and appearance offline, and an animation stage that predicts expression-dependent residuals on top of it at runtime. This separation offers a favorable trade-off with respect to fidelity, quality and runtime: the identity stage can be expensive while the animation stage runs a lightweight network, optimized for mobile devices. Our method performs animation in a semantically structured latent space of a pretrained reconstruction model, where expression changes remain spatially contained, making residual prediction efficient. This reconstruction prior provides a consistent spatial layout, allowing fusion of multiple input views into a compact, fixed-size canonical Gaussian representation. While this two-stage design improves the runtime-quality trade-off, it still inherits a problem common to all expression-driven avatar methods: expression codes describe only the face and thus omit body pose and clothing position, making these regions underspecified in the input. The animation network faces an ill-posed mapping and resorts to averaging over conflicting body appearances, producing blur and temporal flicker. We address this with a body alignment network that learns to align the person's body in the target image with the input reference images, removing the ambiguity from the training signal. Our method achieves state-of-the-art quality on the Ava-256 benchmark while running up to 13x faster on an A100 GPU with 8x fewer Gaussians.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10945v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03599v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting, head avatar

ManifoldSplat: 언어 유도 기반 3D 가우시안 헤드 아바타의 시맨틱 형상 편집

ManifoldSplat: Language-Guided Semantic Shape Editing of 3D Gaussian Head Avatars

고충실도(High-fidelity) 3D 헤드 아바타는 실사에 가까운 품질에 도달했습니다. 최근 방식들은 텍스트 기반 조작을 가능하게 하지만, 특징들이 서로 얽히거나 기하학적 일관성이 결여되는 경우가 많아 세밀한 국소적 제어를 제공하는 데 어려움을 겪고 있습니다. 자연어를 통해 기하학적 구조를 수정하는 것은 현재 프롬프트(prompt)별 느린 최적화를 필요로 하거나 정체성(identity) 및 리깅(rigging)을 저해합니다. 본 논문에서는 단안 비디오에서 재구성된 애니메이션 가능한 3D 가우시안 스플래팅(3D Gaussian Splatting) 아바타에 대해, 언어 유도 기반 시맨틱 형상 편집을 수행하는 최초의 엔드투엔드(end-to-end) 프레임워크인 ManifoldSplat을 제시합니다. 비정형 가우시안 클라우드를 직접 최적화하는 대신 정형화된 FLAME 다양체(manifold) 내에서 편집을 수행함으로써, 정체성과 애니메이션을 엄격하게 보존합니다. 또한 피드포워드 형상 델타를 제공하는 영역별 얽힘 해제 조건부 변이형 오토인코더(CVAE)인 DeltaRegion과 함께, 시점 일관적인 세부 사항을 복원하기 위한 정제 단계를 도입합니다. ManifoldSplat은 소비자용 GPU에서 아바타를 약 90초 만에 재구성 및 편집하며, 약 800 FPS로 렌더링합니다. 광범위한 평가를 통해 본 접근법이 국소적 프롬프트 정렬, 기하학적 일관성, 정체성 보존 측면에서 새로운 SOTA(state-of-the-art)를 달성함을 입증합니다. 프로젝트 페이지 및 코드: https://a-canela.github.io/manifoldsplat/

arXiv:2607.14203v2cs.GR공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2610.13757v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2610.11011v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

PCAsplat: 국소 PCA 정규화를 적용한 가우시안 스플래팅

PCAsplat: Gaussian Splatting with Local PCA Regularization

가우시안 스플래팅(Gaussian splatting)은 포즈가 지정된 이미지로부터 3D 재구성(3D reconstruction)을 수행하기 위한 유연한 표현 방식으로 부상했습니다. 그러나 기존 방법들은 주로 래스터화 기반 손실을 사용하여 최적화되므로, 샘플링된 카메라 광선에 기여할 때만 스플랫을 지도(supervise)합니다. 따라서 가려지거나 샘플링된 시점에 거의 기여하지 않는 가우시안은 기하학적 그래디언트를 약하게 받거나 전혀 받지 못해 기저 표면에서 벗어나 표류하면서 원치 않는 부유물(floater)을 생성할 수 있습니다. 본 연구에서는 미분 가능한 국소 주성분 분석(PCA)에 기반한 가우시안 스플래팅용 기하학 인지 정규화 프레임워크인 PCAsplat을 제안합니다. 제안하는 PCA 정규화기는 가우시안 중심의 이웃에 직접 작용하므로 현재 학습 뷰에 기여하지 않는 가우시안도 업데이트할 수 있습니다. 또한 PCA 고윳값을 정규화하여 가우시안이 등방성 접평면 커버리지를 가지며 기저 표면으로 이동하도록 유도합니다. 아울러 각 가우시안 법선을 PCA로 추정한 이웃 법선과 정렬하여 일관된 방향성을 강제합니다. DTU, Tanks and Temples, NeRF Synthetic 데이터셋에 대한 실험 결과, PCAsplat으로 생성된 스플랫은 원치 않는 부유물을 대폭 줄이면서도 참조 표면의 샘플을 더 잘 근사함을 보여줍니다. 이렇게 표면에 정렬된 스플랫은 포인트 클라우드 분할(segmentation) 및 직접 포아송 재구성을 포함한 다운스트림 기하학 처리 작업을 가능하게 합니다. 또한 PCAsplat은 기존의 신규 시점 합성(novel view synthesis) 및 메시 추출 작업에서도 경쟁력을 유지합니다. 코드는 공개될 예정입니다.

arXiv:2609.29963v2cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당

ADATEX4D: adaptive texture capacity allocation for 4D gaussian splatting

텍스처가 적용된 가우시안(Textured Gaussians)은 국소적 외관 표현 능력을 향상하지만, 모든 프리미티브에 동일한 텍스처 해상도를 할당하면 세부 표현이 적거나 시인성이 낮은 영역에서 저장 공간이 낭비됩니다. 본 논문에서는 변형 기반 4D 가우시안 스플래팅(4D Gaussian Splatting)을 위한 적응형 텍스처 용량 모듈인 AdaTex4D를 제안합니다. 각 가우시안은 패킹된 RGBA 트라이플레인(triplane)을 포함하며, 이 트라이플레인의 두 축은 시인성 정규화 화면 공간 그래디언트와 변형된 국소적 스케일에 따라 독립적으로 확장됩니다. N3DV 및 PanopticSports 데이터셋에 대한 실험 결과, AdaTex4D는 재구성 품질을 유지하면서 텍스처 저장 공간을 절반 이상 줄이는 것으로 나타났습니다. 고정된 메모리 예산 하에서도 적응형 할당은 균일한 텍스처 할당에 비해 품질을 개선하고 전체 모델 크기 및 최대 메모리 사용량을 감소시킵니다. 이러한 결과는 동적 비등방성 텍스처 할당이 4D 가우시안 표현에서 국소적 외관 표현 용량을 분배하는 데 더욱 효율적인 방안을 제공함을 보여줍니다.

arXiv:2610.03192v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

PocketSplat: 월드 공간 잠재 할당을 통한 모바일 가우시안 재구성

PocketSplat: Mobile Gaussian Reconstruction via World-Space Latent Allocatio

모바일 가우시안 재구성(Gaussian reconstruction)은 두 가지 요구사항을 만족해야 합니다. 재구성 모델(model)이 기기의 자원 제약 범위 내에서 실행되어야 하며, 생성된 가우시안 에셋이 다운스트림 모바일 활용에 적합한 표현 크기를 가져야 한다는 점입니다. 기존의 피드포워드(feed-forward) 가우시안 재구성 기법들은 흔히 입력 해상도와 뷰(view) 수에 의해 최종 개수가 암묵적으로 결정되는 조밀한 이미지 정렬 후보군을 디코딩합니다. 본 논문에서는 정해진 예산 내에서 모바일 가우시안 에셋을 구축하기 위한 피드포워드 프레임워크인 PocketSplat을 제안합니다. 정해진 출력 예산이 주어지면, PocketSplat은 예측된 월드 공간(world space)에서 기하학을 인식하는 조밀한 잠재 후보들을 구성하고, 국소 잠재 셀 전반에 정확한 정수 용량을 할당하며, 유지된 후보에 대해서만 완전한 가우시안 속성을 디코딩합니다. 셀 조건부 잠재 융합(cell-conditioned latent fusion)은 디코딩 전에 반복되는 다중 뷰 증거를 집약하고, 공간적 책임 디코딩(spatial responsibility decoding)은 국소 희소화(sparsification) 이후 가우시안 지지 영역(support)을 적응시킵니다. DL3DV 및 분포 외(OOD) 벤치마크 실험을 통해 피드포워드 가우시안 재구성 베이스라인 대비 강력한 품질-예산 간의 트레이드오프를 입증했습니다. Mip-NeRF 360에서 PocketSplat은 타깃 iPhone에서 직접 실행되어 배포 가능한 스트리밍 MVSplat 변형 모델보다 훨씬 빠르게 컴팩트하면서도 더 높은 품질의 가우시안 에셋을 구축합니다. 반면 네이티브 MVSplat 및 DepthSplat은 기기 메모리 예산을 초과합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.