본 논문에서는 소수의 대상(피사체) 입력 이미지와 표정 구동 신호로부터 3D 인간 두부를 실시간으로 애니메이션화하는 기법인 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior)를 제안합니다. 우리는 이 문제를 오프라인에서 대상의 기하학적 구조와 외형 표현을 구축하는 신원(identity) 단계와, 런타임에 그 위에서 표정 의존적 잔차를 예측하는 애니메이션 단계로 분리합니다. 이러한 분리는 충실도, 품질 및 런타임 측면에서 유리한 트레이드오프를 제공합니다. 신원 단계는 계산 비용이 높을 수 있는 반면, 애니메이션 단계는 모바일 기기에 최적화된 경량 네트워크를 실행합니다. 본 기법은 사전학습(pre-training)된 재구성 모델의 의미론적으로 구조화된 잠재 공간에서 애니메이션을 수행하며, 이 공간에서는 표정 변화가 공간적으로 국한되어 잔차 예측이 효율적입니다. 이러한 재구성 사전지식은 일관된 공간 배치를 제공하여 여러 입력 시점을 컴팩트하고 고정된 크기의 정규(canonical) 가우시안 표현으로 융합할 수 있도록 합니다. 이러한 2단계 설계가 런타임-품질 트레이드오프를 개선함에도 불구하고, 표정 구동 아바타 기법들에 공통적인 문제점을 여전히 안고 있습니다. 즉, 표정 코드는 얼굴만을 설명하므로 신체 자세와 의복 위치를 누락하여 입력에서 이러한 영역이 불완전하게 지정됩니다. 애니메이션 네트워크는 잘못 설정된 매핑 문제에 직면하여 상충하는 신체 외형을 평균화하게 되고, 이로 인해 블러와 시간적 깜빡임(flicker)이 발생합니다. 우리는 타깃 이미지의 신체를 입력 참조 이미지와 정렬하도록 학습하여 학습(training) 신호에서 모호성을 제거하는 신체 정렬 네트워크를 통해 이 문제를 해결합니다. 본 기법은 Ava-256 벤치마크(benchmark)에서 최고 수준(state-of-the-art)의 품질을 달성하는 동시에, A100 GPU에서 8배 더 적은 가우시안을 사용하여 최대 13배 빠르게 실행됩니다.
고충실도(High-fidelity) 3D 헤드 아바타는 실사에 가까운 품질에 도달했습니다. 최근 방식들은 텍스트 기반 조작을 가능하게 하지만, 특징들이 서로 얽히거나 기하학적 일관성이 결여되는 경우가 많아 세밀한 국소적 제어를 제공하는 데 어려움을 겪고 있습니다. 자연어를 통해 기하학적 구조를 수정하는 것은 현재 프롬프트(prompt)별 느린 최적화를 필요로 하거나 정체성(identity) 및 리깅(rigging)을 저해합니다. 본 논문에서는 단안 비디오에서 재구성된 애니메이션 가능한 3D 가우시안 스플래팅(3D Gaussian Splatting) 아바타에 대해, 언어 유도 기반 시맨틱 형상 편집을 수행하는 최초의 엔드투엔드(end-to-end) 프레임워크인 ManifoldSplat을 제시합니다. 비정형 가우시안 클라우드를 직접 최적화하는 대신 정형화된 FLAME 다양체(manifold) 내에서 편집을 수행함으로써, 정체성과 애니메이션을 엄격하게 보존합니다. 또한 피드포워드 형상 델타를 제공하는 영역별 얽힘 해제 조건부 변이형 오토인코더(CVAE)인 DeltaRegion과 함께, 시점 일관적인 세부 사항을 복원하기 위한 정제 단계를 도입합니다. ManifoldSplat은 소비자용 GPU에서 아바타를 약 90초 만에 재구성 및 편집하며, 약 800 FPS로 렌더링합니다. 광범위한 평가를 통해 본 접근법이 국소적 프롬프트 정렬, 기하학적 일관성, 정체성 보존 측면에서 새로운 SOTA(state-of-the-art)를 달성함을 입증합니다. 프로젝트 페이지 및 코드: https://a-canela.github.io/manifoldsplat/
본 논문에서는 애니메이션 가능한 3D 가우시안 머리 아바타의 실시간 언어 기반 색상 편집 방법인 ChromaGS를 제시합니다. 사용자는 학습된 애니메이션 아바타를 바탕으로 자연어를 통해 의미적(semantic) 영역의 색상을 즉시 수정할 수 있으며, 이러한 편집은 추가 재학습 없이 렌더링 시점에 바로 적용됩니다. 핵심 아이디어는 각 가우시안 프리미티브(Gaussian primitive)에 학습된 시맨틱 영역 소프트 할당을 추가하고, 색상을 영역 수준의 기본 색상과 가우시안 수준의 잔차(residual)로 분해하는 것입니다. 이러한 분해를 통해 일관된 색상 전이가 가능해집니다. 즉, 특정 영역의 기본 색상을 수정하면 연관된 모든 가우시안에 자연스럽게 전파되는 동시에 잔차에 인코딩된 미세한 외형 세부 정보를 그대로 보존합니다. 2단계 언어 파이프라인은 텍스트 명령어를 목표 색상으로 변환하여 절대적인 색상 지정과 상대적인 조정을 모두 지원합니다. 의도하지 않은 수정을 유발할 수 있는 생성형 편집 방법과 달리, 본 접근 방식은 결정론적(deterministic)이며 정밀하게 국소화된 시맨틱 제어를 제공합니다. 실험 결과는 다양한 피험자 전반에 걸쳐 충실한 외형 보존과 직관적인 상호작용을 입증합니다. 프로젝트 페이지 및 코드는 https://a-canela.github.io/chromags/ 에서 확인할 수 있습니다.
우리는 하나 이상의 참조 인물 초상 이미지로부터 고품질이며 애니메이션 가능한 4D 헤드 아바타를 빠르게 구축하기 위한 트랜스포머 기반 3D Gaussian 프레임워크인 FFAvatar를 제안한다. 고정된 수의 입력 뷰를 요구하는 기존 피드-포워드 방식과 달리, FFAvatar는 점진적 재구성을 지원하며 추가 참조 이미지가 제공될수록 아바타 표현을 점진적으로 정제한다. 우리 방법의 핵심은 신원(identity) 외관을 표정 및 시점 변화로부터 분리하는 교대 어텐션 메커니즘으로, 다양한 포즈와 얼굴 표정에서 일관되게 유지되는 정규(canonical) 3D 외관의 재구성을 가능하게 한다. 시각적 충실도와 계산 효율성의 균형을 위해 희소-밀집(sparse-to-dense) 학습 패러다임을 도입한다. 거친 외관 특징은 FLAME 정점(vertex) 수준에 고정된 희소 프리미티브로 먼저 학습되고, 이후 UV 도메인에서 밀집화되어 세밀한 기하 및 텍스처 디테일을 포착한다. 또한 플러그 앤 플레이(plug-and-play) 모션 정제 모듈을 제안하여, 파라메트릭 변형을 넘어서는 잔차 모션(residual motion)을 모델링함으로써 피사체별 동적 개인화를 가능하게 한다. 광범위한 실험을 통해 FFAvatar가 고충실도이며 제어 가능한 4D 헤드 아바타를 효율적으로 생성하고, 다양한 표정과 시점에서 뛰어난 유연성, 구동(driving) 효율성, 신원 일관 렌더링을 달성함을 보여준다.
UV 공간 내 사전학습된 3D GAN(PanoHead)의 전체 헤드 사전 정보를 활용해 단일 이미지의 불완전한 로컬 UV 특징 맵을 대칭 인페인팅으로 보완하고, 파라메트릭 얼굴 모델(FLAME) 표면에 가우시안 프리미티브를 임베딩하여 단일 순전파로 360° 렌더링 및 실시간(246 FPS) 애니메이션이 가능한 3D 풀헤드 아바타를 재구성하는 프레임워크를 제안한다. 기존 원샷(one-shot) 방법들이 측면·후면 뷰에서 성능이 저하되는 문제를 해결하여 최신 기법들을 능가하는 결과를 달성했다.
초상화 애니메이션은 최근 영상 확산 모델의 발전으로 품질이 크게 향상되었다. 그러나 이러한 2D 방식은 종종 3D 일관성과 속도를 희생하여 디지털 트윈이나 telepresence와 같은 실제 시나리오에서의 적용 가능성을 제한한다. 반면, neural radiance field(NeRF)나 Gaussian splatting과 같은 3D 표현을 기반으로 한 3D 인식 feedforward 얼굴 애니메이션 방식은 3D 일관성을 보장하고 더 빠른 추론 속도를 달성하지만, 표정 디테일이 열세하다. 본 논문에서는 이러한 초상화 애니메이션의 트릴레마(속도, 3D 일관성, 표현력)를 해결하고, feed-forward 인코더를 통해 실세계(in-the-wild) 단일 이미지를 즉시 3D 일관적이면서 빠르고도 표현력 있는 애니메이션 가능 표현으로 변환하는 파이프라인을 제안한다. 3D 구조 정보와 애니메이션 정보를 융합하기 위한 기존의 계산 집약적 글로벌 융합 메커니즘(예: 다중 어텐션 레이어)과 달리, 우리 설계는 높은 애니메이션 표현력을 달성하기 위해 효율적인 경량 로컬 융합 전략을 사용한다. 또한 우리의 애니메이션 표현은 얼굴의 3D 표현과 분리되어 데이터로부터 움직임을 암묵적으로 학습하며, 애니메이션 능력을 종종 제한하는 사전 정의된 파라메트릭 모델에 대한 의존성을 제거한다. 우리 방식은 애니메이션 및 포즈 제어에서 초당 107.31프레임으로 동작하며, 최신 수준 대비 3~4자릿수 속도 향상을 달성하면서도 유사한 애니메이션 품질을 이루어, 속도와 품질을 상호 타협하는 대안 설계를 능가한다.
본 논문에서는 2D 명령어 기반 확산(diffusion)과 3D 가우시안 스플래팅(3D Gaussian Splatting)을 통합한 동적 3D 헤드 편집을 위한 통합 프레임워크인 Edit3DGS를 제안합니다. 프레임 기반 편집이나 정적 3D 재구성을 각각 다루는 기존 접근 방식과 달리, 우리의 방법은 이미지 도메인에서의 의미적 제어성을 사실적(photorealistic)이고 시간적으로 일관된 3D 표현과 결합합니다. 입력 비디오가 주어지면, 텍스트 조건부 확산 모델(text-conditioned diffusion model)을 사용하여 편집 가능한 얼굴 영역을 마스킹하고 수정하여 표정 변환, 속성 수정, 외관 개선과 같은 세밀한 작업을 지원합니다. 편집된 프레임은 3D 가우시안 스플래팅을 통해 집계되어 정체성과 동역학적 움직임을 모두 보존하는 일관되고 고충실도의 아바타를 생성합니다. 일관성을 강화하기 위해 Edit3DGS는 타임스텝(timestep) 전반에서 손실된 표정을 복구하는 다중 뷰 배치 편집(multi-view batch editing) 및 경량 인페인팅(inpainting) 전략을 통합합니다. 실험 결과는 우리의 프레임워크가 부드러운 시간적 전이를 통해 제어 가능하고 인공물이 없는 헤드 편집을 가능하게 하며, 가상 아바타, 몰입형 커뮤니케이션, 영화 제작 및 대화형 미디어에 실용적인 응용을 제공함을 보여줍니다.