arXiv:2610.03441v1 cs.CV

ChromaGS: 텍스트 기반 4D 가우시안 아바타의 시맨틱 편집

ChromaGS: Text-Driven Semantic Editing of 4D Gaussian Avatars

Antonio Canela, Jordi Sànchez-Riera

제출 2026-10-02

저자 비고

arXiv Comments

CGIP 2026

한국어 초록

본 논문에서는 애니메이션 가능한 3D 가우시안 머리 아바타의 실시간 언어 기반 색상 편집 방법인 ChromaGS를 제시합니다. 사용자는 학습된 애니메이션 아바타를 바탕으로 자연어를 통해 의미적(semantic) 영역의 색상을 즉시 수정할 수 있으며, 이러한 편집은 추가 재학습 없이 렌더링 시점에 바로 적용됩니다. 핵심 아이디어는 각 가우시안 프리미티브(Gaussian primitive)에 학습된 시맨틱 영역 소프트 할당을 추가하고, 색상을 영역 수준의 기본 색상과 가우시안 수준의 잔차(residual)로 분해하는 것입니다. 이러한 분해를 통해 일관된 색상 전이가 가능해집니다. 즉, 특정 영역의 기본 색상을 수정하면 연관된 모든 가우시안에 자연스럽게 전파되는 동시에 잔차에 인코딩된 미세한 외형 세부 정보를 그대로 보존합니다. 2단계 언어 파이프라인은 텍스트 명령어를 목표 색상으로 변환하여 절대적인 색상 지정과 상대적인 조정을 모두 지원합니다. 의도하지 않은 수정을 유발할 수 있는 생성형 편집 방법과 달리, 본 접근 방식은 결정론적(deterministic)이며 정밀하게 국소화된 시맨틱 제어를 제공합니다. 실험 결과는 다양한 피험자 전반에 걸쳐 충실한 외형 보존과 직관적인 상호작용을 입증합니다. 프로젝트 페이지 및 코드는 https://a-canela.github.io/chromags/ 에서 확인할 수 있습니다.

원문 초록

We present ChromaGS, a method for real-time, language-guided color editing of animatable 3D Gaussian head avatars. Given a trained animatable avatar, users can instantly modify the color of semantic regions through natural language, with edits applied at render time and no retraining required. Our key insight is to augment each Gaussian primitive with learned soft assignments to semantic regions and decompose colors into region-level base colors and Gaussian-level residuals. This decomposition enables coherent color transfer: modifying a region's base color propagates naturally through all associated Gaussians while preserving fine appearance details encoded in residuals. A two-stage language pipeline translates text instructions into target colors, supporting both absolute specifications and relative adjustments. Unlike generative editing methods that may introduce unintended modifications, our approach provides deterministic, precisely localized semantic control. Experiments demonstrate faithful appearance preservation and intuitive interaction across diverse subjects. Project page and code are available at: https://a-canela.github.io/chromags/

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03441v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.30347v2cs.CV공통 태그 Novel View Synthesis, 3d gaussian splatting, head avatar

FFAvatar: 희소 인물 초상 이미지로부터의 피드-포워드 4D 헤드 아바타 재구성

FFAvatar: Feed-Forward 4D Head Avatar Reconstruction from Sparse Portrait Images

우리는 하나 이상의 참조 인물 초상 이미지로부터 고품질이며 애니메이션 가능한 4D 헤드 아바타를 빠르게 구축하기 위한 트랜스포머 기반 3D Gaussian 프레임워크인 FFAvatar를 제안한다. 고정된 수의 입력 뷰를 요구하는 기존 피드-포워드 방식과 달리, FFAvatar는 점진적 재구성을 지원하며 추가 참조 이미지가 제공될수록 아바타 표현을 점진적으로 정제한다. 우리 방법의 핵심은 신원(identity) 외관을 표정 및 시점 변화로부터 분리하는 교대 어텐션 메커니즘으로, 다양한 포즈와 얼굴 표정에서 일관되게 유지되는 정규(canonical) 3D 외관의 재구성을 가능하게 한다. 시각적 충실도와 계산 효율성의 균형을 위해 희소-밀집(sparse-to-dense) 학습 패러다임을 도입한다. 거친 외관 특징은 FLAME 정점(vertex) 수준에 고정된 희소 프리미티브로 먼저 학습되고, 이후 UV 도메인에서 밀집화되어 세밀한 기하 및 텍스처 디테일을 포착한다. 또한 플러그 앤 플레이(plug-and-play) 모션 정제 모듈을 제안하여, 파라메트릭 변형을 넘어서는 잔차 모션(residual motion)을 모델링함으로써 피사체별 동적 개인화를 가능하게 한다. 광범위한 실험을 통해 FFAvatar가 고충실도이며 제어 가능한 4D 헤드 아바타를 효율적으로 생성하고, 다양한 표정과 시점에서 뛰어난 유연성, 구동(driving) 효율성, 신원 일관 렌더링을 달성함을 보여준다.

arXiv:2607.03875v2cs.CV공통 태그 Novel View Synthesis, 3d gaussian splatting

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2610.13503v1cs.CV공통 태그 Novel View Synthesis, 3d gaussian splatting

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2610.13541v1cs.CV공통 태그 Novel View Synthesis, 3d gaussian splatting

3DGS를 위한 효율적인 신뢰도 인지 밀집화

Efficient Confidence-Aware Densification for 3DGS

3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.

arXiv:2610.13860v1cs.CV공통 태그 Novel View Synthesis, 3d gaussian splatting

Make It Flow: 3D 가우시안 스플래팅(Gaussian Splatting) 장면에서 물 애니메이션하기

Make It Flow: Animating Water in 3D Gaussian Splatting Scenes

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)과 같은 명시적(explicit) 3D 장면 표현은 최근 고품질의 실시간 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 이러한 방법들은 정적인 장면을 가정하기 때문에, 실제 환경에서 흔히 나타나는 동적 현상이 존재할 경우 사실감이 제한된다. 사람이나 차량과 같은 일관된 움직임은 캡처 및 재구성이 가능하지만, 흐르는 물과 같은 고주파(high-frequency) 효과는 조밀한 다중 시점(multi-view)과 고속 촬영이 불가능한 일반적인 캡처 조건에서는 다루기 어렵다. 본 논문에서는 동적 캡처나 물리 시뮬레이션 없이도 시각적으로 그럴듯한 움직임을 가능하게 하는, 정적 3DGS 장면 내 물 애니메이션 기법을 제시한다. 우리의 접근법은 참조 이미지 또는 모델 렌더링으로부터 2D 광학 흐름(optical flow)을 추정하고, 이를 일관된 3D 오일러(Eulerian) 운동장(motion field)으로 끌어올린다. 우리는 이 운동장을 가우시안 프리미티브(primitive)에 적용하여 변형시킴으로써 시간적으로 매끄럽게 반복되는(looping) 애니메이션을 생성하는, 시네마그래프(cinemagraph)에서 영감을 받은 알고리즘을 제안한다. 그 결과로 얻어지는 표현은 실시간 렌더링 성능을 유지하면서 지각적 사실감을 크게 향상시키고, 장면 내 자유 시점 탐색(free-viewpoint navigation)을 보존한다. 우리는 새롭게 촬영한 실제 환경(in-the-wild) 폭포 장면 데이터셋에서 본 방법을 평가하였으며, 동적 가우시안 스플래팅 및 3D 시네마그래프 생성 분야의 기존 연구와 비교하여 시각적 품질과 계산 효율성 모두에서 명확한 개선을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.