SplatPainter: Interactive Authoring of 3D Gaussians from 2D Edits via Test-Time Training
원문 초록
The rise of 3D Gaussian Splatting has revolutionized photorealistic 3D asset creation, yet a critical gap remains for their interactive refinement and editing. Existing approaches based on diffusion or optimization are ill-suited for this task, as they are often prohibitively slow, destructive to the original asset's identity, or lack the precision for fine-grained control. To address this, we introduce SplatPainter, a state-aware feedforward model that enables continuous editing of 3D Gaussian assets from user-provided 2D view(s). Our method directly predicts updates to the attributes of a compact, feature-rich Gaussian representation and leverages Test-Time Training to create a state-aware, iterative workflow. The versatility of our approach allows a single architecture to perform diverse tasks, including high-fidelity local detail refinement, local paint-over, and consistent global recoloring, all at interactive speeds, paving the way for fluid and intuitive 3D content authoring.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.05354v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ABot-3DWorld 0: 모든 3D 공간을 탐험하는 범용 월드 모델
ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space
우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.
CoSAG: 학습 없는 율-왜곡 코딩을 통한 경량 의미론적 앵커 가우시안
CoSAG: Compact Semantic Anchor Gaussians via Training-Free Rate-Distortion Coding
개방형 어휘(open-vocabulary) 3D 장면 이해는 일반적으로 CLIP과 같은 2D 비전-언어 특징을 3D Gaussian Splatting 장면에 임베딩하여 텍스트 질의 가능한 의미 필드로 변환함으로써 달성된다. 그러나 수백만 개의 가우시안 각각에 고차원 특징을 부착하면 단일 장면이 수 기가바이트로 팽창하여, 저장 및 배포가 이러한 필드의 실질적인 병목이 된다. 기존의 경량화 방법들은 각각 장면별 코덱, 오토인코더, 양자화된 코드북, 또는 지식 증류된 특징 필드를 학습하여 함께 제공하며, 필드 구성과 저장을 얽히게 하고 비용의 대부분을 차지하는 가우시안별 할당은 전혀 압축하지 않는다. 우리는 구성과 저장이 분리되어야 하며, 저장은 소규모 앵커 테이블에 대한 가우시안별 바인딩 위에서의 율-왜곡 문제라고 주장한다. 이는 기존의 어떤 개방형 어휘 방법도 압축하지 않던 구조다. 우리는 CoSAG를 제시한다. CoSAG는 폐쇄형 투과율 가중 리프트(closed-form transmittance-weighted lift), 공간적으로 그라운딩된 의미론적 앵커, 다중 뷰 노이즈 제거를 통해 장면별 학습 없이 필드를 구성하고, 디코더를 포함하지 않는 공간 예측 엔트로피 코더로 저장한다. 앵커가 공간적으로 그라운딩되어 있기 때문에 바인딩은 예측 가능하며 따라서 높은 압축률을 달성할 수 있다. 투과율 가중 리프트와 다중 뷰 노이즈 제거는 깨끗하고 뷰 일관적인 할당을 생성하므로, 엔트로피 코더는 노이즈 보정에 거의 율을 소비하지 않고 공간 예측에 대한 잔차만을 코딩한다. CoSAG는 2D 렌더링, 3D 선택, dense-LSeg 프로토콜 전반에 걸쳐 최첨단 성능에 필적하거나 이를 초과하면서 메가바이트 이하의 저장 용량을 달성하며, LangSplatV2 대비 더 높은 정확도로 필드 크기를 37~76배 감소시킨다.
MAC-Splat: 고품질 희소 시점 재건을 위한 다중 속성 일관성
MAC-Splat: Multi-Attribute Consistency for High-Fidelity Sparse-View Reconstruction
희소 시점에서 고품질 3D 장면을 재건하는 문제는 일반화 가능한 신경 렌더링(neural rendering)의 핵심 과제로 남아 있다. 기존의 일반화 가능한 3D Gaussian Splatting(3DGS) 방법들은 희소 시점 환경에서 기하학적 아티팩트를 자주 나타내는데, 이는 2D 측광 손실(photometric loss)만을 기반으로 한 감독이 깊이 및 대응 모호성을 해소하지 못하기 때문이다. 이 문제를 해결하기 위해, 우리는 직접적인 3D 일관성 감독을 핵심으로 하는 학습 프레임워크인 MAC-Splat을 제안한다. MAC-Splat은 MASt3R 기하학적 백본과 동결된 DINOv3 인코더를 기반으로 의미론적으로 정보화된 2D 대응을 획득하며, 이는 3D 감독을 위한 기하학적 앵커로 활용된다. 이 앵커들을 사용하여 다중 속성 일관성(MAC, Multi-Attribute Consistency) 손실을 정의한다. 이 목적 함수는 공통 월드 좌표계에서의 일치를 강제함으로써 매칭된 가우시안의 위치, 형상, 외관을 포함한 3D 속성을 공동으로 정규화한다. 이 공식화는 이상치에 강건하고 공분산 행렬의 기하학을 존중하여, 희소 시점 조건에서 안정적인 학습을 가능하게 한다. ScanNet++에서의 실험 결과, MAC-Splat은 다양한 오버랩 환경에서 특히 큰 성능 향상을 보이며 강력한 기준선들을 능가한다. 특히, Splatt3R 대비 평균 PSNR을 4.5 dB 이상 개선하고, LPIPS를 감소시키며, 카메라 포즈 간격이 증가해도 성능을 유지한다. 이러한 결과는 고품질 대응과 결합된 직접적인 다중 속성 3D 일관성 목적 함수가 비적정(ill-posed) 희소 시점 재건 문제를 해결하는 데 효과적임을 보여준다.
AsySplat: 장시퀀스 장면 모델링을 위한 효율적인 비대칭 3D 가우시안 스플래팅
AsySplat: Efficient Asymmetric 3D Gaussian Splatting for Long-Sequence Scene Modeling
최근 일반화 가능한 3D 가우시안 스플래팅(Gaussian Splatting) 모델들은 장시퀀스 새로운 시점 합성(NVS)을 발전시켰으나, 상당한 중복 연산이 수반된다는 문제가 있다. 우리는 두 가지 관찰에 기반하여 이러한 중복을 완화할 수 있음을 확인하였다: (i) 고품질 NVS를 위해 고정밀도 기하(geometry)가 반드시 필요하지는 않으며, (ii) 외관(appearance) 학습은 일반적으로 기하 복원보다 쉽다. 이러한 통찰에 착안하여, 우리는 기하 모델링과 외관 모델링을 분리하는 비대칭 아키텍처를 제안한다. 기하 브랜치는 다중 시점 재구성을 위해 대부분의 매개변수를 사용하여 거친(coarse-grained) 토큰을 처리하며, 외관 브랜치는 훨씬 적은 매개변수로 세밀한(fine-grained) 토큰을 처리하여 세부 사항을 포착한다. 두 브랜치는 양방향 연결(bilateral connections)을 통해 상호작용하며, 각자의 태스크에 대한 상호 지도(mutual guidance)를 가능하게 한다. 이러한 태스크 인식(task-aware) 비대칭 구조는 연산 중복을 줄이고 연산을 보다 합리적으로 배분하여, 매개변수 효율성을 높이고 소형 모델로도 높은 성능을 달성할 수 있게 한다. 32시점 960P 입력에서 우리 모델은 최적화 기반 방법과 동등한 성능을 보이면서 약 800배의 속도 향상을 달성하였으며, 최신 일반화 가능 모델의 제로샷(zero-shot) 성능을 훨씬 적은 매개변수와 낮은 학습/추론 오버헤드로 능가하여 전반적인 효율성 향상을 이루었다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
3DGS를 위한 효율적인 신뢰도 인지 밀집화
Efficient Confidence-Aware Densification for 3DGS
3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.