arXiv:2610.01876v1 cs.CV

EvenSplat: 노출 및 조명 변화 환경의 가우시안 스플래팅을 위한 결합형 2D-3D 분해

EvenSplat: Coupled 2D-3D Decomposition for Gaussian Splatting under Exposure and Illumination Variation

Tongyu Wu, Jacob Edwards, Ziteng Cui, Caigui Jiang, Cheng Wang

제출 2026-10-01

한국어 초록

균일한 조명 아래에서 촬영된 표면은 어느 각도에서 보아도 거의 동일한 외관을 나타내지만, 불균일한 조명 아래의 동일한 표면은 그렇지 않습니다. 시점 간에 노출이 변하고, 단일 이미지 내에서도 조명이 달라지며, 국소적으로 강한 광원은 한 영역을 밝게 만드는 동시에 인접 영역에는 그림자를 남깁니다. 3D 가우시안 스플래팅(3D Gaussian Splatting)과 같은 다중 뷰 재구성 기법들은 이러한 조명 아티팩트를 마치 장면 자체의 고유한 속성인 것처럼 취급하여, 촬영 환경에 특화된 조명을 복원되는 기하학적 구조 및 색상과 얽히게 만듭니다. 본 논문에서는 이 둘을 분리하는 프레임워크인 EvenSplat을 제안합니다. EvenSplat은 이미지 공간의 조명 분해를 가우시안이 지닌 조명 필드와 결합하여, 장면의 2차원 및 3차원 뷰 간에 동일한 조명 해석이 공유되도록 합니다. 또한 카메라 응답 네트워크와 국소 노출 보상 모듈은 학습(training) 이미지 전반에 걸쳐 남아 있는 전역적 및 잔차 차이를 흡수합니다. 실제 촬영 및 시뮬레이션 벤치마크 기반의 여러 데이터셋과 다양한 형태의 불균일한 조명(시점 간 노출, 공간적 조명 변화, 고대비 조명)에 걸친 광범위한 실험을 통해, EvenSplat은 특히 고대비 조명 환경에서 기존 최첨단(SOTA) 방법들보다 전반적으로 우수한 성능을 보입니다.

원문 초록

A surface photographed under even light presents nearly the same appearance from every angle; the same surface under uneven light does not. Exposure changes between views, illumination varies within a single image, and locally strong light sources leave one region bright and its neighbor in shadow. Multi-view reconstruction methods such as 3D Gaussian Splatting treat these lighting artifacts as if they were properties of the scene, entangling capture-specific illumination with the geometry and color they recover. We present EvenSplat, a framework that separates the two. EvenSplat couples an image-space illumination decomposition with an illumination field carried by the Gaussians, so that the same explanation of the lighting is shared between the two-dimensional and three-dimensional views of the scene; a camera-response network and a local exposure-compensation module absorb the global and residual differences that remain across training images. Through extensive experiments across multiple datasets and diverse forms of uneven illumination (cross-view exposure, spatial illumination variation, and high-contrast lighting) on both real-world captured and simulated benchmarks, EvenSplat generally outperforms state-of-the-art methods, particularly under high-contrast illumination.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01876v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03599v1cs.CV공통 태그 Disentanglement, 3D Reconstruction, Novel View Synthesis, gaussian splatting

ManifoldSplat: 언어 유도 기반 3D 가우시안 헤드 아바타의 시맨틱 형상 편집

ManifoldSplat: Language-Guided Semantic Shape Editing of 3D Gaussian Head Avatars

고충실도(High-fidelity) 3D 헤드 아바타는 실사에 가까운 품질에 도달했습니다. 최근 방식들은 텍스트 기반 조작을 가능하게 하지만, 특징들이 서로 얽히거나 기하학적 일관성이 결여되는 경우가 많아 세밀한 국소적 제어를 제공하는 데 어려움을 겪고 있습니다. 자연어를 통해 기하학적 구조를 수정하는 것은 현재 프롬프트(prompt)별 느린 최적화를 필요로 하거나 정체성(identity) 및 리깅(rigging)을 저해합니다. 본 논문에서는 단안 비디오에서 재구성된 애니메이션 가능한 3D 가우시안 스플래팅(3D Gaussian Splatting) 아바타에 대해, 언어 유도 기반 시맨틱 형상 편집을 수행하는 최초의 엔드투엔드(end-to-end) 프레임워크인 ManifoldSplat을 제시합니다. 비정형 가우시안 클라우드를 직접 최적화하는 대신 정형화된 FLAME 다양체(manifold) 내에서 편집을 수행함으로써, 정체성과 애니메이션을 엄격하게 보존합니다. 또한 피드포워드 형상 델타를 제공하는 영역별 얽힘 해제 조건부 변이형 오토인코더(CVAE)인 DeltaRegion과 함께, 시점 일관적인 세부 사항을 복원하기 위한 정제 단계를 도입합니다. ManifoldSplat은 소비자용 GPU에서 아바타를 약 90초 만에 재구성 및 편집하며, 약 800 FPS로 렌더링합니다. 광범위한 평가를 통해 본 접근법이 국소적 프롬프트 정렬, 기하학적 일관성, 정체성 보존 측면에서 새로운 SOTA(state-of-the-art)를 달성함을 입증합니다. 프로젝트 페이지 및 코드: https://a-canela.github.io/manifoldsplat/

arXiv:2607.22673v1cs.GR공통 태그 Disentanglement, 3D Reconstruction, Novel View Synthesis, gaussian splatting

URHead: 헤드 아바타의 메시-3DGS 공동 최적화를 위한 통합 UV 공간 표현

URHead: A Unified UV-Space Representation for Joint Mesh-3DGS Optimization in Head Avatars

우리는 메시-가우시안 통합을 근본적으로 재정의하는 고충실도·애니메이션 가능 헤드 아바타를 위한 통합 표현인 URHead를 제안한다. 메시 기반 방법은 정밀한 기하학적 제어를 제공하지만 사실적인 디테일이 부족한 반면, 가우시안 기반 접근법은 사실성을 달성하지만 구조적 일관성이 부족하며, 기존 하이브리드 솔루션은 각 접근법의 상호 보완적 강점을 충분히 활용하지 못한다. 핵심 기여는 두 표현이 공통 UV 파라미터화를 공유하는 UV 공간 통합이다. 적응형 가우시안 샘플링을 통한 공동 최적화를 통해, 본 방법은 각 구성 요소에 적절한 역할을 자동으로 분리하고 할당하는 것을 학습한다. URHead는 대상자 고유의 디테일을 보존하면서 완전한 파라미터 제어 가능성을 유지하며, 재구성 품질과 애니메이션 일관성에서 기존 최신(state-of-the-art) 방법들을 능가한다.

arXiv:2607.20922v1cs.CV공통 태그 Disentanglement, 3D Reconstruction, Novel View Synthesis, gaussian splatting

FA-LAM: 원샷 4D 애니메이션 가능 가우시안 헤드를 위한 포커스 인식 대형 아바타 모델

FA-LAM: Focus-Aware Large Avatar Model for One-Shot 4D Animatable Gaussian Head

우리는 원샷 애니메이션 가능 가우시안 헤드 생성을 위한 포커스 인식 대형 아바타 모델(FA-LAM)을 제안하며, 동시에 정적 3D 및 동적 4D 전체 헤드 복원을 가능하게 한다. 우리 방법의 핵심은 기존 최신(state-of-the-art) 접근법들이 채택한 어텐션 메커니즘과 얽혀 있는 재구성 및 애니메이션 학습 파이프라인에 대한 철저한 분석에 있다. 우리의 분석은 3D 전체 헤드 생성 품질을 저해하는 두 가지 주요 요인을 밝혀낸다: (1) 부정확하고 노이즈가 많은 어텐션 활성화, (2) 재구성과 애니메이션 작업 간의 충돌. 첫 번째 문제를 해결하기 위해, 우리는 인간 머리의 고유한 의미론과 구조적 대칭성을 활용하는 대칭적이고 의미 기반의 어텐션 정규화 전략을 도입한다. 재구성과 애니메이션의 목표를 분리하기 위해, 우리는 넓은 시야각 환각(hallucination)과 애니메이션을 위한 모델의 능력을 별도의 모듈로 분리하는 새로운 이단계(dual-phase) 학습 파이프라인을 개발한다. 또한, 맞춤형 가시성 인식 토큰 융합을 갖춘 핵심 자기회귀(autoregressive) 수정을 통해 다중 시점 및 스트리밍 4D 재구성을 효율적이고 메모리 친화적인 방식으로 지원하도록 모델을 개선한다. 종합적으로, 이러한 혁신들은 FA-LAM이 특히 세밀한 얼굴 영역과 큰 시야각에서 우수한 품질로 애니메이션 가능한 가우시안 전체 헤드를 재구성할 수 있게 한다.

arXiv:2607.14203v2cs.GR공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2610.13757v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

관찰된 정보로 반사를 안내하는 가우시안 스플래팅

Gaussian Splatting with Reflections Guided by What is Seen

NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.

arXiv:2610.10945v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, gaussian splatting

GHARP: 대규모 재구성 사전지식을 활용한 실시간 가우시안 두부 애니메이션

GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior

본 논문에서는 소수의 대상(피사체) 입력 이미지와 표정 구동 신호로부터 3D 인간 두부를 실시간으로 애니메이션화하는 기법인 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior)를 제안합니다. 우리는 이 문제를 오프라인에서 대상의 기하학적 구조와 외형 표현을 구축하는 신원(identity) 단계와, 런타임에 그 위에서 표정 의존적 잔차를 예측하는 애니메이션 단계로 분리합니다. 이러한 분리는 충실도, 품질 및 런타임 측면에서 유리한 트레이드오프를 제공합니다. 신원 단계는 계산 비용이 높을 수 있는 반면, 애니메이션 단계는 모바일 기기에 최적화된 경량 네트워크를 실행합니다. 본 기법은 사전학습(pre-training)된 재구성 모델의 의미론적으로 구조화된 잠재 공간에서 애니메이션을 수행하며, 이 공간에서는 표정 변화가 공간적으로 국한되어 잔차 예측이 효율적입니다. 이러한 재구성 사전지식은 일관된 공간 배치를 제공하여 여러 입력 시점을 컴팩트하고 고정된 크기의 정규(canonical) 가우시안 표현으로 융합할 수 있도록 합니다. 이러한 2단계 설계가 런타임-품질 트레이드오프를 개선함에도 불구하고, 표정 구동 아바타 기법들에 공통적인 문제점을 여전히 안고 있습니다. 즉, 표정 코드는 얼굴만을 설명하므로 신체 자세와 의복 위치를 누락하여 입력에서 이러한 영역이 불완전하게 지정됩니다. 애니메이션 네트워크는 잘못 설정된 매핑 문제에 직면하여 상충하는 신체 외형을 평균화하게 되고, 이로 인해 블러와 시간적 깜빡임(flicker)이 발생합니다. 우리는 타깃 이미지의 신체를 입력 참조 이미지와 정렬하도록 학습하여 학습(training) 신호에서 모호성을 제거하는 신체 정렬 네트워크를 통해 이 문제를 해결합니다. 본 기법은 Ava-256 벤치마크(benchmark)에서 최고 수준(state-of-the-art)의 품질을 달성하는 동시에, A100 GPU에서 8배 더 적은 가우시안을 사용하여 최대 13배 빠르게 실행됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.