관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
한국어 초록
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
원문 초록
While novel view synthesis methods like Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) have shown impressive performance on common scenes, they often struggle with capturing view-dependent specular effects, particularly near-field reflections. Existing methods utilize environment maps, which only represent lights from infinity, or environment Gaussians, which rely solely on indirect supervision from reflections, are insufficient for accurately modeling such effects. Here, we propose a framework based on 2D Gaussian Splatting (2DGS) that leverages directly observable environment information in input images. Our approach also integrates a hybrid reflection appearance representation and view-dependent specular modeling. Experiments on public benchmarks and a newly curated near-field reflection dataset demonstrate that our method achieves superior rendering quality and geometric accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ExtraGS: 확산 모델 안내 3D Gaussian Splatting을 통한 내시경 시점 외삽 향상
ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting
로봇 보조 최소침습 수술(MIS)은 탐색 및 안전을 위해 신뢰할 수 있는 내시경 인식에 매우 의존합니다. 그러나 기존 내시경은 제한된 시야만을 제공하여 주변 해부학적 구조의 상당 부분이 관측되지 못합니다. Neural Radiance Fields(NeRF)와 3D Gaussian Splatting과 같은 최근 신경 렌더링(neural rendering) 접근법은 내시경 영상으로부터 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 희소 관측에 의존하기 때문에 학습 궤적을 벗어나 외삽할 때 심각한 아티팩트가 발생하는 경우가 많습니다. 본 연구에서는 확산 모델 안내 3D Gaussian Splatting을 통해 내시경 시점 외삽을 향상시키는 프레임워크인 ExtraGS를 제안합니다. 초기 재구성(reconstruction)에서 출발하여, 사각지대를 적극적으로 탐색하고 정보 이득을 극대화하기 위한 불확실성 안내 가상 카메라 샘플링 전략을 도입합니다. 이 샘플링 위치에서 렌더링된 시점은 확산 모델(diffusion model)을 사용해 정제하여 그럴듯한 해부 구조를 복원하고, 추가 최적화(optimization)를 안내하는 의사 관측(pseudo-observations)을 생성합니다. 생성된 내용이 신뢰할 수 있는 영역을 저하시키는 것을 방지하기 위해, 이러한 의사 관측을 통합할 때 신뢰도 가중 미세조정(fine-tuning) 전략을 채택합니다. 여러 공개 내시경 데이터셋(dataset)에 대한 광범위한 실험을 통해 ExtraGS가 외삽 아티팩트를 크게 줄이고 내시경 새로운 시점 합성에서 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다.
그라스만 스플래팅 I: 동적 장면 렌더링을 위한 이동하는 랭크-2 시공간 서펠
Grassmannian Splatting I: Moving rank-2 Spacetime Surfels for Dynamic Scene Rendering
우리는 그라스만 스플래팅(Grassmannian splatting)을 소개한다. 이는 동적 장면 표현(dynamic scene representation) 방식으로, 기본 요소(primitive)들이 시공간 $\mathbb{R}^4$ 내 3-평면 위에서 정의된 가우시안으로 이루어진다: 일반적으로, 법선 방향으로 균일 이동하는 공간적 2-평면이다. 각 기본 요소는 단위 법선 $n \in \mathbb{S}^3/\{\pm 1\} \cong \mathrm{Gr}(3,4)$와 비제약 인수 $L \in \mathbb{R}^{4 \times 3}$를 가지며, 공분산은 $\Sigma_{4\mathrm{D}} = (P_n L)(P_n L)^T,\ P_n = I - n n^T$이다. 일반적인 $L$과 $n \neq \pm e_0$에 대해, 시간에 대한 조건화(conditioning)는 매 프레임마다 랭크-2 서펠(surfel)을 반환한다. 디스크의 법선과 해당 법선 방향의 속도는 $n$에서 읽히고, 디스크 형상과 중심의 접선 방향 드리프트는 $L$에 의해 결정된다. 기존의 네이티브 4D 가우시안 스플래팅 방법들[Yang et al. 2023, Duan et al. 2024]은 풀랭크 시공간 공분산을 슬라이싱하므로 프레임별 기본 요소가 부피 있는 타원체(volumetric ellipsoid)가 된다; 조건화는 랭크를 정확히 1만큼 낮추므로, 슬라이스 내의 랭크-2 서펠은 랭크-3 시공간 공분산을 필요로 하며, 위의 매개변수화(parameterization)가 이를 정확히 구현한다. 운동 모델은 닫힌 형식(closed form)으로, 변형 필드(deformation field)를 학습하지 않으며, 커스텀 CUDA도 필요하지 않다: 조건화된 디스크는 사전 계산된 공분산 인터페이스를 통해 표준 3DGS 래스터라이저(rasterizer)에 공급된다. Schur 분모에서의 소프트 클램프(soft clamp)는 정적 방향(orientation)을 정규화하고 랭크-3 정적 거동과 랭크-2 동적 거동을 연속적으로 연결하여, 정적 기본 요소와 이동 기본 요소가 단일한 연속적 패밀리를 형성한다. MonoDyGauBench의 17개 HyperNeRF 장면에서, 학습 속도는 비교 대상 모든 방법 중 가장 빠르며(최고 품질 기준선 대비 4.9~5.6배 빠름), PSNR, MS-SSIM, LPIPS에서 2위를 기록한다. 코드: https://github.com/PaulCelanCoding/grassmannian-splatting
3D 가우시안 삼각측량을 통한 점진적 온라인 장면 재구성
Incremental Online Scene Reconstruction by 3D Gaussian Triangulation
점진적 장면 재구성(incremental scene reconstruction)은 실세계 응용에 필수적이다. 3D 가우시안 스플래팅(3D Gaussian Splatting)이 강력한 잠재력을 보이고 있음에도 불구하고, 대부분의 기존 접근법은 명시적 메시 추출을 위해 최적화된 가우시안을 중간 암시적 필드로 오프라인 변환해야 하며, 이는 다운스트림 태스크와의 원활한 통합을 저해한다. 이러한 한계를 해결하기 위해, 우리는 밀집 기하학적 가우시안 표현을 직접 삼각측량하여 고충실도 명시적 메시를 점진적으로 재구성하고 업데이트하는 새로운 온라인 프레임워크를 제안한다. 이 프레임워크는 고품질 렌더링과 점진적 표면 재구성을 모두 지원한다. 또한, 가우시안 집합으로부터 메시를 효율적으로 추출하고 업데이트하는 직접 메싱 알고리즘을 제시한다. 메시 정확도를 보장하기 위해, 3D 가우시안 프리미티브를 근사된 로컬 표면에 동적으로 정렬하는 평면 기반 풀링 제약(plane-based pulling constraint)을 적용한다. 나아가, 완전히 최적화된 과거 영역을 동적으로 동결(freezing)함으로써 장시간 시퀀스 처리 중 메모리 및 연산 오버헤드를 크게 줄인다. 공개 데이터셋에 대한 실험을 통해, 우리 방법이 렌더링 품질과 재구성 정확도 모두에서 기존 가우시안 기반 방법들을 능가함을 입증한다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
GHARP: 대규모 재구성 사전지식을 활용한 실시간 가우시안 두부 애니메이션
GHARP: Real-time Gaussian Head Animation from Large-scale Reconstruction Prior
본 논문에서는 소수의 대상(피사체) 입력 이미지와 표정 구동 신호로부터 3D 인간 두부를 실시간으로 애니메이션화하는 기법인 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior)를 제안합니다. 우리는 이 문제를 오프라인에서 대상의 기하학적 구조와 외형 표현을 구축하는 신원(identity) 단계와, 런타임에 그 위에서 표정 의존적 잔차를 예측하는 애니메이션 단계로 분리합니다. 이러한 분리는 충실도, 품질 및 런타임 측면에서 유리한 트레이드오프를 제공합니다. 신원 단계는 계산 비용이 높을 수 있는 반면, 애니메이션 단계는 모바일 기기에 최적화된 경량 네트워크를 실행합니다. 본 기법은 사전학습(pre-training)된 재구성 모델의 의미론적으로 구조화된 잠재 공간에서 애니메이션을 수행하며, 이 공간에서는 표정 변화가 공간적으로 국한되어 잔차 예측이 효율적입니다. 이러한 재구성 사전지식은 일관된 공간 배치를 제공하여 여러 입력 시점을 컴팩트하고 고정된 크기의 정규(canonical) 가우시안 표현으로 융합할 수 있도록 합니다. 이러한 2단계 설계가 런타임-품질 트레이드오프를 개선함에도 불구하고, 표정 구동 아바타 기법들에 공통적인 문제점을 여전히 안고 있습니다. 즉, 표정 코드는 얼굴만을 설명하므로 신체 자세와 의복 위치를 누락하여 입력에서 이러한 영역이 불완전하게 지정됩니다. 애니메이션 네트워크는 잘못 설정된 매핑 문제에 직면하여 상충하는 신체 외형을 평균화하게 되고, 이로 인해 블러와 시간적 깜빡임(flicker)이 발생합니다. 우리는 타깃 이미지의 신체를 입력 참조 이미지와 정렬하도록 학습하여 학습(training) 신호에서 모호성을 제거하는 신체 정렬 네트워크를 통해 이 문제를 해결합니다. 본 기법은 Ava-256 벤치마크(benchmark)에서 최고 수준(state-of-the-art)의 품질을 달성하는 동시에, A100 GPU에서 8배 더 적은 가우시안을 사용하여 최대 13배 빠르게 실행됩니다.
PCAsplat: 국소 PCA 정규화를 적용한 가우시안 스플래팅
PCAsplat: Gaussian Splatting with Local PCA Regularization
가우시안 스플래팅(Gaussian splatting)은 포즈가 지정된 이미지로부터 3D 재구성(3D reconstruction)을 수행하기 위한 유연한 표현 방식으로 부상했습니다. 그러나 기존 방법들은 주로 래스터화 기반 손실을 사용하여 최적화되므로, 샘플링된 카메라 광선에 기여할 때만 스플랫을 지도(supervise)합니다. 따라서 가려지거나 샘플링된 시점에 거의 기여하지 않는 가우시안은 기하학적 그래디언트를 약하게 받거나 전혀 받지 못해 기저 표면에서 벗어나 표류하면서 원치 않는 부유물(floater)을 생성할 수 있습니다. 본 연구에서는 미분 가능한 국소 주성분 분석(PCA)에 기반한 가우시안 스플래팅용 기하학 인지 정규화 프레임워크인 PCAsplat을 제안합니다. 제안하는 PCA 정규화기는 가우시안 중심의 이웃에 직접 작용하므로 현재 학습 뷰에 기여하지 않는 가우시안도 업데이트할 수 있습니다. 또한 PCA 고윳값을 정규화하여 가우시안이 등방성 접평면 커버리지를 가지며 기저 표면으로 이동하도록 유도합니다. 아울러 각 가우시안 법선을 PCA로 추정한 이웃 법선과 정렬하여 일관된 방향성을 강제합니다. DTU, Tanks and Temples, NeRF Synthetic 데이터셋에 대한 실험 결과, PCAsplat으로 생성된 스플랫은 원치 않는 부유물을 대폭 줄이면서도 참조 표면의 샘플을 더 잘 근사함을 보여줍니다. 이렇게 표면에 정렬된 스플랫은 포인트 클라우드 분할(segmentation) 및 직접 포아송 재구성을 포함한 다운스트림 기하학 처리 작업을 가능하게 합니다. 또한 PCAsplat은 기존의 신규 시점 합성(novel view synthesis) 및 메시 추출 작업에서도 경쟁력을 유지합니다. 코드는 공개될 예정입니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to IEEE ICIP 2026