GS-ROR$^2$: Bidirectional-guided 3DGS and SDF for Reflective Object Relighting and Reconstruction
원문 초록
3D Gaussian Splatting (3DGS) has shown a powerful capability for novel view synthesis due to its detailed expressive ability and highly efficient rendering speed. Unfortunately, creating relightable 3D assets and reconstructing faithful geometry with 3DGS is still problematic, particularly for reflective objects, as its discontinuous representation raises difficulties in constraining geometries. Volumetric signed distance field (SDF) methods provide robust geometry reconstruction, while the expensive ray marching hinders its real-time application and slows the training. Besides, these methods struggle to capture sharp geometric details. To this end, we propose to guide 3DGS and SDF bidirectionally in a complementary manner, including an SDF-aided Gaussian splatting for efficient optimization of the relighting model and a GS-guided SDF enhancement for high-quality geometry reconstruction. At the core of our SDF-aided Gaussian splatting is the mutual supervision of the depth and normal between blended Gaussians and SDF, which avoids the expensive volume rendering of SDF. Thanks to this mutual supervision, the learned blended Gaussians are well-constrained with a minimal time cost. As the Gaussians are rendered in a deferred shading mode, the alpha-blended Gaussians are smooth, while individual Gaussians may still be outliers, yielding floater artifacts. Therefore, we introduce an SDF-aware pruning strategy to remove Gaussian outliers located distant from the surface defined by SDF, avoiding floater issue. This way, our GS framework provides reasonable normal and achieves realistic relighting, while the mesh from depth is still problematic. Therefore, we design a GS-guided SDF refinement, which utilizes the blended normal from Gaussians to finetune SDF. With this enhancement, our method can further provide high-quality meshes for reflective objects at the cost of 17% extra training time.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LSRM: 확장된 컨텍스트 윈도우를 통한 고충실도 객체 중심 3D 복원
LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows
우리는 트랜스포머 컨텍스트 윈도우 스케일링이 피드포워드 3D 복원에 미치는 영향을 연구하기 위해 Large Sparse Reconstruction Model(LSRM)을 소개한다. 최근 객체 중심 피드포워드 방법들은 견고하고 높은 품질의 복원을 생성하지만, 세밀한 텍스처와 외관 복원에 있어 여전히 밀집 뷰 최적화(dense-view optimization)에 뒤처진다. 우리는 활성 객체 토큰과 이미지 토큰 수를 대폭 늘려 컨텍스트 윈도우를 확장하면 이 격차가 줄어들어 고충실도 3D 객체 복원 및 역방향 렌더링(inverse rendering)이 가능해짐을 보인다. 효과적인 스케일링을 위해, 세 가지 핵심 기여를 통해 3D 복원에 네이티브 희소 어텐션을 적용한다: (1) 희소 고해상도 잔차를 예측하여 정보가 풍부한 영역에 연산을 집중하는 효율적인 coarse-to-fine 파이프라인; (2) 표준 어텐션 점수 대신 명시적 기하학적 거리를 사용하여 정확한 2D-3D 대응 관계를 확립하는 3D 인식 공간 라우팅 메커니즘; (3) GPU 전반에 걸쳐 동적이고 희소한 워크로드를 균형 있게 분배하기 위한 All-gather-KV 프로토콜을 포함한 커스텀 블록 인식 시퀀스 병렬 전략. 그 결과, LSRM은 기존 최첨단(SOTA) 방법 대비 20배 더 많은 객체 토큰과 2배 이상의 이미지 토큰을 처리한다. 표준 새로운 뷰 합성(novel-view synthesis) 벤치마크에 대한 광범위한 평가에서 현재 SOTA 대비 상당한 성능 향상을 보이며, PSNR은 2.4dB 이상 향상되고 LPIPS는 40% 이상 감소하였다. 나아가 LSRM을 역방향 렌더링으로 확장했을 때, 널리 사용되는 벤치마크에서의 정성적·정량적 평가 모두 텍스처 및 기하학적 세부 사항의 일관된 개선을 보여주며, SOTA 밀집 뷰 최적화 방법과 동등하거나 이를 초과하는 LPIPS를 달성하였다. 코드와 모델 가중치는 프로젝트 페이지에서 제공된다.
SalientGS: 중요도 기반 MCMC 가우시안 할당을 통한 통합 SfM-to-3DGS 파이프라인
SalientGS: Unified SfM-to-3DGS with Importance-Guided MCMC Gaussian Allocation
비순서 이미지에서 3D 장면을 복원하는 작업은 고비용의 구조 복원(Structure-from-Motion, SfM) 전처리와 고정된 포즈 인터페이스로 인해 여전히 병목 현상이 발생한다. 우리는 통합 SfM-to-3D 가우시안 스플래팅(3DGS) 파이프라인인 SalientGS를 제안한다. 핵심 기여는 중요도 기반 마르코프 연쇄 몬테카를로(MCMC) 가우시안 할당으로, 다중 시점 잔차를 가우시안별 과소적합(underfit) 및 중복(redundancy) 신호로 집계한다. 이 신호들은 생성(birth)과 재배치(relocation) 모두를 과소적합 영역으로 편향시키는 매끄러운 중요도 가중 샘플링 분포를 정의한다. 이를 통해 기저의 확률적 그래디언트 랑주뱅 다이나믹스(SGLD)를 변경하지 않고, 잘 적합된 영역에서 용량을 재할당한다. SalientGS는 15분 이내에 최첨단 지각적 품질로 엔드투엔드 복원을 달성한다. 보충 자료에는 장면별 정성적 비교 및 이미지별 학습된 지각적 이미지 패치 유사도(Learned Perceptual Image Patch Similarity, LPIPS) 분석에 대한 전용 섹션이 포함되어 있으며, 실패 사례도 다룬다. 코드 및 평가 스크립트는 https://github.com/Six-Bit-TX/SalientGS에서 확인할 수 있다.
정형 및 비정형 볼륨의 빠르고 메시가 필요 없는 압축을 위한 명시적 3D 가우시안 모델
Explicit 3D Gaussian Models for Fast, Mesh-Free Compression of Structured and Unstructured Volumes
최근 연구는 암시적 신경 표현(INR)이 정형 및 비정형 볼륨 데이터를 효과적으로 압축하도록 학습될 수 있으며, 줄어든 메모리 사용량으로 데이터를 직접 질의할 수 있음을 보였다. 그러나 비정형 볼륨에 대한 기존 INR은 기하 정보를 인코딩하지 않으므로 이후 샘플링을 위해 일부 메시를 저장해야 하며, 이는 달성 가능한 압축을 제한한다. 한편 새로운 시점 합성 방법은 3D 가우시안의 명시적 집합으로 볼륨 데이터를 정확하게 시각화할 수 있음을 보였다. 본 연구에서는 3D 가우시안 프리미티브에 기반한 볼륨 데이터 압축용 명시적 모델을 소개한다. 우리는 3D 가우시안 집합을 볼륨 스칼라 장의 명시적 표현으로 재해석하고, 교차하는 가우시안의 가중 집계를 통해 공간 위치에서 스칼라 값을 복원하는 샘플링 전략을 사용한다. 또한 정형 및 비정형 모델 샘플링을 위한 최적화된 CUDA 가속 파이프라인, 모델의 정확한 영역 커버리지를 유도하는 손실 함수, 샘플링 오차 기반의 새로운 밀도화 전략을 개발한다. 우리의 명시적 정식화는 영역 기하를 자연스럽게 인코딩하여 비정형 볼륨에서 메시 저장의 필요를 없애고 훨씬 높은 압축 가능성을 제공한다. 기존 INR과 비교하여, 우리의 명시적 모델은 정형 및 비정형 볼륨 모두에서 학습 속도와 복원 품질을 크게 개선하며, 비정형 볼륨에서는 기존 연구보다 훨씬 높은 압축률을 가능하게 함을 보인다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
LG-HCC: 3D Gaussian Splatting을 위한 국소 기하 인식 계층적 컨텍스트 압축
LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting
3D Gaussian Splatting(3DGS)은 고충실도 실시간 렌더링을 가능하게 하지만, 과도한 저장 공간 부담이 실용 배포를 크게 저해한다. 최근 앵커 기반 3DGS 압축 방식은 고급 컨텍스트 모델을 통해 가우시안 중복을 줄인다. 그러나 이들은 명시적 기하 의존성을 간과하여 구조적 열화와 차원(rate-distortion) 성능 저하를 초래한다. 본 논문에서는 3DGS를 위한 국소 기하 인식 계층적 컨텍스트 압축(Local Geometry-aware Hierarchical Context Compression, LG-HCC) 프레임워크를 제안한다. 이는 앵커 간 기하 상관을 앵커 가지치기와 엔트로피 코딩에 통합하여 compact 표현을 달성한다. 구체적으로, 가중 이웃 특징 집계로 앵커 중요도를 평가한 뒤 기여도가 낮은 앵커를 두드러진 이웃에 병합하는 이웃 인식 앵커 가지치기(Neighborhood-Aware Anchor Pruning, NAAP) 전략을 도입하여, compact하면서도 기하적으로 일관된 앵커 집합을 만든다. 또한 경량 기하 유도 합성곱(Geometry-Guided Convolution, GG-Conv) 연산자로 거친-세밀(coarse-to-fine) 사전분포를 활용하는 계층적 엔트로피 코딩 방식을 추가로 설계하여, 공간적으로 적응적인 컨텍스트 모델링과 rate-distortion 최적화를 가능하게 한다. 광범위한 실험에서 LG-HCC는 구조 보존 문제를 효과적으로 완화하며, Mip-NeRF360 데이터셋에서 Scaffold-GS 기준선 대비 최대 30.85배 저장 공간을 줄이면서도 우수한 기하적 무결성과 렌더링 충실도를 달성한다.
DF3DV-1K: 방해물 제거 새로운 시점 합성을 위한 대규모 데이터셋 및 벤치마크
DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis
라디언스 필드(radiance fields)의 발전은 사실적인 새로운 시점 합성(novel view synthesis)을 가능하게 했습니다. 여러 도메인에서 장면 특화(scene-specific) 재구성을 넘어선 발전을 지원하고 종합적인 벤치마킹을 위해 대규모 실제 환경 데이터셋이 개발되었습니다. 하지만 방해물 제거 라디언스 필드(distractor-free radiance fields)의 경우, 장면별로 깨끗한 이미지와 방해물이 섞인(cluttered) 이미지를 모두 제공하는 대규모 데이터셋이 여전히 부족하여 개발이 제한되고 있습니다. 이러한 격차를 해소하기 위해 DF3DV-1K를 소개합니다. 이는 1,048개의 장면으로 구성된 대규모 실제 환경 데이터셋으로, 벤치마킹을 위해 각 장면마다 깨끗한 이미지 세트와 방해물이 섞인 이미지 세트를 제공합니다. 총 89,924장의 이미지가 포함된 이 데이터셋은 소비자용 카메라를 사용하여 일상적인 촬영(casual capture)을 모방하여 캡처되었으며, 실내 및 실외 환경에 걸쳐 128개의 방해물 유형과 161개의 장면 테마를 아우릅니다. 41개 장면으로 구성된 선별된 부분 집합인 DF3DV-41은 도전적인 시나리오에서 방해물 제거 라디언스 필드 방법들의 견고성(robustness)을 평가하도록 체계적으로 설계되었습니다. DF3DV-1K를 사용하여 최근의 방해물 제거 라디언스 필드 방법 9개와 3D 가우시안 스플래팅(3D Gaussian Splatting)을 벤치마킹하여 가장 견고한 방법과 가장 도전적인 시나리오를 식별했습니다. 벤치마킹을 넘어, DF3DV-1K의 응용 사례로 디퓨전 기반 2D 향상 모델(diffusion-based 2D enhancer)을 미세조정(fine-tuning)하여 라디언스 필드 방법을 개선하는 방법을 시연했습니다. 그 결과 보류 평가셋(held-out set, 예: DF3DV-41)과 On-the-go 데이터셋에서 평균 0.96 dB PSNR 및 0.057 LPIPS의 향상을 달성했습니다. DF3DV-1K가 방해물 제거 비전(distractor-free vision)의 개발을 촉진하고 장면 특화 접근 방식을 넘어선 진전을 촉진하기를 바랍니다. 데이터셋과 리더보드는 https://johnnylu305.github.io/df3dv1k_web/ 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.