arXiv:2606.11529v1 cs.GR

XPR: 확장 가능한 크로스 플랫폼 포인트 기반 미분 가능 렌더러

XPR: An Extensible Cross-Platform Point-Based Differentiable Renderer

Steve Rhyner, Sankeerth Durvasula, Aleksandr Kovalev, Hansel Jia, Adrian Zhao, Mrutunjayya Mrutunjayya, Nilesh Ahuja, Selvakumar Panneer, Christina Giannoula, Nandita Vijaykumar

제출 2026-06-10

한국어 초록

포인트 기반 미분 가능 렌더링은 현대 3D 재구성, 새로운 시점 합성, 학습 기반 그래픽스 파이프라인의 기반이 되지만, 새로운 렌더링 방법을 개발하려면 종종 광범위한 저수준 구현, 하드웨어 특화 커널, 수동으로 작성된 역전파가 필요하다. 이는 빠른 프로토타이핑, 재현성, 탐색, 배포를 제한하며, 특히 다양한 하드웨어 플랫폼에 걸쳐서 그렇다. 본 논문은 포인트 기반 미분 가능 렌더링을 위한 확장 가능한 크로스 플랫폼 프레임워크인 XPR을 제시한다. XPR은 방법별 로직을 공유 렌더링 파이프라인과 분리하는 고수준 프로그래밍 인터페이스를 도입하여, 사용자가 몇 줄의 코드로 새로운 방법을 구현할 수 있게 한다. 그 파이프라인은 렌더링을 모듈화된 정적 형태의 병렬 연산으로 분해하며, 이는 크로스 플랫폼 컴파일러에 의해 GPU, TPU, CPU 및 기타 ML 가속기용으로 lowering될 수 있다. 우리는 3DGS, 3DGUT, LinPrim의 구현을 시연하며, 각각은 수백 줄의 Python 코드만으로 작성되었고 XLA 컴파일러를 통해 다양한 하드웨어 플랫폼용으로 컴파일될 수 있다. 이러한 결과는 XPR이 새로운 포인트 기반 미분 가능 렌더링 시스템에 대해 빠른 실험과 이식 가능한 실행을 가능하게 함을 보여준다.

원문 초록

Point-based differentiable rendering underpins modern 3D reconstruction, novel-view synthesis, and learning-based graphics pipelines, but developing new rendering methods often requires extensive low-level implementation, hardware-specific kernels, and manually written backward passes. This limits rapid prototyping, reproducibility, exploration, and deployment, especially across diverse hardware platforms. This paper presents XPR, an extensible cross-platform framework for point-based differentiable rendering. XPR introduces a high-level programming interface that separates method-specific logic from the shared rendering pipeline, allowing users to implement new methods in a few lines of code. Its pipeline decomposes rendering into modular, statically shaped parallel operations that can be lowered by a cross-platform compiler to GPUs, TPUs, CPUs, and other ML accelerators. We demonstrate implementations of 3DGS, 3DGUT, and LinPrim, with only a few 100s lines of Python code, each of which can be compiled to a range of hardware platforms with the XLA compiler. These results show that XPR enables fast experimentation and portable execution for emerging point-based differentiable rendering systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11529v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.14513v1cs.CV공통 태그 GPU, 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

GPU 친화적 그래픽스 텍스처 코딩을 이용한 3D Gaussian Splatting 데이터 압축

Compression of 3D Gaussian Splatting Data Using GPU-friendly Graphics Texture Coding

이미지 컬렉션으로부터 3D 장면을 모델링하는 기법(예: 3D Gaussian Splatting, 3DGS)은 시점 의존적(view-dependent) 외형을 갖는 그래픽스 프리미티브를 활용하여 고품질의 새로운 시점(novel view)을 생성할 수 있다. 3DGS에서는 시점 의존적 색상을 모델링하기 위해 구면 조화(spherical harmonic, SH)가 사용되며, 이로 인해 프리미티브당 다수의 SH 계수가 필요하고 메모리 요구량이 커진다. 이 문제를 완화하기 위해 압축 접근법들이 제안되었지만, 병렬 디코딩 및 렌더링을 위한 현대 그래픽 처리 장치(GPU)의 기능을 활용하지 못한다. 본 논문에서는 효율적인 병렬 GPU 디코딩을 위해 특별히 설계되었고 전용 하드웨어 가속을 지원하는 텍스처 압축 방식을 사용하여 SH 색상 계수를 압축하는 방법을 제안한다. 이러한 방법들이 프리미티브를 색상에 따라 국소적으로 그룹화하고 재정렬할 수 있다는 점을 활용하여 2D 텍스처보다 색상 계수를 더 효과적으로 압축할 수 있음을 보인다. 또한 무작위 접근(random access)을 유지하는 비트레이트(bit-rate) 제어 전략을 도입하여, 렌더링 성능을 저해하지 않으면서 대규모 병렬화를 가능하게 한다. BC1 및 BC7 텍스처 압축 포맷을 사용한 실험 결과, GPU 기반 디코딩을 통해 렌더링된 3DGS 장면의 시각적 품질에서 무시할 수 있거나 지각상 구별할 수 없는 저하만으로 달성할 수 있음을 보여준다.

arXiv:2610.13503v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2610.13541v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

3DGS를 위한 효율적인 신뢰도 인지 밀집화

Efficient Confidence-Aware Densification for 3DGS

3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.

arXiv:2610.13860v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

Make It Flow: 3D 가우시안 스플래팅(Gaussian Splatting) 장면에서 물 애니메이션하기

Make It Flow: Animating Water in 3D Gaussian Splatting Scenes

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)과 같은 명시적(explicit) 3D 장면 표현은 최근 고품질의 실시간 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 이러한 방법들은 정적인 장면을 가정하기 때문에, 실제 환경에서 흔히 나타나는 동적 현상이 존재할 경우 사실감이 제한된다. 사람이나 차량과 같은 일관된 움직임은 캡처 및 재구성이 가능하지만, 흐르는 물과 같은 고주파(high-frequency) 효과는 조밀한 다중 시점(multi-view)과 고속 촬영이 불가능한 일반적인 캡처 조건에서는 다루기 어렵다. 본 논문에서는 동적 캡처나 물리 시뮬레이션 없이도 시각적으로 그럴듯한 움직임을 가능하게 하는, 정적 3DGS 장면 내 물 애니메이션 기법을 제시한다. 우리의 접근법은 참조 이미지 또는 모델 렌더링으로부터 2D 광학 흐름(optical flow)을 추정하고, 이를 일관된 3D 오일러(Eulerian) 운동장(motion field)으로 끌어올린다. 우리는 이 운동장을 가우시안 프리미티브(primitive)에 적용하여 변형시킴으로써 시간적으로 매끄럽게 반복되는(looping) 애니메이션을 생성하는, 시네마그래프(cinemagraph)에서 영감을 받은 알고리즘을 제안한다. 그 결과로 얻어지는 표현은 실시간 렌더링 성능을 유지하면서 지각적 사실감을 크게 향상시키고, 장면 내 자유 시점 탐색(free-viewpoint navigation)을 보존한다. 우리는 새롭게 촬영한 실제 환경(in-the-wild) 폭포 장면 데이터셋에서 본 방법을 평가하였으며, 동적 가우시안 스플래팅 및 3D 시네마그래프 생성 분야의 기존 연구와 비교하여 시각적 품질과 계산 효율성 모두에서 명확한 개선을 보여준다.

arXiv:2610.04203v2cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅

Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction

희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.

arXiv:2610.10554v1cs.GR공통 태그 3D Reconstruction, Novel View Synthesis, 3d gaussian splatting

GaussianBench: 가우시안 장면 표현을 위한 물리 충실도 평가

GaussianBench: Physics-Fidelity Evaluation for Gaussian Scene Representations

3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.