LG-HCC: 3D Gaussian Splatting을 위한 국소 기하 인식 계층적 컨텍스트 압축
LG-HCC: Local Geometry-Aware Hierarchical Context Compression for 3D Gaussian Splatting
한국어 초록
3D Gaussian Splatting(3DGS)은 고충실도 실시간 렌더링을 가능하게 하지만, 과도한 저장 공간 부담이 실용 배포를 크게 저해한다. 최근 앵커 기반 3DGS 압축 방식은 고급 컨텍스트 모델을 통해 가우시안 중복을 줄인다. 그러나 이들은 명시적 기하 의존성을 간과하여 구조적 열화와 차원(rate-distortion) 성능 저하를 초래한다. 본 논문에서는 3DGS를 위한 국소 기하 인식 계층적 컨텍스트 압축(Local Geometry-aware Hierarchical Context Compression, LG-HCC) 프레임워크를 제안한다. 이는 앵커 간 기하 상관을 앵커 가지치기와 엔트로피 코딩에 통합하여 compact 표현을 달성한다. 구체적으로, 가중 이웃 특징 집계로 앵커 중요도를 평가한 뒤 기여도가 낮은 앵커를 두드러진 이웃에 병합하는 이웃 인식 앵커 가지치기(Neighborhood-Aware Anchor Pruning, NAAP) 전략을 도입하여, compact하면서도 기하적으로 일관된 앵커 집합을 만든다. 또한 경량 기하 유도 합성곱(Geometry-Guided Convolution, GG-Conv) 연산자로 거친-세밀(coarse-to-fine) 사전분포를 활용하는 계층적 엔트로피 코딩 방식을 추가로 설계하여, 공간적으로 적응적인 컨텍스트 모델링과 rate-distortion 최적화를 가능하게 한다. 광범위한 실험에서 LG-HCC는 구조 보존 문제를 효과적으로 완화하며, Mip-NeRF360 데이터셋에서 Scaffold-GS 기준선 대비 최대 30.85배 저장 공간을 줄이면서도 우수한 기하적 무결성과 렌더링 충실도를 달성한다.
원문 초록
Although 3D Gaussian Splatting (3DGS) enables high-fidelity real-time rendering, its prohibitive storage overhead severely hinders practical deployment. Recent anchor-based 3DGS compression schemes reduce gaussian redundancy through some advanced context models. However, they overlook explicit geometric dependencies, leading to structural degradation and suboptimal ratedistortion performance. In this paper, we propose a Local Geometry-aware Hierarchical Context Compression framework for 3DGS(LG-HCC) that incorporates inter-anchor geometric correlations into anchor pruning and entropy coding for compact representation. Specifically, we introduce an Neighborhood-Aware Anchor Pruning (NAAP) strategy, which evaluates anchor importance via weighted neighborhood feature aggregation and then merges low-contribution anchors into salient neighbors, yielding a compact yet geometry-consistent anchor set. Moreover, we further develop a hierarchical entropy coding scheme, in which coarse-to-fine priors are exploited through a lightweight Geometry-Guided Convolution(GG-Conv) operator to enable spatially adaptive context modeling and rate-distortion optimization. Extensive experiments show that LG-HCC effectively alleviates structural preservation issues,achieving superior geometric integrity and rendering fidelity while reducing storage by up to 30.85x compared to the Scaffold-GS baseline on the Mip-NeRF360 dataset
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.28431v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
유리 함수 기반으로 선형화된 다층 퍼셉트론
Rationally Linearized MLPs
본 논문에서는 표준 활성화 함수의 저차수 유리 근사(rational approximation)를 활용하여 다층 퍼셉트론(MLP)을 효율적으로 선형화하는 새로운 접근법인 RaLiMPs(Rationally Linearized Multilayer Perceptrons)를 제시합니다. 다항식 기반 MLP 선형화에서 영감을 받아, 유리 근사가 훨씬 낮은 차수에서도 정확한 표현을 제공할 수 있음을 보입니다. RaLiMPs는 이러한 근사를 활용하여 좁은 병목(bottleneck)을 갖는 커널(kernel) 표현을 구성함으로써 MLP 계층 전반에 걸친 효율적인 합성을 가능하게 합니다. 또한 도출된 근사에 대한 이론적 보장을 제공하며, 암시적 3D 모델부터 대규모 언어 모델(LLM)에 이르는 다양한 응용 분야에서 RaLiMPs를 평가합니다. 실험 결과, RaLiMPs가 추론 비용을 대폭 줄이면서도 경쟁력 있거나 향상된 정확도를 달성하여 유리한 정확도-효율성 트레이드오프를 보여줌을 입증합니다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당
ADATEX4D: adaptive texture capacity allocation for 4D gaussian splatting
텍스처가 적용된 가우시안(Textured Gaussians)은 국소적 외관 표현 능력을 향상하지만, 모든 프리미티브에 동일한 텍스처 해상도를 할당하면 세부 표현이 적거나 시인성이 낮은 영역에서 저장 공간이 낭비됩니다. 본 논문에서는 변형 기반 4D 가우시안 스플래팅(4D Gaussian Splatting)을 위한 적응형 텍스처 용량 모듈인 AdaTex4D를 제안합니다. 각 가우시안은 패킹된 RGBA 트라이플레인(triplane)을 포함하며, 이 트라이플레인의 두 축은 시인성 정규화 화면 공간 그래디언트와 변형된 국소적 스케일에 따라 독립적으로 확장됩니다. N3DV 및 PanopticSports 데이터셋에 대한 실험 결과, AdaTex4D는 재구성 품질을 유지하면서 텍스처 저장 공간을 절반 이상 줄이는 것으로 나타났습니다. 고정된 메모리 예산 하에서도 적응형 할당은 균일한 텍스처 할당에 비해 품질을 개선하고 전체 모델 크기 및 최대 메모리 사용량을 감소시킵니다. 이러한 결과는 동적 비등방성 텍스처 할당이 4D 가우시안 표현에서 국소적 외관 표현 용량을 분배하는 데 더욱 효율적인 방안을 제공함을 보여줍니다.
SCION: 인스턴스화된 뉴럴 프리미티브를 활용한 장면 합성
SCION: Scene Composition with Instanced Neural Primitives
실세계 장면은 구성적(compositional)입니다. 벽돌, 풀잎, 자갈, 나뭇잎 등은 인간이 만든 환경과 자연환경 전반에 걸쳐 반복적으로 나타납니다. 기존의 뉴럴 장면 표현(neural scene representations)은 이러한 요소들을 독립적으로 모델링합니다. 대부분의 3D 가우시안 스플래팅(3D Gaussian Splatting) 및 후속 추상화·압축 방법들은 각 요소를 고유한 것으로 취급하여 장면당 수백만 개의 독립적인 가우시안을 피팅합니다. Splat and Replace와 같은 이전 방법들은 템플릿 객체를 피팅하지만, 반복되는 요소를 대부분 수동으로 선택해야 합니다. 그 결과, 이러한 표현 방식은 불필요하게 중복된 파라미터를 저장하며 다운스트림 태스크를 위한 조작 인터페이스(manipulation handles)가 취약합니다. 본 논문에서는 독립적인 가우시안 대신 재사용 가능한 프리미티브의 조밀한 어휘집(vocabulary)과 장면 전체에 변형된 복사본을 배치하는 경량 월드 좌표계 인스턴스로 대체하는 계층적 구성 장면 표현인 SCION을 소개합니다. 저자들은 스플랫 및 인스턴스에 대한 2단계 조밀화(densification)와 공유 프리미티브 전반의 디테일을 보존하는 적대적 손실(adversarial loss)을 결합하여, 이산 및 연속 장면 파라미터에 대한 공동 최적화(joint optimization)를 통해 다중 뷰 캡처에 이 표현을 피팅합니다. 복원된 구조는 1.2MB 크기에서도 높은 품질을 유지하면서 조밀하고 제어 가능한 표현을 제공합니다. SCION은 기존 가우시안 압축 방법 대비 유리한 율-왜곡(rate-distortion) 성능을 달성하며, 재학습 없이도 인스턴스 수준의 장면 편집 및 애니메이션을 가능하게 합니다. 본 연구 결과는 뉴럴 장면 표현이 장면을 독립적인 프리미티브로 암기할 필요 없이 재사용 가능한 부분을 발견할 수 있음을 보여줍니다. 프로젝트 웹페이지: https://light.princeton.edu/SCION
Budgeted-GS: LOD 인자화를 통한 실시간 대규모 가우시안 스플래팅
Budgeted-GS: Real-Time Large-Scale Gaussian Splatting via Factoring LOD
3D 가우시안 스플래팅(3D Gaussian Splatting)은 실시간 렌더링으로 뛰어난 시각적 품질을 달성하지만, 도시 전체 규모에서는 적합하지 않습니다. 학습된 모델은 수백만 개의 기본 요소(primitives)와 수 기가바이트의 메모리를 차지하며, 소비자용 GPU에서 고품질로 실시간 렌더링하는 것은 여전히 요원합니다. 본 논문에서는 학습된 3DGS 모델을 모멘트 일치 집합체들의 다중 해상도 계층 구조인 인자화 트리(factoring tree)로 변환하는 사후 기법인 Budgeted-GS를 소개합니다. 몇 초간의 구축 과정 후, 단일 품질 매개변수가 각 시점마다 대상 기기의 메모리에 맞는 상세도(level of detail, LOD)를 선택하므로, 동일한 도시 규모 모델로 메모리 용량이 크게 다른 여러 GPU를 지원할 수 있습니다. 새로운 장면을 학습해야 할 때도 동일한 이론이 적용됩니다. 전체 크기의 모델을 키운 후 압축하는 대신, 예산 중심 학습(budget-centered training)은 장면에서 필요한 기본 요소의 수를 먼저 측정한 뒤 해당 크기로 모델을 직접 학습하여, 나중에 폐기될 기본 요소를 최적화하는 낭비를 방지합니다. 두 방법 모두 위상 공간(phase space)의 최적 수송(optimal transport)에서 유도된 예산-오차 법칙인 측정 가능한 용량 하한(capacity floor)에 기반하며, 최근의 커버링 정리(covering theorems)로 검증된 선택 규칙이 불필요한 기본 요소를 결정합니다. 이 하한선은 장면에 실제로 필요한 기본 요소 수와 안전하게 포기할 수 있는 기본 요소 수를 알려줍니다. 사전 등록된 프로토콜에 따라 13개의 공개 장면에서 용량 하한을 검증하고, 객체 장면부터 공식 도시 캡처 장면에 이르기까지 두 방법을 모두 적용하여 단일 소비자용 GPU에서 네이티브 1920x1080 해상도와 완전한 구면 조화 함수(full SH)로 실시간 렌더링을 구현합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.