arXiv:2610.03162v1 cs.GR

Budgeted-GS: LOD 인자화를 통한 실시간 대규모 가우시안 스플래팅

Budgeted-GS: Real-Time Large-Scale Gaussian Splatting via Factoring LOD

Haipeng Wang

제출 2026-10-02

저자 비고

arXiv Comments

28 pages, 21 figures. Preprint of the EG 2027 submission (paper1075)

한국어 초록

3D 가우시안 스플래팅(3D Gaussian Splatting)은 실시간 렌더링으로 뛰어난 시각적 품질을 달성하지만, 도시 전체 규모에서는 적합하지 않습니다. 학습된 모델은 수백만 개의 기본 요소(primitives)와 수 기가바이트의 메모리를 차지하며, 소비자용 GPU에서 고품질로 실시간 렌더링하는 것은 여전히 요원합니다. 본 논문에서는 학습된 3DGS 모델을 모멘트 일치 집합체들의 다중 해상도 계층 구조인 인자화 트리(factoring tree)로 변환하는 사후 기법인 Budgeted-GS를 소개합니다. 몇 초간의 구축 과정 후, 단일 품질 매개변수가 각 시점마다 대상 기기의 메모리에 맞는 상세도(level of detail, LOD)를 선택하므로, 동일한 도시 규모 모델로 메모리 용량이 크게 다른 여러 GPU를 지원할 수 있습니다. 새로운 장면을 학습해야 할 때도 동일한 이론이 적용됩니다. 전체 크기의 모델을 키운 후 압축하는 대신, 예산 중심 학습(budget-centered training)은 장면에서 필요한 기본 요소의 수를 먼저 측정한 뒤 해당 크기로 모델을 직접 학습하여, 나중에 폐기될 기본 요소를 최적화하는 낭비를 방지합니다. 두 방법 모두 위상 공간(phase space)의 최적 수송(optimal transport)에서 유도된 예산-오차 법칙인 측정 가능한 용량 하한(capacity floor)에 기반하며, 최근의 커버링 정리(covering theorems)로 검증된 선택 규칙이 불필요한 기본 요소를 결정합니다. 이 하한선은 장면에 실제로 필요한 기본 요소 수와 안전하게 포기할 수 있는 기본 요소 수를 알려줍니다. 사전 등록된 프로토콜에 따라 13개의 공개 장면에서 용량 하한을 검증하고, 객체 장면부터 공식 도시 캡처 장면에 이르기까지 두 방법을 모두 적용하여 단일 소비자용 GPU에서 네이티브 1920x1080 해상도와 완전한 구면 조화 함수(full SH)로 실시간 렌더링을 구현합니다.

원문 초록

3D Gaussian Splatting achieves excellent visual quality with real-time rendering, but at the scale of entire cities it does not fit: a trained model carries millions of primitives and gigabytes of memory, and real-time rendering at high quality on a consumer GPU remains out of reach. We introduce Budgeted-GS, a post-hoc method that turns any trained 3DGS model into a factoring tree, a multi-resolution hierarchy of moment-matched aggregates. After a construction pass of a few seconds, a single quality parameter selects, for each view, the level of detail that fits the memory of the target device, so the same city-scale model serves GPUs with widely different memory capacities. When a new scene is to be trained, the same theory applies: instead of growing a full-sized model and compressing it afterwards, budget-centered training first measures how many primitives the scene needs and then trains the model directly at that size, avoiding the wasted effort of optimizing primitives that are later discarded. Both methods are grounded in a measurable capacity floor, a budget-error law derived from optimal transport in phase space; selection rules certified by recent covering theorems decide which primitives are redundant. The floor answers how many primitives a scene actually needs and how many can safely be given up. We validate the floor on 13 public scenes under a preregistered protocol, and exercise both methods from object scenes to an official city capture, rendering it at native 1920x1080, full SH, in real time on one consumer GPU.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03162v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13503v1cs.CV공통 태그 Model Compression, Novel View Synthesis, 3d gaussian splatting

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2610.02322v1cs.CV공통 태그 Model Compression, Novel View Synthesis, 3d gaussian splatting

SCION: 인스턴스화된 뉴럴 프리미티브를 활용한 장면 합성

SCION: Scene Composition with Instanced Neural Primitives

실세계 장면은 구성적(compositional)입니다. 벽돌, 풀잎, 자갈, 나뭇잎 등은 인간이 만든 환경과 자연환경 전반에 걸쳐 반복적으로 나타납니다. 기존의 뉴럴 장면 표현(neural scene representations)은 이러한 요소들을 독립적으로 모델링합니다. 대부분의 3D 가우시안 스플래팅(3D Gaussian Splatting) 및 후속 추상화·압축 방법들은 각 요소를 고유한 것으로 취급하여 장면당 수백만 개의 독립적인 가우시안을 피팅합니다. Splat and Replace와 같은 이전 방법들은 템플릿 객체를 피팅하지만, 반복되는 요소를 대부분 수동으로 선택해야 합니다. 그 결과, 이러한 표현 방식은 불필요하게 중복된 파라미터를 저장하며 다운스트림 태스크를 위한 조작 인터페이스(manipulation handles)가 취약합니다. 본 논문에서는 독립적인 가우시안 대신 재사용 가능한 프리미티브의 조밀한 어휘집(vocabulary)과 장면 전체에 변형된 복사본을 배치하는 경량 월드 좌표계 인스턴스로 대체하는 계층적 구성 장면 표현인 SCION을 소개합니다. 저자들은 스플랫 및 인스턴스에 대한 2단계 조밀화(densification)와 공유 프리미티브 전반의 디테일을 보존하는 적대적 손실(adversarial loss)을 결합하여, 이산 및 연속 장면 파라미터에 대한 공동 최적화(joint optimization)를 통해 다중 뷰 캡처에 이 표현을 피팅합니다. 복원된 구조는 1.2MB 크기에서도 높은 품질을 유지하면서 조밀하고 제어 가능한 표현을 제공합니다. SCION은 기존 가우시안 압축 방법 대비 유리한 율-왜곡(rate-distortion) 성능을 달성하며, 재학습 없이도 인스턴스 수준의 장면 편집 및 애니메이션을 가능하게 합니다. 본 연구 결과는 뉴럴 장면 표현이 장면을 독립적인 프리미티브로 암기할 필요 없이 재사용 가능한 부분을 발견할 수 있음을 보여줍니다. 프로젝트 웹페이지: https://light.princeton.edu/SCION

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency, Model Compression

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2609.24894v2cs.CV공통 태그 Computational Efficiency, Model Compression

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

arXiv:2610.15781v1cs.LG공통 태그 Computational Efficiency, Model Compression

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.13541v1cs.CV공통 태그 Novel View Synthesis, 3d gaussian splatting

3DGS를 위한 효율적인 신뢰도 인지 밀집화

Efficient Confidence-Aware Densification for 3DGS

3DGS-MCMC는 3D 가우시안 스플래팅(3D Gaussian Splatting)의 그래디언트 기반 밀도 제어를 불투명도(opacity) 기반 샘플링 및 재배치로 대체하며, 고정된 프리미티브(primitive) 예산 하에서 사전 정보 없는(prior-free) 밀집화의 사실상 표준이 되었습니다. 이미 장면이 잘 재구성된 영역에서 불투명도가 높게 유지되기 때문에, 이러한 샘플링은 대부분의 새로운 프리미티브를 전경으로 보내고 배경은 불충분하게 재구성된 상태로 남겨둡니다. 낮은 예산에서는 ConeGS 및 EDGS와 같은 사전 정보 기반 방법이 사전학습된 래디언스 필드(radiance field)나 조밀한 이미지 매칭, 그리고 별도의 초기화 단계를 희생하면서 이를 능가하는 성능을 보입니다. 본 논문에서는 고정 예산 MCMC 프레임워크 내에서 오차 기반(error-driven) 밀집화의 부활을 주장합니다. 제안하는 신뢰도 인지 밀집화(confidence-aware densification)는 3DGS-MCMC의 고정된 예산과 점진적 증가 방식을 유지하면서도, 불투명도 대신 이미지 오차를 기준으로 프리미티브를 배치합니다. 새로운 프리미티브는 주로 스크린 공간 그래디언트가 큰 위치에서 추출됩니다. 또한 재구성이 여전히 불완전하게 설명하는 영역을 나타내는 학습된 낮은 신뢰도를 가진 프리미티브를 선호하며, 렌더링된 이미지에 가장 적게 기여하는 프리미티브를 이러한 위치로 재배치합니다. 24개 장면에 대한 평균 결과, 본 연구의 방법은 10만 개부터 200만 개 프리미티브에 이르는 모든 예산 범위에서 PSNR, SSIM, LPIPS 전반에 걸쳐 3DGS-MCMC를 능가합니다. 10만 개 예산에서는 사전 정보나 초기화 단계 없이도 ConeGS가 3DGS-MCMC 대비 앞서는 1.05dB PSNR 중 0.84dB를 회복하며, 50만 개 이후부터는 ConeGS와 EDGS를 포함해 비교된 모든 고정 예산 방법 중 가장 높은 PSNR과 SSIM을 달성합니다. 본 밀집화 기법은 본질적으로 사전 정보가 필요 없지만 사전 정보를 활용할 수도 있어, ConeGS 또는 EDGS 초기화로부터 시작할 경우 10만 개에서 ConeGS와 대등한 PSNR 및 SSIM을 기록하고 50만 개에서는 세 가지 지표 모두에서 최고 성능을 달성합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.