arXiv:2602.03538v2 cs.CV

제약 기반 동적 가우시안 스플래팅

Constrained Dynamic Gaussian Splatting

Zihan Zheng, Zhenlong Wu, Xuanxuan Wang, Houqiang Zhong, Xiaoyun Zhang, Qiang Hu, Guangtao Zhai, Wenjun Zhang

제출 2026-02-03

한국어 초록

동적 가우시안 스플래팅(Dynamic Gaussian Splatting)은 고충실도 4D 재구성을 가능하게 하지만, 실제 배포는 근본적인 딜레마로 인해 심각하게 저해됩니다. 제약 없는 조밀화(densification)는 엣지 디바이스와 호환되지 않는 과도한 메모리 소비를 초래하는 반면, 휴리스틱 가지치기(pruning)는 사전 설정된 가우시안 예산 하에서 최적의 렌더링 품질을 달성하지 못합니다. 본 연구에서는 학습(training) 중 엄격한 사용자 정의 가우시안 예산을 강제하기 위해 동적 장면 재구성을 예산 제약 최적화(budget-constrained optimization) 문제로 공식화하는 새로운 프레임워크인 제약 기반 동적 가우시안 스플래팅(Constrained Dynamic Gaussian Splatting, CDGS)을 제안합니다. 우리의 핵심 통찰은 핵심 최적화 동력으로서 미분 가능한 예산 컨트롤러를 도입하는 것입니다. 다중 모달 통합 중요도 점수의 유도를 받는 이 컨트롤러는 기하학적, 모션, 인지적 단서를 융합하여 정밀하게 용량을 조절합니다. 이러한 고정 예산의 효용을 극대화하기 위해, 가우시안 표현을 정적 및 동적 브랜치로 분리하고 모션 복잡도에 따라 두 브랜치 사이에 공유된 글로벌 용량을 분배하는 적응형 정적-동적 할당 전략을 추가로 도입합니다. 또한 이러한 제약 조건을 매끄럽게 통합하여 목표 개수를 정밀하게 준수하도록 보장하는 3단계 학습 전략을 구현합니다. 학습 후에는 이중 모드 하이브리드 압축 기법을 통해 스토리지 오버헤드를 더욱 줄입니다. 따라서 CDGS는 지정된 가우시안 개수 예산을 엄격하게 준수(오차 < 2%)할 뿐만 아니라 우수한 율-왜곡(rate-distortion) 성능을 달성합니다. 광범위한 실험을 통해 CDGS가 다양한 용량 제한 하에서 최적의 렌더링 품질과 우수한 율-왜곡 성능을 제공하며, 최첨단(SOTA) 방법인 Ex4DGS와 비교하여 3배 이상의 모델(model) 압축을 달성함을 입증합니다.

원문 초록

While Dynamic Gaussian Splatting enables high-fidelity 4D reconstruction, its deployment is severely hindered by a fundamental dilemma: unconstrained densification leads to excessive memory consumption incompatible with edge devices, whereas heuristic pruning fails to achieve optimal rendering quality under preset Gaussian budgets. In this work, we propose Constrained Dynamic Gaussian Splatting (CDGS), a novel framework that formulates dynamic scene reconstruction as a budget-constrained optimization problem to enforce a strict, user-defined Gaussian budget during training. Our key insight is to introduce a differentiable budget controller as the core optimization driver. Guided by a multi-modal unified importance score, this controller fuses geometric, motion, and perceptual cues for precise capacity regulation. To maximize the utility of this fixed budget, we further introduce an adaptive static-dynamic allocation strategy that separates the Gaussian representation into static and dynamic branches and distributes the shared global capacity between them according to motion complexity. Furthermore, we implement a three-phase training strategy to seamlessly integrate these constraints, ensuring precise adherence to the target count. After training, a dual-mode hybrid compression scheme further reduces storage overhead. CDGS therefore not only strictly adheres to the specified Gaussian-count budget (error<2%) but also achieves favorable rate-distortion performance. Extensive experiments demonstrate that CDGS delivers optimal rendering quality under varying capacity limits and favorable rate-distortion performance, achieving over 3x model compression compared with the state-of-the-art method Ex4DGS.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.03538v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.29963v2cs.CV공통 태그 3D Reconstruction, Model Compression, Novel View Synthesis, gaussian splatting

ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당

ADATEX4D: adaptive texture capacity allocation for 4D gaussian splatting

텍스처가 적용된 가우시안(Textured Gaussians)은 국소적 외관 표현 능력을 향상하지만, 모든 프리미티브에 동일한 텍스처 해상도를 할당하면 세부 표현이 적거나 시인성이 낮은 영역에서 저장 공간이 낭비됩니다. 본 논문에서는 변형 기반 4D 가우시안 스플래팅(4D Gaussian Splatting)을 위한 적응형 텍스처 용량 모듈인 AdaTex4D를 제안합니다. 각 가우시안은 패킹된 RGBA 트라이플레인(triplane)을 포함하며, 이 트라이플레인의 두 축은 시인성 정규화 화면 공간 그래디언트와 변형된 국소적 스케일에 따라 독립적으로 확장됩니다. N3DV 및 PanopticSports 데이터셋에 대한 실험 결과, AdaTex4D는 재구성 품질을 유지하면서 텍스처 저장 공간을 절반 이상 줄이는 것으로 나타났습니다. 고정된 메모리 예산 하에서도 적응형 할당은 균일한 텍스처 할당에 비해 품질을 개선하고 전체 모델 크기 및 최대 메모리 사용량을 감소시킵니다. 이러한 결과는 동적 비등방성 텍스처 할당이 4D 가우시안 표현에서 국소적 외관 표현 용량을 분배하는 데 더욱 효율적인 방안을 제공함을 보여줍니다.

arXiv:2610.01229v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 4D reconstruction, gaussian splatting

동적 장면을 위한 컴팩트한 명시적 4D 표현

A Compact Explicit 4D Representation for Dynamic Scenes

컴팩트한 동적 장면 표현은 시간에 따라 관찰되는 표면과 새로운 시점에서 이를 렌더링하는 데 필요한 외형을 모두 유지해야 합니다. 본 논문에서는 카메라 정보가 알려진 단안 비디오를 희소(sparse) 4D 장면 상태로 인코딩하는 피드포워드 오토인코더인 Sparc4D를 제시합니다. 정적 특징(feature)은 클립 전체에서 공유되는 반면, 공간적으로 고정된 시간적 슬롯(temporal slot)은 시간에 따라 변하는 특징을 압축합니다. 희소 디코더는 2D 가우시안 서펠(Gaussian surfel)을 생성하며, 저장된 소스 픽셀은 기하학적 재투영을 통해 미세한 텍스처를 보존합니다. 이 상태에는 학습된 특징 및 희소 점유(occupancy)와 함께 하나의 전체 소스 프레임 및 매 4번째 프레임마다 샘플링된 동적 영역 픽셀이 포함됩니다. 32프레임 MultiCamVideo 클립의 경우, 무작위 윈도우에서 평균 0.95M개, first-32 프로토콜에서 0.92M개의 32비트 환산 값을 기록합니다. first-32에서 Sparc4D는 MoVieS의 20.40\,dB에 비해 21.70\,dB에 도달합니다. 무작위로 배치된 윈도우에서는 두 모델의 PSNR 점수가 비슷합니다. 저장된 텍스처를 비활성화했을 때, 시간적 슬롯은 시간에 따라 변하는 특징 상태를 중앙값 기준 4.0배 압축하고 평균 상태를 1.04M개에서 0.42M개 값으로 줄이면서도 타깃 뷰 재구성 품질을 본질적으로 거의 동일하게 유지합니다. 실제 데이터에 대한 미세조정(fine-tuning) 없이도 Sparc4D는 DyCheck 및 Neu3D로 전이되며, 저장된 텍스처는 PSNR을 약간 낮추는 대신 LPIPS를 향상시킵니다.

arXiv:2609.23005v1cs.CV공통 태그 3D Reconstruction, Model Compression, Novel View Synthesis, gaussian splatting

교차 표현 사전 정보를 통한 3D 가우시안 스플래팅 압축

Compressing 3D Gaussian Splatting via Cross-Representation Priors

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 고품질의 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 조밀한 가우시안 프리미티브(primitive)로 인해 저장 및 전송 비용이 높다. 최근의 앵커 기반(anchor-based) 압축 기법은 프리미티브 단위의 중복성을 줄였지만, 앵커 간 중복성은 여전히 대부분 활용되지 않고 있다. 우리는 앵커 수준의 엔트로피 모델링을 개선하기 위해 교차 표현 사전 정보(cross-representation priors)를 활용하는 율-왜곡 최적화(rate-distortion optimized) 압축 프레임워크인 CRP-GS(Cross-Representation Priors for Gaussian Splatting)를 제안한다. 첫째, 대응 관계 기반 계층적 구조(Correspondence-Oriented Hierarchical Structure, COHS)는 앵커를 공간적 근접성이 아닌 특징 대응 관계(feature correspondence)에 따라 조직화하여 루트-리프(root-leaf) 의존 관계를 구성함으로써, 선택된 앵커가 다른 앵커를 조건부로 인코딩하기 위한 정보성 있는 사전 정보(prior) 역할을 하도록 하며, 이를 통해 더 정확한 가능도(likelihood) 예측과 더 낮은 조건부 엔트로피를 달성한다. 둘째, 공유 특징 집계(Shared Feature Aggregation, SFA)는 맥락적 해시 그리드(contextual hash grid)로부터 전역적으로 공유되는 특징을 추출하여 앵커 표현에 주입함으로써, 그렇지 않으면 개별 앵커에 중복적으로 임베딩될 장면 일관적인 저주파 정보를 분리해낸다. 두 모듈 모두 비트레이트 감소와 렌더링 충실도(fidelity) 사이의 균형을 맞추기 위해 통합된 율-왜곡 목적 함수 하에서 학습된다. 다수의 벤치마크에 걸친 실험 결과, CRP-GS는 앵커 기반 베이스라인 대비 평균 약 30%의 비트레이트 감소를 달성하면서도 비슷한 수준의 렌더링 품질을 유지하여 우수한 전반적인 율-왜곡 트레이드오프를 달성함을 보인다.

arXiv:2609.24531v1cs.CV공통 태그 3D Reconstruction, Novel View Synthesis, 4D reconstruction, gaussian splatting

동적 열화상 가우시안: 멀티모달 4D 가우시안 스플래팅

Dynamic Thermal Gaussians: Multimodal 4D Gaussian Splatting

열화상(thermography)은 군사 및 보다 폭넓은 열 분석(thermal analysis) 응용 분야에서 중요한 역할을 한다. 최근 3D 열 재구성(3D thermal reconstruction) 분야의 발전으로 온도 분석이 2D에서 3D 공간으로 확장되었지만, 기존 연구 대부분은 정적인 온도 분포를 가정하여 실제 환경에서 발생하는 열 전달의 시간적 동역학을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 복잡한 장면을 위한 최초의 동적 RGB-열화상(RGB-Thermal) 재구성 프레임워크를 제안한다. 우리의 방법은 RGB 외형(appearance), 열화상 관측값, 그리고 장면 기하 구조(geometry)가 시간에 따라 변화하는 양상을 공동으로 모델링한다. 구체적으로, 우리는 색상(color)과 열화상 모달리티(modality)를 공유된 기하학적 기반(shared geometric substrate)에 고정하여 시공간적 변형(spatiotemporal deformation) 하에서도 두 모달리티 간 일관성을 보장하는 멀티모달 동적 장면 표현(multimodal dynamic scene representation)을 도입한다. 또한 각 모달리티의 움직임 표현력(motion expressiveness)을 향상시키기 위해 멀티모달 임베딩(multimodal embedding)을 설계하고, 기하학적 백본(geometric backbone)으로서 통합된 공유 멀티모달 가우시안(multimodal Gaussian) 집합을 유지하면서도 각 개별 모달리티의 디테일이 풍부한 영역에서 표현 능력을 강화하기 위해 모달리티별 가우시안을 적응적으로 생성하는 멀티모달 라우팅 메커니즘(multimodal routing mechanism)을 제안한다. 이에 더해, 4D 재구성 평가를 용이하게 하기 위해 고빈도 온도 변화를 특징으로 하는 새로운 벤치마크 데이터셋을 제공한다. 광범위한 실험을 통해 우리의 방법이 외형과 온도 모두에 대해 높은 충실도의 시공간적 재구성을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/LinLif1869/DTG 에서 확인할 수 있다.

arXiv:2607.24403v1cs.CV공통 태그 3D Reconstruction, Model Compression, Novel View Synthesis, gaussian splatting

GenSplatCodec: 원스텝 디퓨전 기반 피드포워드 가우시안 스플래팅 압축

GenSplatCodec: Feed-Forward Gaussian Splatting Compression via One-Step Diffusion

피드포워드 3D Gaussian Splatting(3DGS)은 장면별 최적화 없이 확장 가능한 장면 재구성을 가능하게 하지만, 저장 및 전송 비용이 큰 밀집된 가우시안을 생성한다. 기존 피드포워드 가우시안 압축 방법들은 디코딩을 결정론적 표현 복원으로 공식화하는데, 이는 낮은 비트레이트에서 고주파 텍스처와 시점 의존적 외관이 버려질 때 부적절해진다. 생성 모델이 유망한 대안을 제공하지만, 이를 독립적인 후처리로 사용하면 생성이 전송된 장면 구조와 분리되어 시점 간 일관성을 훼손한다. 이러한 한계를 해결하기 위해, 우리는 저비트레이트 가우시안 압축을 기하학 유도 생성 디코딩으로 재공식화하는 통합 피드포워드 가우시안 코덱인 GenSplatCodec을 제안한다. 우리는 이중 스트림 공식화 내에서 세부 인식 피드포워드 가우시안 코딩 방식을 제시하며, 여기서 결과로 얻어진 컴팩트한 가우시안 구조 스트림은 경량 참조 외관 스트림으로 보완된다. 또한 계층적 기하학 제어를 통해 디코딩된 구조 및 외관 단서를 공동으로 활용하여 고충실도이면서 시점 일관적인 novel view를 재구성하는 기하학 유도 원스텝 생성 디코딩 접근법을 도입한다. 마지막으로, 통합 코덱의 학습을 안정화하고 생성 디코더가 코덱에서 파생된 구조 및 외관 단서에 적응하도록 하는 3단계 최적화 전략을 개발한다. 다수의 데이터셋에 걸친 광범위한 실험을 통해 GenSplatCodec이 기존 방법들보다 일관되게 우수한 rate-distortion(RD) 성능을 달성함을 보여준다.

arXiv:2610.13503v1cs.CV공통 태그 3D Reconstruction, Model Compression, Novel View Synthesis

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.