Pocket-SLAM: Rendering-Area-Aware Pruning for Memory-Efficient 3DGS-SLAM
원문 초록
3D Gaussian Splatting (3DGS) has garnered significant attention in Simultaneous Localization and Mapping (SLAM) due to its advances in capturing fine-grained geometry features and synthesizing novel views. For SLAM in large-scale scenes, such as autonomous driving, 3DGS-SLAM faces a critical limitation: memory consumption increases continuously over time as Gaussian points accumulate, leading to poor memory efficiency and limiting its applicability. In this work, we propose a rendering-area-aware pruning strategy that selectively removes Gaussians based on their contribution to the effective rendering area, rather than solely relying on Gaussian-level heuristics such as opacity or gradient magnitude. This perspective directly targets the sources of memory redundancy, effectively reducing the peak memory footprint of 3DGS-SLAM during runtime. Evaluations on the EuRoC and KITTI datasets demonstrate that our method consistently outperforms existing pruning approaches in large-scale outdoor scenes, achieving over 60% memory reduction and more than 2 times FPS improvement while preserving localization and mapping accuracy. These results highlight rendering-area-aware pruning as a promising direction for scaling 3DGS-SLAM to real-world autonomous driving scenarios. Our code is publicly available at https://github.com/UMN-ZhaoLab/Pocket-SLAM.git.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.24796v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당
ADATEX4D: adaptive texture capacity allocation for 4D gaussian splatting
텍스처가 적용된 가우시안(Textured Gaussians)은 국소적 외관 표현 능력을 향상하지만, 모든 프리미티브에 동일한 텍스처 해상도를 할당하면 세부 표현이 적거나 시인성이 낮은 영역에서 저장 공간이 낭비됩니다. 본 논문에서는 변형 기반 4D 가우시안 스플래팅(4D Gaussian Splatting)을 위한 적응형 텍스처 용량 모듈인 AdaTex4D를 제안합니다. 각 가우시안은 패킹된 RGBA 트라이플레인(triplane)을 포함하며, 이 트라이플레인의 두 축은 시인성 정규화 화면 공간 그래디언트와 변형된 국소적 스케일에 따라 독립적으로 확장됩니다. N3DV 및 PanopticSports 데이터셋에 대한 실험 결과, AdaTex4D는 재구성 품질을 유지하면서 텍스처 저장 공간을 절반 이상 줄이는 것으로 나타났습니다. 고정된 메모리 예산 하에서도 적응형 할당은 균일한 텍스처 할당에 비해 품질을 개선하고 전체 모델 크기 및 최대 메모리 사용량을 감소시킵니다. 이러한 결과는 동적 비등방성 텍스처 할당이 4D 가우시안 표현에서 국소적 외관 표현 용량을 분배하는 데 더욱 효율적인 방안을 제공함을 보여줍니다.
SCION: 인스턴스화된 뉴럴 프리미티브를 활용한 장면 합성
SCION: Scene Composition with Instanced Neural Primitives
실세계 장면은 구성적(compositional)입니다. 벽돌, 풀잎, 자갈, 나뭇잎 등은 인간이 만든 환경과 자연환경 전반에 걸쳐 반복적으로 나타납니다. 기존의 뉴럴 장면 표현(neural scene representations)은 이러한 요소들을 독립적으로 모델링합니다. 대부분의 3D 가우시안 스플래팅(3D Gaussian Splatting) 및 후속 추상화·압축 방법들은 각 요소를 고유한 것으로 취급하여 장면당 수백만 개의 독립적인 가우시안을 피팅합니다. Splat and Replace와 같은 이전 방법들은 템플릿 객체를 피팅하지만, 반복되는 요소를 대부분 수동으로 선택해야 합니다. 그 결과, 이러한 표현 방식은 불필요하게 중복된 파라미터를 저장하며 다운스트림 태스크를 위한 조작 인터페이스(manipulation handles)가 취약합니다. 본 논문에서는 독립적인 가우시안 대신 재사용 가능한 프리미티브의 조밀한 어휘집(vocabulary)과 장면 전체에 변형된 복사본을 배치하는 경량 월드 좌표계 인스턴스로 대체하는 계층적 구성 장면 표현인 SCION을 소개합니다. 저자들은 스플랫 및 인스턴스에 대한 2단계 조밀화(densification)와 공유 프리미티브 전반의 디테일을 보존하는 적대적 손실(adversarial loss)을 결합하여, 이산 및 연속 장면 파라미터에 대한 공동 최적화(joint optimization)를 통해 다중 뷰 캡처에 이 표현을 피팅합니다. 복원된 구조는 1.2MB 크기에서도 높은 품질을 유지하면서 조밀하고 제어 가능한 표현을 제공합니다. SCION은 기존 가우시안 압축 방법 대비 유리한 율-왜곡(rate-distortion) 성능을 달성하며, 재학습 없이도 인스턴스 수준의 장면 편집 및 애니메이션을 가능하게 합니다. 본 연구 결과는 뉴럴 장면 표현이 장면을 독립적인 프리미티브로 암기할 필요 없이 재사용 가능한 부분을 발견할 수 있음을 보여줍니다. 프로젝트 웹페이지: https://light.princeton.edu/SCION
Budgeted-GS: LOD 인자화를 통한 실시간 대규모 가우시안 스플래팅
Budgeted-GS: Real-Time Large-Scale Gaussian Splatting via Factoring LOD
3D 가우시안 스플래팅(3D Gaussian Splatting)은 실시간 렌더링으로 뛰어난 시각적 품질을 달성하지만, 도시 전체 규모에서는 적합하지 않습니다. 학습된 모델은 수백만 개의 기본 요소(primitives)와 수 기가바이트의 메모리를 차지하며, 소비자용 GPU에서 고품질로 실시간 렌더링하는 것은 여전히 요원합니다. 본 논문에서는 학습된 3DGS 모델을 모멘트 일치 집합체들의 다중 해상도 계층 구조인 인자화 트리(factoring tree)로 변환하는 사후 기법인 Budgeted-GS를 소개합니다. 몇 초간의 구축 과정 후, 단일 품질 매개변수가 각 시점마다 대상 기기의 메모리에 맞는 상세도(level of detail, LOD)를 선택하므로, 동일한 도시 규모 모델로 메모리 용량이 크게 다른 여러 GPU를 지원할 수 있습니다. 새로운 장면을 학습해야 할 때도 동일한 이론이 적용됩니다. 전체 크기의 모델을 키운 후 압축하는 대신, 예산 중심 학습(budget-centered training)은 장면에서 필요한 기본 요소의 수를 먼저 측정한 뒤 해당 크기로 모델을 직접 학습하여, 나중에 폐기될 기본 요소를 최적화하는 낭비를 방지합니다. 두 방법 모두 위상 공간(phase space)의 최적 수송(optimal transport)에서 유도된 예산-오차 법칙인 측정 가능한 용량 하한(capacity floor)에 기반하며, 최근의 커버링 정리(covering theorems)로 검증된 선택 규칙이 불필요한 기본 요소를 결정합니다. 이 하한선은 장면에 실제로 필요한 기본 요소 수와 안전하게 포기할 수 있는 기본 요소 수를 알려줍니다. 사전 등록된 프로토콜에 따라 13개의 공개 장면에서 용량 하한을 검증하고, 객체 장면부터 공식 도시 캡처 장면에 이르기까지 두 방법을 모두 적용하여 단일 소비자용 GPU에서 네이티브 1920x1080 해상도와 완전한 구면 조화 함수(full SH)로 실시간 렌더링을 구현합니다.
PocketSplat: 월드 공간 잠재 할당을 통한 모바일 가우시안 재구성
PocketSplat: Mobile Gaussian Reconstruction via World-Space Latent Allocatio
모바일 가우시안 재구성(Gaussian reconstruction)은 두 가지 요구사항을 만족해야 합니다. 재구성 모델(model)이 기기의 자원 제약 범위 내에서 실행되어야 하며, 생성된 가우시안 에셋이 다운스트림 모바일 활용에 적합한 표현 크기를 가져야 한다는 점입니다. 기존의 피드포워드(feed-forward) 가우시안 재구성 기법들은 흔히 입력 해상도와 뷰(view) 수에 의해 최종 개수가 암묵적으로 결정되는 조밀한 이미지 정렬 후보군을 디코딩합니다. 본 논문에서는 정해진 예산 내에서 모바일 가우시안 에셋을 구축하기 위한 피드포워드 프레임워크인 PocketSplat을 제안합니다. 정해진 출력 예산이 주어지면, PocketSplat은 예측된 월드 공간(world space)에서 기하학을 인식하는 조밀한 잠재 후보들을 구성하고, 국소 잠재 셀 전반에 정확한 정수 용량을 할당하며, 유지된 후보에 대해서만 완전한 가우시안 속성을 디코딩합니다. 셀 조건부 잠재 융합(cell-conditioned latent fusion)은 디코딩 전에 반복되는 다중 뷰 증거를 집약하고, 공간적 책임 디코딩(spatial responsibility decoding)은 국소 희소화(sparsification) 이후 가우시안 지지 영역(support)을 적응시킵니다. DL3DV 및 분포 외(OOD) 벤치마크 실험을 통해 피드포워드 가우시안 재구성 베이스라인 대비 강력한 품질-예산 간의 트레이드오프를 입증했습니다. Mip-NeRF 360에서 PocketSplat은 타깃 iPhone에서 직접 실행되어 배포 가능한 스트리밍 MVSplat 변형 모델보다 훨씬 빠르게 컴팩트하면서도 더 높은 품질의 가우시안 에셋을 구축합니다. 반면 네이티브 MVSplat 및 DepthSplat은 기기 메모리 예산을 초과합니다.
DyRAD: 동적 주행 장면을 위한 레이더 신규 시점 합성
DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes
기록된 센서 데이터로부터 동적 주행 장면을 재구성하는 기술은 기존 주행 궤적을 벗어난 관측값을 합성함으로써 자율주행 시스템의 폐루프(closed-loop) 평가를 지원합니다. 카메라 및 라이다(LiDAR)와 달리, 레이더는 도플러(Doppler) 효과를 통해 시선 방향 속도(radial velocity)를 직접 측정합니다. 그러나 기존 레이더 신규 시점 합성(novel-view synthesis) 방식들은 이러한 역량을 제대로 활용하지 못하고 있습니다. 동적 장면을 다루는 방법들은 거리-방위각(range-azimuth) 텐서만을 재구성하는 반면, 도플러를 렌더링하는 방법들은 정적 장면만을 가정합니다. 더욱이 레이더 신호 처리 특성상 각 반사 신호가 여러 빈(bin)에 걸쳐 퍼지기 때문에, 기존 표현 방식들은 이러한 번짐 효과를 장면 기하 구조에 흡수하여 시점이 이동할 때 왜곡된 렌더링을 유발합니다. 본 논문에서는 정적 배경 반사체와 움직임이 추적되는 동적 점 반사체를 활용해 동적 주행 장면을 모델링하고 완전한 거리-방위각-도플러(RAD) 텐서를 렌더링하는 DyRAD를 제안합니다. 반사체의 속도는 객체 추적 궤적으로부터 유도되어 시선 방향으로 투영되므로, 도플러는 렌더링된 출력이자 해당 추적을 위한 감독(supervision) 신호로 동시에 기능합니다. 결정적으로, 레이더의 신호 처리 체인에서 유도된 고정된 해석적 점 확산 함수(PSF)를 통해 반사체를 렌더링함으로써 센서로 인한 번짐이 장면 표현에 영구적으로 반영되는 것을 방지합니다. 이러한 분리는 장면 재구성 성능을 향상시킬 뿐만 아니라 제로샷(zero-shot) 센서 구성 전이를 가능하게 하여, 재적합(refitting) 과정 없이도 동일하게 재구성된 장면을 서로 다른 레이더 사양 하에서 렌더링할 수 있도록 지원합니다. 저자들은 선행 연구에서 검증되지 않은 경로 상 포즈 및 위치가 이동된 시점 모두를 아우르며 RADIal, Boreas 및 합성 벤치마크에서 DyRAD를 평가(evaluation)합니다. RADIal 데이터셋에서 DyRAD는 가장 강력한 기준선(baseline)의 26.9% 대비 90.7%의 기준 감지 객체에서 레이더 검출을 복원해 냅니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.