GS-PQM: 압축된 Gaussian Splatting을 위한 매개변수 도메인 품질 메트릭
GS-PQM: A Parameter-Domain Quality Metric for Compressed Gaussian Splatting
한국어 초록
최근 Gaussian Splatting(GS) 압축 분야의 발전으로 GS 모델 크기를 크게 줄일 수 있게 되었다. 따라서 압축 기법을 비교하고 더 효율적인 GS 코덱 개발을 이끌기 위해서는 신뢰할 수 있는 객관적 품질 평가가 필수적이다. 기존의 GS 품질 평가는 일반적으로 이미지 및 비디오 품질 메트릭에 의존하며, 사전에 정의된 시점(viewpoint)을 렌더링해야 하고 그 결과 품질 추정치가 선택된 시점에 의존하게 된다. 본 논문은 GS 매개변수 도메인에서 직접 동작하는, 사후 학습(post-training) GS 압축을 위한 새로운 완전 참조(full-reference) 품질 메트릭인 GS-PQM을 제안한다. GS-PQM은 지지 벡터 회귀(Support Vector Regression) 모델을 사용하여 일련의 매개변수 도메인 왜곡 오차로부터 지각적 품질을 추정한다. 실험 결과, GS-PQM은 압축된 GS 콘텐츠를 평가하는 데 있어 기존의 25개 이미지, 비디오, 포인트 클라우드 품질 메트릭을 능가하는 성능을 보이며, 렌더링 기반 품질 평가에 대한 정확하고 계산적으로 효율적인 대안을 제공한다.
원문 초록
Recent advances in Gaussian Splatting (GS) compression have enabled substantial reductions in GS model size. Reliable objective quality assessment is therefore essential for comparing compression methods and guiding the development of more efficient GS codecs. Existing GS quality assessment typically relies on image and video quality metrics, requiring rendering of predefined viewpoints and making the quality estimate dependent on the selected views. This paper introduces GS-PQM, a novel full-reference quality metric for post-training GS compression that operates directly in the GS parameter domain. GS-PQM estimates perceptual quality from a set of parameter-domain distortion errors using a Support Vector Regression model. Experimental results show that GS-PQM outperforms 25 existing image, video, and point-cloud quality metrics in assessing compressed GS content, providing an accurate and computationally efficient alternative to rendering-based quality assessment.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당
ADATEX4D: adaptive texture capacity allocation for 4D gaussian splatting
텍스처가 적용된 가우시안(Textured Gaussians)은 국소적 외관 표현 능력을 향상하지만, 모든 프리미티브에 동일한 텍스처 해상도를 할당하면 세부 표현이 적거나 시인성이 낮은 영역에서 저장 공간이 낭비됩니다. 본 논문에서는 변형 기반 4D 가우시안 스플래팅(4D Gaussian Splatting)을 위한 적응형 텍스처 용량 모듈인 AdaTex4D를 제안합니다. 각 가우시안은 패킹된 RGBA 트라이플레인(triplane)을 포함하며, 이 트라이플레인의 두 축은 시인성 정규화 화면 공간 그래디언트와 변형된 국소적 스케일에 따라 독립적으로 확장됩니다. N3DV 및 PanopticSports 데이터셋에 대한 실험 결과, AdaTex4D는 재구성 품질을 유지하면서 텍스처 저장 공간을 절반 이상 줄이는 것으로 나타났습니다. 고정된 메모리 예산 하에서도 적응형 할당은 균일한 텍스처 할당에 비해 품질을 개선하고 전체 모델 크기 및 최대 메모리 사용량을 감소시킵니다. 이러한 결과는 동적 비등방성 텍스처 할당이 4D 가우시안 표현에서 국소적 외관 표현 용량을 분배하는 데 더욱 효율적인 방안을 제공함을 보여줍니다.
교차 표현 사전 정보를 통한 3D 가우시안 스플래팅 압축
Compressing 3D Gaussian Splatting via Cross-Representation Priors
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)은 고품질의 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 조밀한 가우시안 프리미티브(primitive)로 인해 저장 및 전송 비용이 높다. 최근의 앵커 기반(anchor-based) 압축 기법은 프리미티브 단위의 중복성을 줄였지만, 앵커 간 중복성은 여전히 대부분 활용되지 않고 있다. 우리는 앵커 수준의 엔트로피 모델링을 개선하기 위해 교차 표현 사전 정보(cross-representation priors)를 활용하는 율-왜곡 최적화(rate-distortion optimized) 압축 프레임워크인 CRP-GS(Cross-Representation Priors for Gaussian Splatting)를 제안한다. 첫째, 대응 관계 기반 계층적 구조(Correspondence-Oriented Hierarchical Structure, COHS)는 앵커를 공간적 근접성이 아닌 특징 대응 관계(feature correspondence)에 따라 조직화하여 루트-리프(root-leaf) 의존 관계를 구성함으로써, 선택된 앵커가 다른 앵커를 조건부로 인코딩하기 위한 정보성 있는 사전 정보(prior) 역할을 하도록 하며, 이를 통해 더 정확한 가능도(likelihood) 예측과 더 낮은 조건부 엔트로피를 달성한다. 둘째, 공유 특징 집계(Shared Feature Aggregation, SFA)는 맥락적 해시 그리드(contextual hash grid)로부터 전역적으로 공유되는 특징을 추출하여 앵커 표현에 주입함으로써, 그렇지 않으면 개별 앵커에 중복적으로 임베딩될 장면 일관적인 저주파 정보를 분리해낸다. 두 모듈 모두 비트레이트 감소와 렌더링 충실도(fidelity) 사이의 균형을 맞추기 위해 통합된 율-왜곡 목적 함수 하에서 학습된다. 다수의 벤치마크에 걸친 실험 결과, CRP-GS는 앵커 기반 베이스라인 대비 평균 약 30%의 비트레이트 감소를 달성하면서도 비슷한 수준의 렌더링 품질을 유지하여 우수한 전반적인 율-왜곡 트레이드오프를 달성함을 보인다.
GenSplatCodec: 원스텝 디퓨전 기반 피드포워드 가우시안 스플래팅 압축
GenSplatCodec: Feed-Forward Gaussian Splatting Compression via One-Step Diffusion
피드포워드 3D Gaussian Splatting(3DGS)은 장면별 최적화 없이 확장 가능한 장면 재구성을 가능하게 하지만, 저장 및 전송 비용이 큰 밀집된 가우시안을 생성한다. 기존 피드포워드 가우시안 압축 방법들은 디코딩을 결정론적 표현 복원으로 공식화하는데, 이는 낮은 비트레이트에서 고주파 텍스처와 시점 의존적 외관이 버려질 때 부적절해진다. 생성 모델이 유망한 대안을 제공하지만, 이를 독립적인 후처리로 사용하면 생성이 전송된 장면 구조와 분리되어 시점 간 일관성을 훼손한다. 이러한 한계를 해결하기 위해, 우리는 저비트레이트 가우시안 압축을 기하학 유도 생성 디코딩으로 재공식화하는 통합 피드포워드 가우시안 코덱인 GenSplatCodec을 제안한다. 우리는 이중 스트림 공식화 내에서 세부 인식 피드포워드 가우시안 코딩 방식을 제시하며, 여기서 결과로 얻어진 컴팩트한 가우시안 구조 스트림은 경량 참조 외관 스트림으로 보완된다. 또한 계층적 기하학 제어를 통해 디코딩된 구조 및 외관 단서를 공동으로 활용하여 고충실도이면서 시점 일관적인 novel view를 재구성하는 기하학 유도 원스텝 생성 디코딩 접근법을 도입한다. 마지막으로, 통합 코덱의 학습을 안정화하고 생성 디코더가 코덱에서 파생된 구조 및 외관 단서에 적응하도록 하는 3단계 최적화 전략을 개발한다. 다수의 데이터셋에 걸친 광범위한 실험을 통해 GenSplatCodec이 기존 방법들보다 일관되게 우수한 rate-distortion(RD) 성능을 달성함을 보여준다.
SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기
SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection
기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
관찰된 정보로 반사를 안내하는 가우시안 스플래팅
Gaussian Splatting with Reflections Guided by What is Seen
NeRF(Neural Radiance Fields)와 3DGS(3D Gaussian Splatting)와 같은 새로운 시점 합성(novel view synthesis) 방법들은 일반적인 장면에서 인상적인 성능을 보여주었지만, 시점 의존적인(view-dependent) 반사(specular) 효과, 특히 근거리 반사(near-field reflection)를 포착하는 데 어려움을 겪는 경우가 많다. 기존 방법들은 무한히 먼 곳의 광원만을 표현하는 환경 맵(environment map)이나, 반사로부터의 간접적인 감독(supervision)에만 의존하는 환경 가우시안(environment Gaussian)을 활용하지만, 이러한 효과를 정확하게 모델링하기에는 충분하지 않다. 본 논문에서는 입력 이미지에서 직접 관찰 가능한 환경 정보를 활용하는 2DGS(2D Gaussian Splatting) 기반 프레임워크를 제안한다. 또한 본 접근법은 하이브리드 반사 외관 표현과 시점 의존적인 반사 모델링을 통합한다. 공개 벤치마크와 새롭게 구축한 근거리 반사 데이터셋에 대한 실험을 통해 본 방법이 우수한 렌더링 품질과 기하학적 정확도를 달성함을 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.