goertek.com

이 이메일 도메인이 관측된 논문 2건

arXiv:2609.23436v1cs.CV

GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택

GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting

희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.

arXiv:2609.21176v1cs.CV

4DGS-Fixer: 비디오 확산 prior가 안내하는 반복 정제 기반 생성형 희소 시점 4D Gaussian Splatting

4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors

본 논문은 희소 시점 동영상으로부터 동적 장면을 합성할 때의 어려움을 다룬다. 기존 방법들은 희소 관측 하에서 4D Gaussian 모델링을 개선하기 위해 기하학적 prior, 적응적 최적화, 또는 밀도 제어 전략을 사용한다. 그러나 관측이 부족하고 장면 정보가 빠져 발생하는 ill-posed 문제를 근본적으로 해결하지는 못한다. 더욱이 희소 시점 4D Gaussian Splatting(4DGS)은 종종 기하학적 초기화가 나쁜 문제를 겪는다. 입력 시점이 몇 개뿐이면 COLMAP은 보통 희소하고 불완전한 포인트 클라우드를 복원하여, 장면의 넓은 영역에 Gaussian 지원이 충분하지 않게 남고 이후 최적화로도 복구하기 어렵다. 이러한 한계를 해결하기 위해, 우리는 동적 4D 장면의 완전성과 일관성을 높이기 위해 비디오 확산 모델 기반의 새로운 반복 정제 프레임워크를 제안한다. 구체적으로, 먼저 다시점 깊이 맵을 추정하고 이를 융합해 동적 4DGS 표현을 위한 보다 완전한 기하학적 초기화를 제공하는 밀집 포인트 클라우드를 만든다. 이어서 사전학습된 비디오 복원 모델로 서로 다른 시간 단계에서 novel camera trajectory를 따라 렌더링한 시퀀스를 정제한다. 복원된 시퀀스는 의사 감독(pseudo-supervision)으로 작용하여 4DGS 표현을 정규화하고 반복적으로 정제한다. 널리 쓰이는 벤치마크 데이터셋에서의 실험은, 제안 방법이 기존 baseline을 크게 능가하며 이전 최고 성능 방법 대비 PSNR이 거의 2 dB 향상됨을 보여준다.