arXiv:2403.12365

GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation

Quankai Gao, Qiangeng Xu, Zhe Cao, Ben Mildenhall, Wenchao Ma, Le Chen, Danhang Tang, Ulrich Neumann

제출 2024-03-19

원문 초록

Creating 4D fields of Gaussian Splatting from images or videos is a challenging task due to its under-constrained nature. While the optimization can draw photometric reference from the input videos or be regulated by generative models, directly supervising Gaussian motions remains underexplored. In this paper, we introduce a novel concept, Gaussian flow, which connects the dynamics of 3D Gaussians and pixel velocities between consecutive frames. The Gaussian flow can be efficiently obtained by splatting Gaussian dynamics into the image space. This differentiable process enables direct dynamic supervision from optical flow. Our method significantly benefits 4D dynamic content generation and 4D novel view synthesis with Gaussian Splatting, especially for contents with rich motions that are hard to be handled by existing methods. The common color drifting issue that happens in 4D generation is also resolved with improved Guassian dynamics. Superior visual quality on extensive experiments demonstrates our method's effectiveness. Quantitative and qualitative evaluations show that our method achieves state-of-the-art results on both tasks of 4D generation and 4D novel view synthesis. Project page: https://zerg-overmind.github.io/GaussianFlow.github.io/

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13860v1cs.CV공통 태그 Optical Flow Estimation, Novel View Synthesis

Make It Flow: 3D 가우시안 스플래팅(Gaussian Splatting) 장면에서 물 애니메이션하기

Make It Flow: Animating Water in 3D Gaussian Splatting Scenes

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)과 같은 명시적(explicit) 3D 장면 표현은 최근 고품질의 실시간 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 이러한 방법들은 정적인 장면을 가정하기 때문에, 실제 환경에서 흔히 나타나는 동적 현상이 존재할 경우 사실감이 제한된다. 사람이나 차량과 같은 일관된 움직임은 캡처 및 재구성이 가능하지만, 흐르는 물과 같은 고주파(high-frequency) 효과는 조밀한 다중 시점(multi-view)과 고속 촬영이 불가능한 일반적인 캡처 조건에서는 다루기 어렵다. 본 논문에서는 동적 캡처나 물리 시뮬레이션 없이도 시각적으로 그럴듯한 움직임을 가능하게 하는, 정적 3DGS 장면 내 물 애니메이션 기법을 제시한다. 우리의 접근법은 참조 이미지 또는 모델 렌더링으로부터 2D 광학 흐름(optical flow)을 추정하고, 이를 일관된 3D 오일러(Eulerian) 운동장(motion field)으로 끌어올린다. 우리는 이 운동장을 가우시안 프리미티브(primitive)에 적용하여 변형시킴으로써 시간적으로 매끄럽게 반복되는(looping) 애니메이션을 생성하는, 시네마그래프(cinemagraph)에서 영감을 받은 알고리즘을 제안한다. 그 결과로 얻어지는 표현은 실시간 렌더링 성능을 유지하면서 지각적 사실감을 크게 향상시키고, 장면 내 자유 시점 탐색(free-viewpoint navigation)을 보존한다. 우리는 새롭게 촬영한 실제 환경(in-the-wild) 폭포 장면 데이터셋에서 본 방법을 평가하였으며, 동적 가우시안 스플래팅 및 3D 시네마그래프 생성 분야의 기존 연구와 비교하여 시각적 품질과 계산 효율성 모두에서 명확한 개선을 보여준다.

arXiv:2607.03875v2cs.CV공통 태그 Novel View Synthesis

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.14203v2cs.GR공통 태그 Novel View Synthesis

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2606.12635v2cs.CV공통 태그 Novel View Synthesis

CD-RCM: 반사 공초점 현미경을 위한 일반화 가능한 연속 깊이 새로운 뷰 합성

CD-RCM: Generalizable Continuous-Depth Novel View Synthesis for Reflectance Confocal Microscopy

반사 공초점 현미경(RCM)은 연속적인 깊이에서 정면(en-face) 영상을 획득하여 희소한 z-스택을 형성함으로써 생체 내 인간 피부의 비침습적 세포 해상도 "광학 생검"을 제공한다. 광학적 한계로 인해 이러한 스택은 이방성 3D 볼륨이며, 측면 해상도(0.5 $\mu$m)가 광학 절편(3 $\mu$m)으로 정의되는 축 방향 해상도보다 약 6배 높아 조직 해석이 제한된다. 우리의 목표는 중간 단면을 보간하고 3D 볼륨을 등방성으로 만들어 연속 깊이 시각화를 제공하는 것이다. 이러한 표현은 환자별 최적화 없이도 조직병리와 유사한 단면 검사를 포함한 임의 방향 절단을 가능하게 한다. 이를 위해 희소하게 샘플링된 RCM 스택으로부터 현실적인 미관측 깊이를 예측하는 피드포워드 모델로서 최초의 RCM 특화 새로운 시점 합성(NVS) 접근법인 CD-RCM을 제안한다. 고전적인 신경 렌더링 기법은 표면 수준의 다중 시점 관측으로부터의 복원에 초점을 둔다. 표면 수준의 카메라 시점과 달리 RCM은 표면 아래 최대 200 $\mu$m까지 조직의 광학 절편 정면 영상을 획득할 수 있다. 그러나 RCM 스택을 시각화할 때 (표면에 가까운) 얕은 단면의 관측이 더 깊은 단면을 가린다. 이러한 고유한 축 방향 영상 기하와 층에 따른 해부학적 조직 특성은 RCM의 깊이 분해적이고 가림이 있는 영상 물리를 명시적으로 고려하는 맞춤형 구조 및 학습 프레임워크를 개발하는 동기가 되었다. 실험을 통해 CD-RCM이 1초 미만의 추론 시간으로 높은 충실도의 새로운 시점 합성을 달성함을 보인다.

arXiv:2606.17310v2cs.CV공통 태그 Novel View Synthesis

SierpinskiCam: 시에르핀스키 삼각형 패턴 단서를 활용한 카메라 제어 비디오 리테이킹

SierpinskiCam: Camera-Controlled Video Retaking with Sierpinski Triangle Pattern Cues

단안 비디오에서 사용자 정의 카메라 궤적을 따라 장면의 새로운 렌더링을 생성하는 것은 비디오 리테이킹(video retaking)이라 불리며, 콘텐츠 제작 및 시각 효과에서 매력적이지만 어려운 문제입니다. 기존의 기하학 기반 접근법은 원본 비디오에서 4D 표현을 재구성하고 목표 궤적을 따라 렌더링하여 비디오 디퓨전 모델을 조건화합니다. 그러나 이 가이던스는 목표 카메라가 원본 궤적에서 멀어질수록 저하되어, 새롭게 드러난 영역이 희소하거나 완전히 누락되는 결과를 낳습니다. 우리는 이러한 제한을 해결하기 위해 SierpinskiCam을 제안합니다. SierpinskiCam은 큰 시점 변화에서도 추적 가능한 풍부한 특징을 포함하는 시에르핀스키 돔 텍스처 단서로 기하학 기반 가이던스를 보강합니다. 또한, 우리는 원본 비디오 토큰을 목표 토큰 시퀀스에 추가하고 음의 RoPE 인덱스로 두 스트림을 분리하는 참조 비디오 조건화 메커니즘을 도입하여, 아키텍처 수정이나 비디오별 적응 없이 외관 그라운딩(appearance grounding)을 가능하게 합니다. 광범위한 실험을 통해 SierpinskiCam이 다양하고 도전적인 리테이킹 시나리오에서 카메라 제어 가능성, 기하학적 일관성, 비디오 품질 면에서 상당한 향상을 달성함을 보여줍니다. 프로젝트 페이지: https://hyelinnam.github.io/SierpinskiCam/.

arXiv:2606.30058v2cs.CV공통 태그 Novel View Synthesis

실환경 비디오로부터의 공유 정준 객체 프레임 창발

Emergence of a Shared Canonical Object Frame from In-the-Wild Videos

서로 다른 인스턴스 간에 객체의 방향과 위치를 비교하려면 그 자세를 공유된 정준(canonical) 좌표계로 표현해야 한다. 이러한 좌표계를 설정하는 데에는 전통적으로 수작업 주석이 필요했으며, 이는 범주와 인스턴스 다양성을 제한하는 확장성 병목을 만든다. 우리는 야외에서 촬영된 강체의 객체 중심 비디오에 대해, 구조-운동 복원(Structure-from-Motion)에서 얻은 잡음 섞인 카메라 자세만을 사용하는 자기지도 학습으로 공유 정준 좌표계가 대신 창발할 수 있음을 보인다. 핵심 아이디어는 모든 학습 시퀀스를 공유 기하 병목, 즉 범주별 세부 정보를 전혀 담지 않은 조악한 정준 메시를 통과시키는 것이다. 이미지 픽셀에서 이 메시로의 조밀한 대응을 학습하고 잡음 섞인 SfM 기하로부터 시퀀스별 정렬을 추정함으로써, 정준 자세 레이블이나 범주 조건 없이도 다중 시점 일관성과 특징 추출기의 의미적 사전 지식으로부터 공통 정준 좌표계가 창발한다. ${\sim}160{,}000$개의 야외 객체 비디오로 자기지도 방식으로 학습한 우리의 방법은, 정준 자세 지도에 의존하는 방법들과 비교하여 범주 수준 자세 추정 벤치마크에서 경쟁력 있는 정확도를 달성한다. 코드와 체크포인트는 \href{https://github.com/Fischer-Tom/Emergent-Canonical-Frame/}{github.com/Fischer-Tom/Emergent-Canonical-Frame/}에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.