동적 장면을 위한 컴팩트한 명시적 4D 표현
A Compact Explicit 4D Representation for Dynamic Scenes
한국어 초록
컴팩트한 동적 장면 표현은 시간에 따라 관찰되는 표면과 새로운 시점에서 이를 렌더링하는 데 필요한 외형을 모두 유지해야 합니다. 본 논문에서는 카메라 정보가 알려진 단안 비디오를 희소(sparse) 4D 장면 상태로 인코딩하는 피드포워드 오토인코더인 Sparc4D를 제시합니다. 정적 특징(feature)은 클립 전체에서 공유되는 반면, 공간적으로 고정된 시간적 슬롯(temporal slot)은 시간에 따라 변하는 특징을 압축합니다. 희소 디코더는 2D 가우시안 서펠(Gaussian surfel)을 생성하며, 저장된 소스 픽셀은 기하학적 재투영을 통해 미세한 텍스처를 보존합니다. 이 상태에는 학습된 특징 및 희소 점유(occupancy)와 함께 하나의 전체 소스 프레임 및 매 4번째 프레임마다 샘플링된 동적 영역 픽셀이 포함됩니다. 32프레임 MultiCamVideo 클립의 경우, 무작위 윈도우에서 평균 0.95M개, first-32 프로토콜에서 0.92M개의 32비트 환산 값을 기록합니다. first-32에서 Sparc4D는 MoVieS의 20.40\,dB에 비해 21.70\,dB에 도달합니다. 무작위로 배치된 윈도우에서는 두 모델의 PSNR 점수가 비슷합니다. 저장된 텍스처를 비활성화했을 때, 시간적 슬롯은 시간에 따라 변하는 특징 상태를 중앙값 기준 4.0배 압축하고 평균 상태를 1.04M개에서 0.42M개 값으로 줄이면서도 타깃 뷰 재구성 품질을 본질적으로 거의 동일하게 유지합니다. 실제 데이터에 대한 미세조정(fine-tuning) 없이도 Sparc4D는 DyCheck 및 Neu3D로 전이되며, 저장된 텍스처는 PSNR을 약간 낮추는 대신 LPIPS를 향상시킵니다.
원문 초록
A compact dynamic-scene representation must retain both the surfaces seen over time and the appearance needed to render them from new viewpoints. We present Sparc4D, a feed-forward autoencoder that encodes a monocular video with known cameras into a sparse 4D scene state. Static features are shared across the clip, while spatially anchored temporal slots compress time-varying features. A sparse decoder produces 2D Gaussian surfels, while stored source pixels preserve fine texture through geometric re-projection. The state includes one full source frame and dynamic-region pixels sampled every fourth frame, alongside learned features and sparse occupancy. For a 32-frame MultiCamVideo clip, it averages 0.95M 32-bit-equivalent values on random windows and 0.92M on the first-32 protocol. On first-32, Sparc4D reaches 21.70\,dB, compared with 20.40\,dB for MoVieS. On randomly placed windows, their PSNR scores are comparable. With stored texture disabled, temporal slots compress the time-varying feature state by a median $4.0\times$ and reduce the mean state from 1.04M to 0.42M values, with essentially unchanged target-view reconstruction quality. Without fine-tuning on real data, Sparc4D transfers to DyCheck and Neu3D, where stored texture improves LPIPS while slightly reducing PSNR.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ADATEX4D: 4D 가우시안 스플래팅을 위한 적응형 텍스처 용량 할당
ADATEX4D: adaptive texture capacity allocation for 4D gaussian splatting
텍스처가 적용된 가우시안(Textured Gaussians)은 국소적 외관 표현 능력을 향상하지만, 모든 프리미티브에 동일한 텍스처 해상도를 할당하면 세부 표현이 적거나 시인성이 낮은 영역에서 저장 공간이 낭비됩니다. 본 논문에서는 변형 기반 4D 가우시안 스플래팅(4D Gaussian Splatting)을 위한 적응형 텍스처 용량 모듈인 AdaTex4D를 제안합니다. 각 가우시안은 패킹된 RGBA 트라이플레인(triplane)을 포함하며, 이 트라이플레인의 두 축은 시인성 정규화 화면 공간 그래디언트와 변형된 국소적 스케일에 따라 독립적으로 확장됩니다. N3DV 및 PanopticSports 데이터셋에 대한 실험 결과, AdaTex4D는 재구성 품질을 유지하면서 텍스처 저장 공간을 절반 이상 줄이는 것으로 나타났습니다. 고정된 메모리 예산 하에서도 적응형 할당은 균일한 텍스처 할당에 비해 품질을 개선하고 전체 모델 크기 및 최대 메모리 사용량을 감소시킵니다. 이러한 결과는 동적 비등방성 텍스처 할당이 4D 가우시안 표현에서 국소적 외관 표현 용량을 분배하는 데 더욱 효율적인 방안을 제공함을 보여줍니다.
동적 열화상 가우시안: 멀티모달 4D 가우시안 스플래팅
Dynamic Thermal Gaussians: Multimodal 4D Gaussian Splatting
열화상(thermography)은 군사 및 보다 폭넓은 열 분석(thermal analysis) 응용 분야에서 중요한 역할을 한다. 최근 3D 열 재구성(3D thermal reconstruction) 분야의 발전으로 온도 분석이 2D에서 3D 공간으로 확장되었지만, 기존 연구 대부분은 정적인 온도 분포를 가정하여 실제 환경에서 발생하는 열 전달의 시간적 동역학을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 복잡한 장면을 위한 최초의 동적 RGB-열화상(RGB-Thermal) 재구성 프레임워크를 제안한다. 우리의 방법은 RGB 외형(appearance), 열화상 관측값, 그리고 장면 기하 구조(geometry)가 시간에 따라 변화하는 양상을 공동으로 모델링한다. 구체적으로, 우리는 색상(color)과 열화상 모달리티(modality)를 공유된 기하학적 기반(shared geometric substrate)에 고정하여 시공간적 변형(spatiotemporal deformation) 하에서도 두 모달리티 간 일관성을 보장하는 멀티모달 동적 장면 표현(multimodal dynamic scene representation)을 도입한다. 또한 각 모달리티의 움직임 표현력(motion expressiveness)을 향상시키기 위해 멀티모달 임베딩(multimodal embedding)을 설계하고, 기하학적 백본(geometric backbone)으로서 통합된 공유 멀티모달 가우시안(multimodal Gaussian) 집합을 유지하면서도 각 개별 모달리티의 디테일이 풍부한 영역에서 표현 능력을 강화하기 위해 모달리티별 가우시안을 적응적으로 생성하는 멀티모달 라우팅 메커니즘(multimodal routing mechanism)을 제안한다. 이에 더해, 4D 재구성 평가를 용이하게 하기 위해 고빈도 온도 변화를 특징으로 하는 새로운 벤치마크 데이터셋을 제공한다. 광범위한 실험을 통해 우리의 방법이 외형과 온도 모두에 대해 높은 충실도의 시공간적 재구성을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/LinLif1869/DTG 에서 확인할 수 있다.
완벽한 사전 지식을 넘어서: 실환경 4D 주행 재구성을 위한 적응형 가우시안 그래프
Robust 4D Driving Scene Reconstruction from Imperfect Visual Priors
실환경(in-the-wild)에서 4D 주행 장면을 재구성하는 것(예: 인터넷 및 AI 생성 비디오)은 다양한 자율주행 시뮬레이션에 필수적이다. 최근 가우시안 씬 그래프(GSG) 방법들은 인상적인 시각적 품질을 달성하지만, 정확한 카메라 포즈, LiDAR 깊이, 또는 수동 어노테이션과 같은 정밀한 사전 지식(priors)에 크게 의존한다. 실환경 비디오에서 추정된 노이즈가 있는 사전 지식으로 초기화하면, 기존 GSG 방법들은 최적화 모호성(예: 카메라와 에이전트 포즈의 얽힘)과 위상학적 실패(예: 객체 누락)로 인해 심각한 렌더링 아티팩트가 발생한다. 견고한 실환경 재구성을 가능하게 하기 위해, 자기 교정(self-correcting) 4D 프레임워크인 적응형 가우시안 그래프(AGG)를 제안한다. 의미론적 가이드 Tick-Tock 전략은 2D 파운데이션 특징을 활용하여 정적 배경 및 카메라 포즈 업데이트를 동적 에이전트 학습과 명시적으로 분리한다. 동시에, 적응형 위상 진화(Adaptive Topology Evolution) 모듈은 누락된 에이전트를 생성하고, 잘못 분류된 가우시안을 재할당하며, 거짓 양성을 가지치기하여 그래프 구조를 능동적으로 교정한다. 이 실환경 설정을 엄밀하게 평가하기 위해, 인터넷 및 생성형 비디오로 구성된 도전적인 벤치마크 Wild-30을 도입한다. KITTI와 Wild-30에 대한 광범위한 실험을 통해, AGG가 노이즈가 있는 사전 지식 하에서 시각적 충실도와 견고함 측면에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 검증한다.
FA-LAM: 원샷 4D 애니메이션 가능 가우시안 헤드를 위한 포커스 인식 대형 아바타 모델
FA-LAM: Focus-Aware Large Avatar Model for One-Shot 4D Animatable Gaussian Head
우리는 원샷 애니메이션 가능 가우시안 헤드 생성을 위한 포커스 인식 대형 아바타 모델(FA-LAM)을 제안하며, 동시에 정적 3D 및 동적 4D 전체 헤드 복원을 가능하게 한다. 우리 방법의 핵심은 기존 최신(state-of-the-art) 접근법들이 채택한 어텐션 메커니즘과 얽혀 있는 재구성 및 애니메이션 학습 파이프라인에 대한 철저한 분석에 있다. 우리의 분석은 3D 전체 헤드 생성 품질을 저해하는 두 가지 주요 요인을 밝혀낸다: (1) 부정확하고 노이즈가 많은 어텐션 활성화, (2) 재구성과 애니메이션 작업 간의 충돌. 첫 번째 문제를 해결하기 위해, 우리는 인간 머리의 고유한 의미론과 구조적 대칭성을 활용하는 대칭적이고 의미 기반의 어텐션 정규화 전략을 도입한다. 재구성과 애니메이션의 목표를 분리하기 위해, 우리는 넓은 시야각 환각(hallucination)과 애니메이션을 위한 모델의 능력을 별도의 모듈로 분리하는 새로운 이단계(dual-phase) 학습 파이프라인을 개발한다. 또한, 맞춤형 가시성 인식 토큰 융합을 갖춘 핵심 자기회귀(autoregressive) 수정을 통해 다중 시점 및 스트리밍 4D 재구성을 효율적이고 메모리 친화적인 방식으로 지원하도록 모델을 개선한다. 종합적으로, 이러한 혁신들은 FA-LAM이 특히 세밀한 얼굴 영역과 큰 시야각에서 우수한 품질로 애니메이션 가능한 가우시안 전체 헤드를 재구성할 수 있게 한다.
저중첩 촬영 데이터로부터의 4D 인간-장면 재구성
4D Human-Scene Reconstruction from Low-Overlap Captures
기존 동적 인간 퍼포먼스의 체적 캡처는 밀집 카메라 어레이를 통해 높은 충실도를 달성한다. 그러나 실제 환경에서는 소수의 저중첩 카메라만 사용 가능하며, 이로 인해 출력 품질이 저하되고 넓은 영역이 미관측 상태로 남게 된다. 최근 4D 재구성 방법들은 저중첩 환경에 초점을 맞추고 있지만, 미관측 영역에서 여전히 눈에 띄는 아티팩트를 생성한다. 비디오 디퓨전 모델이 또 다른 선택지로 부상했으나, 인간에 대해 기하학적으로 일관성 없는 결과를 보인다. 이러한 한계를 해결하기 위해, 우리는 배경과 인간을 분리하여 희소한 저중첩 카메라로부터 4D 인간 장면을 재구성하는 파이프라인인 StudioRecon을 제안한다. 우리는 비디오 디퓨전 모델을 통해 카메라 제어 방식으로 수백 개의 새로운 시점을 합성하여 배경 감독을 밀집화한다. 또한 교차 시점 개체 연관 및 삼각측량 다중 시점 키포인트 피팅을 통해 변형 가능한 가우시안 인간을 강건하게 초기화한다. 마지막으로, 모션 적응형 일관성 주입을 갖춘 재귀적 향상 모듈이 합성된 출력을 조화롭게 만들어 잔여 아티팩트를 추가로 제거한다. 우리는 네 개의 실세계 데이터셋에서 최첨단 새로운 시점 합성을 달성하고, 새로운 궤적 렌더링 및 인간 교체와 같은 응용 사례를 시연한다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.