동적 열화상 가우시안: 멀티모달 4D 가우시안 스플래팅
Dynamic Thermal Gaussians: Multimodal 4D Gaussian Splatting
한국어 초록
열화상(thermography)은 군사 및 보다 폭넓은 열 분석(thermal analysis) 응용 분야에서 중요한 역할을 한다. 최근 3D 열 재구성(3D thermal reconstruction) 분야의 발전으로 온도 분석이 2D에서 3D 공간으로 확장되었지만, 기존 연구 대부분은 정적인 온도 분포를 가정하여 실제 환경에서 발생하는 열 전달의 시간적 동역학을 간과하고 있다. 이러한 한계를 해결하기 위해, 우리는 복잡한 장면을 위한 최초의 동적 RGB-열화상(RGB-Thermal) 재구성 프레임워크를 제안한다. 우리의 방법은 RGB 외형(appearance), 열화상 관측값, 그리고 장면 기하 구조(geometry)가 시간에 따라 변화하는 양상을 공동으로 모델링한다. 구체적으로, 우리는 색상(color)과 열화상 모달리티(modality)를 공유된 기하학적 기반(shared geometric substrate)에 고정하여 시공간적 변형(spatiotemporal deformation) 하에서도 두 모달리티 간 일관성을 보장하는 멀티모달 동적 장면 표현(multimodal dynamic scene representation)을 도입한다. 또한 각 모달리티의 움직임 표현력(motion expressiveness)을 향상시키기 위해 멀티모달 임베딩(multimodal embedding)을 설계하고, 기하학적 백본(geometric backbone)으로서 통합된 공유 멀티모달 가우시안(multimodal Gaussian) 집합을 유지하면서도 각 개별 모달리티의 디테일이 풍부한 영역에서 표현 능력을 강화하기 위해 모달리티별 가우시안을 적응적으로 생성하는 멀티모달 라우팅 메커니즘(multimodal routing mechanism)을 제안한다. 이에 더해, 4D 재구성 평가를 용이하게 하기 위해 고빈도 온도 변화를 특징으로 하는 새로운 벤치마크 데이터셋을 제공한다. 광범위한 실험을 통해 우리의 방법이 외형과 온도 모두에 대해 높은 충실도의 시공간적 재구성을 달성함을 입증한다. 코드와 데이터셋은 https://github.com/LinLif1869/DTG 에서 확인할 수 있다.
원문 초록
Thermography plays a vital role in military and broader thermal analysis applications. Recent progress in 3D thermal reconstruction has extended temperature analysis from 2D to 3D space, yet most existing works assume static temperature distributions, neglecting the temporal dynamics of heat transfer in real-world environments. To address this limitation, we propose the first dynamic RGB-Thermal reconstruction framework for complex scenes. Our method jointly models RGB appearance, thermal observations, and scene geometry as they change over time. Specifically, we introduce a multimodal dynamic scene representation that anchors both the color and thermal modalities to a shared geometric substrate, ensuring their consistency under spatiotemporal deformations. We further design multimodal embeddings to enhance the motion expressiveness for each modality, and propose a multimodal routing mechanism that retains a unified set of shared multimodal Gaussians as the geometric backbone while adaptively spawning modality-specific Gaussians to strengthen the representational capacity in detail-rich regions of each individual modality. In addition, we contribute a novel benchmark dataset featuring high-frequency temperature variations to facilitate the evaluation of 4D reconstruction. Extensive experiments demonstrate that our method achieves high-fidelity spatiotemporal reconstruction of both appearance and temperature. Our code and dataset are available at: https://github.com/LinLif1869/DTG.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24531v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
GaussianBench: 가우시안 장면 표현을 위한 물리 충실도 평가
GaussianBench: Physics-Fidelity Evaluation for Gaussian Scene Representations
3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.
4DCodeBench: 동적 장면의 역 그래픽스에 대한 에이전트 벤치마킹
4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
본 논문에서는 에이전트(agent)가 비디오로부터 동적 장면을 실행 가능한 그래픽스 프로그램으로 재구성하는 코드 생성 기반의 4D 역 그래픽스(inverse graphics) 벤치마크인 4DCodeBench를 소개합니다. 이를 달성하기 위해 에이전트는 시각적 관측을 장면 구조와 동역학에 대한 간결한 표현으로 변환해야 하며, 물리 시뮬레이션과 같은 추상화를 구현하여 복잡한 동작을 재현해야 합니다. 이러한 역량을 평가하기 위해 변형, 유체 흐름, 파괴를 포함한 다양한 물리적 현상을 아우르는 실제 비디오 세트를 큐레이션하고 합성 장면을 구축했습니다. 프론티어 모델을 대상으로 광범위한 벤치마킹을 수행한 결과, 뛰어난 정적 재구성 능력이 복잡한 동역학의 신뢰성 있는 재구성으로 아직 직결되지는 않는다는 점을 발견했습니다. 4DCodeBench는 코드를 통해 세상의 동역학을 해석할 수 있는 에이전트의 발전 과정을 추적하기 위한 테스트베드를 제공합니다. 벤치마크는 https://github.com/4DCodeBench/4DCodeBench 에서 확인할 수 있습니다.
동적 장면을 위한 컴팩트한 명시적 4D 표현
A Compact Explicit 4D Representation for Dynamic Scenes
컴팩트한 동적 장면 표현은 시간에 따라 관찰되는 표면과 새로운 시점에서 이를 렌더링하는 데 필요한 외형을 모두 유지해야 합니다. 본 논문에서는 카메라 정보가 알려진 단안 비디오를 희소(sparse) 4D 장면 상태로 인코딩하는 피드포워드 오토인코더인 Sparc4D를 제시합니다. 정적 특징(feature)은 클립 전체에서 공유되는 반면, 공간적으로 고정된 시간적 슬롯(temporal slot)은 시간에 따라 변하는 특징을 압축합니다. 희소 디코더는 2D 가우시안 서펠(Gaussian surfel)을 생성하며, 저장된 소스 픽셀은 기하학적 재투영을 통해 미세한 텍스처를 보존합니다. 이 상태에는 학습된 특징 및 희소 점유(occupancy)와 함께 하나의 전체 소스 프레임 및 매 4번째 프레임마다 샘플링된 동적 영역 픽셀이 포함됩니다. 32프레임 MultiCamVideo 클립의 경우, 무작위 윈도우에서 평균 0.95M개, first-32 프로토콜에서 0.92M개의 32비트 환산 값을 기록합니다. first-32에서 Sparc4D는 MoVieS의 20.40\,dB에 비해 21.70\,dB에 도달합니다. 무작위로 배치된 윈도우에서는 두 모델의 PSNR 점수가 비슷합니다. 저장된 텍스처를 비활성화했을 때, 시간적 슬롯은 시간에 따라 변하는 특징 상태를 중앙값 기준 4.0배 압축하고 평균 상태를 1.04M개에서 0.42M개 값으로 줄이면서도 타깃 뷰 재구성 품질을 본질적으로 거의 동일하게 유지합니다. 실제 데이터에 대한 미세조정(fine-tuning) 없이도 Sparc4D는 DyCheck 및 Neu3D로 전이되며, 저장된 텍스처는 PSNR을 약간 낮추는 대신 LPIPS를 향상시킵니다.
Dyna3: 심도 파운데이션 모델 기반 VLM 유도형 무학습 4D 재구성
Dyna3: VLM-Guided Training-Free 4D Reconstruction via Depth Foundation Models
Depth Anything 3(DA3)와 같은 최신 심도 파운데이션 모델은 뛰어난 다중 뷰 심도 추정을 달성하지만 정적 3D 장면을 가정하므로 실제 동적 환경에 대한 적용 가능성이 제한됩니다. Easi3R 및 VGGT4D와 같은 기존 무학습 4D 기법들은 어텐션이 프레임 간 매칭을 인코딩하는 대응점 학습 기반 백본에 의존하지만, DA3와 같은 심도 전용 모델에는 이러한 특성이 없습니다. 본 논문에서는 미세조정 없이도 4D 동적 장면 재구성을 위해 DA3를 확장하는 무학습 프레임워크인 Dyna3를 제안합니다. 핵심 통찰은 DA3의 교차 뷰 특징이 심도 일관성만을 위해 학습되었음에도 불구하고, 프레임 간 최적 매칭 특징 검색과 결합될 때 모션 구별 신호를 암시적으로 인코딩한다는 점입니다. 정적 표면은 전역적으로 일관된 매칭을 찾는 반면, 동적 객체는 그렇지 못합니다. 나아가 비전-언어 모델(VLM)을 채택하여 SAM 3를 위한 장면별 의미론적 프롬프트를 자동으로 생성함으로써, 존재하는 객체와 움직이는 객체를 구분하는 정밀한 인스턴스 수준 분할을 가능하게 합니다. 재구성을 위해 장면을 프레임 간 정렬된 정적 배경과 프레임별 동적 포인트 클라우드로 분리합니다. 4개 데이터셋에 대한 실험을 통해 Dyna3는 동적 객체 분할에서 최고 성능인 VGGT4D 대비 J-Mean 기준 +5.5%p 향상으로 대응점 학습 기반 방법들을 능가하는 동시에, 4~8배 낮은 메모리로 최대 13배 빠른 포즈 추정과 3배 빠른 4D 재구성을 달성함을 입증합니다. 따라서 Dyna3는 이전 방법들이 지원할 수 없었던 훨씬 더 조밀한 시간적 샘플링을 가능하게 할 수 있습니다.
DecomVoxel: 분해 기반 장면 재구성을 위한 유도형 제자리 노이즈 제거 최적화 기반 3D 네이티브 사전 확률 활용
DecomVoxel: Harnessing 3D-Native Priors with Guided In-situ Denoising Optimization for Decompositional Scene Reconstruction
분해 기반 장면 재구성(decompositional scene reconstruction)은 고품질의 객체와 배경을 재구성하는 것을 목표로 하지만, 기존 방법들은 심한 가림(occlusion) 상황에서 충분한 품질을 확보하는 데 여전히 어려움을 겪고 있습니다. 생성형 사전 확률(generative prior)이 잠재적인 해결책을 제시하지만, 2D 이미지 기반 사전 확률은 3D 인식 부족으로 인해 다중 뷰 불일치(multi-view inconsistency) 문제를 자주 겪습니다. 반대로 3D 네이티브 사전 확률은 더 강력한 구조적 귀납 편향(inductive bias)을 제공하지만 복잡한 장면 내에서 공간적 드리프트(spatial drift)와 정렬 불량을 빈번하게 유발합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 객체 완성을 3D 네이티브 사전 확률과 신경망 장면 재구성을 연결하는 유도형 제자리 노이즈 제거 최적화(guided in-situ denoising optimization)로 공식화한 DecomVoxel을 제안합니다. 제안하는 프레임워크는 안정적인 잠재 공간 개선(latent refinement)을 보장하기 위해 재구성된 엡실론(epsilon) 기반 증류 손실(distillation loss)을 도입하고, 시간적 어닐링(temporal annealing)과 함께 점유 및 비어 있는 앵커(occupied and vacant anchors)를 활용하는 적응형 공간 가이던스를 통해 생성형 환각(hallucination)을 억제하고 공간적 드리프트를 완화합니다. Replica 및 ScanNet++ 데이터셋에 대한 실험 결과, DecomVoxel은 원래의 공간 배치, 구조적 충실도 및 스타일 일관적인 텍스처를 충실히 보존하면서 기존 SOTA(state-of-the-art) 방법들을 크게 능가하는 것으로 나타났습니다. 본 방법은 깔끔한 위상(topology), 기하학적 구조 및 외형을 갖춘 고품질 텍스처 메시를 제공함으로써 분해 기반 재구성의 한계를 넓히고, 복잡한 실제 환경 장면에 대한 분해 재구성을 위한 강력한 솔루션을 제공합니다. 코드는 https://github.com/DecomVoxel/DecomVoxel 에서 확인할 수 있습니다.
ScenePlacer: 씬 레벨 물체 포즈 추정을 가시성 필드 학습으로 재구성하기
ScenePlacer: Reformulating Scene-Level Object Pose Estimation as Visibility Field Learning
본 논문에서는 기반 생성 파이프라인을 수정하지 않고도 부분적인 기하학적 관측이 주어졌을 때 생성된 3D 물체를 장면에 배치하는, 최신 네이티브 형상 생성 모델로 생성된 물체의 씬 레벨(scene-level) 포즈 추정 프레임워크인 ScenePlacer를 제시한다. 기존의 장면 생성 방식들은 정규 공간(canonical space) 사전 확률(prior)을 저해하며 물체를 장면 좌표계에서 직접 생성하거나, 형상 생성 과정에서 완전한 생성 형상으로부터 포즈를 회귀한다. 후자의 경우 스케일 모호성과 부분적 관측에 민감한 불량 조건(ill-conditioned) 문제이다. ScenePlacer는 정렬을 조건부 가시성 필드(visibility field) 학습으로 재구성함으로써 물체 생성과 포즈 추정을 분리한다. 복원 결과로부터 얻은 관측된 부분 포인트 클라우드와 생성된 메시가 주어지면, 물체 공간에서 정의된 가시성 필드를 예측한 다음, 부분 관측을 메시의 가시 영역과 정렬하여 강체 변환(rigid transformation)을 추정한다. 본 연구에서는 사전학습된 3D 형상 VAE를 백본으로 제안하여, 별도로 인코딩된 관측 정보에 조건을 부여하면서도 메시 사전 확률을 보존한다. 나아가 가시성을 인식하는 반경 제한(radius-constrained) 지도 방식을 도입하고, 물체 수준의 메시와 렌더링된 뷰만을 사용하여 학습 쌍을 합성함으로써 씬 레벨 포즈 어노테이션의 필요성을 제거한다. 3D-FUTURE 데이터셋에서 ScenePlacer는 참값(ground-truth) 및 단안 깊이 추정 환경 모두에서 기존의 배치 및 포즈 정제(pose-refinement) 베이스라인들을 일관되게 능가한다. 생성된 물체를 사용할 때 추정된 깊이 환경에서 0.0077의 Chamfer 거리와 92.40의 F-score를 달성하며, 참값 형상 환경에서는 각각 0.0023 및 98.27로 향상된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.