Inferring Fluid Dynamics via Inverse Rendering
원문 초록
Humans have a strong intuitive understanding of physical processes such as fluid falling by just a glimpse of such a scene picture, i.e., quickly derived from our immersive visual experiences in memory. This work achieves such a photo-to-fluid-dynamics reconstruction functionality learned from unannotated videos, without any supervision of ground-truth fluid dynamics. In a nutshell, a differentiable Euler simulator modeled with a ConvNet-based pressure projection solver, is integrated with a volumetric renderer, supporting end-to-end/coherent differentiable dynamic simulation and rendering. By endowing each sampled point with a fluid volume value, we derive a NeRF-like differentiable renderer dedicated from fluid data; and thanks to this volume-augmented representation, fluid dynamics could be inversely inferred from the error signal between the rendered result and ground-truth video frame (i.e., inverse rendering). Experiments on our generated Fluid Fall datasets and DPI Dam Break dataset are conducted to demonstrate both effectiveness and generalization ability of our method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SVG-IR: Spatially-Varying Gaussian Splatting for Inverse Rendering
GLOW: 동적 공위 조명·카메라로 촬영한 실내 장면의 전역 조명 인식 역 렌더링
GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera
실내 장면의 역 렌더링(inverse rendering)은 반사율(reflectance)과 조명(lighting) 사이의 모호성, 그리고 여러 객체 간 상호 반사(inter-reflection)로 인해 여전히 어렵다. 자연광 기반 방법은 이 모호성을 해소하기 어렵지만, 공위(co-located) 조명-카메라 구성은 Structure-from-Motion으로 조명을 쉽게 보정할 수 있어 반사와 조명의 분리(disentanglement)에 유리하다. 다만 이런 구성은 강한 상호 반사, 동적 그림자, 근거리 조명(near-field lighting), 이동하는 정반사 하이라이트(moving specular highlights) 등 추가적인 난점을 만들며, 기존 접근은 이를 다루지 못한다. 본 논문은 이러한 과제를 겨냥한 전역 조명(global illumination) 인식 역 렌더링 프레임워크 GLOW를 제안한다. GLOW는 신경 암시적 표면 표현(neural implicit surface representation)과 신경 복사휘(radiance) 캐시를 결합해 전역 조명을 근사하고, 신중히 설계한 정규화와 초기화로 기하(geometry)와 반사율을 공동 최적화한다. 또한 근거리 움직임에서 생기는 날카로운 조명 불연속에 맞추는 동적 복사휘 캐시와, 손전등 촬영(flashlight captures)에서 흔한 정반사 아티팩트를 줄이기 위한 표면 각도 가중 방사 측정 손실(surface-angle-weighted radiometric loss)을 도입한다. 실험 결과 GLOW는 자연광과 공위 조명 조건 모두에서 재질 반사율 추정(material reflectance estimation)에서 기존 방법을 크게 능가한다.
LSRM: 확장된 컨텍스트 윈도우를 통한 고충실도 객체 중심 3D 복원
LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows
우리는 트랜스포머 컨텍스트 윈도우 스케일링이 피드포워드 3D 복원에 미치는 영향을 연구하기 위해 Large Sparse Reconstruction Model(LSRM)을 소개한다. 최근 객체 중심 피드포워드 방법들은 견고하고 높은 품질의 복원을 생성하지만, 세밀한 텍스처와 외관 복원에 있어 여전히 밀집 뷰 최적화(dense-view optimization)에 뒤처진다. 우리는 활성 객체 토큰과 이미지 토큰 수를 대폭 늘려 컨텍스트 윈도우를 확장하면 이 격차가 줄어들어 고충실도 3D 객체 복원 및 역방향 렌더링(inverse rendering)이 가능해짐을 보인다. 효과적인 스케일링을 위해, 세 가지 핵심 기여를 통해 3D 복원에 네이티브 희소 어텐션을 적용한다: (1) 희소 고해상도 잔차를 예측하여 정보가 풍부한 영역에 연산을 집중하는 효율적인 coarse-to-fine 파이프라인; (2) 표준 어텐션 점수 대신 명시적 기하학적 거리를 사용하여 정확한 2D-3D 대응 관계를 확립하는 3D 인식 공간 라우팅 메커니즘; (3) GPU 전반에 걸쳐 동적이고 희소한 워크로드를 균형 있게 분배하기 위한 All-gather-KV 프로토콜을 포함한 커스텀 블록 인식 시퀀스 병렬 전략. 그 결과, LSRM은 기존 최첨단(SOTA) 방법 대비 20배 더 많은 객체 토큰과 2배 이상의 이미지 토큰을 처리한다. 표준 새로운 뷰 합성(novel-view synthesis) 벤치마크에 대한 광범위한 평가에서 현재 SOTA 대비 상당한 성능 향상을 보이며, PSNR은 2.4dB 이상 향상되고 LPIPS는 40% 이상 감소하였다. 나아가 LSRM을 역방향 렌더링으로 확장했을 때, 널리 사용되는 벤치마크에서의 정성적·정량적 평가 모두 텍스처 및 기하학적 세부 사항의 일관된 개선을 보여주며, SOTA 밀집 뷰 최적화 방법과 동등하거나 이를 초과하는 LPIPS를 달성하였다. 코드와 모델 가중치는 프로젝트 페이지에서 제공된다.
VENI: Variational Encoder for Natural Illumination
Beyond a Single Light: A Large-Scale Aerial Dataset for Urban Scene Reconstruction Under Varying Illumination
Efficient multi-view training for 3D Gaussian Splatting
토론
이 논문과 연결된 포럼 글이 아직 없습니다.