3D-IntPhys: Towards More Generalized 3D-grounded Visual Intuitive Physics under Challenging Scenes
원문 초록
Given a visual scene, humans have strong intuitions about how a scene can evolve over time under given actions. The intuition, often termed visual intuitive physics, is a critical ability that allows us to make effective plans to manipulate the scene to achieve desired outcomes without relying on extensive trial and error. In this paper, we present a framework capable of learning 3D-grounded visual intuitive physics models from videos of complex scenes with fluids. Our method is composed of a conditional Neural Radiance Field (NeRF)-style visual frontend and a 3D point-based dynamics prediction backend, using which we can impose strong relational and structural inductive bias to capture the structure of the underlying environment. Unlike existing intuitive point-based dynamics works that rely on the supervision of dense point trajectory from simulators, we relax the requirements and only assume access to multi-view RGB images and (imperfect) instance masks acquired using color prior. This enables the proposed model to handle scenarios where accurate point estimation and tracking are hard or impossible. We generate datasets including three challenging scenarios involving fluid, granular materials, and rigid objects in the simulation. The datasets do not include any dense particle information so most previous 3D-based intuitive physics pipelines can barely deal with that. We show our model can make long-horizon future predictions by learning from raw images and significantly outperforms models that do not employ an explicit 3D representation space. We also show that once trained, our model can achieve strong generalization in complex scenarios under extrapolate settings.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
신경망 가중치로부터의 관측량 및 위치 인코딩 의존적 대칭 판독
Observable- and Positional-Encoding-Dependent Symmetry Readout from Neural Network Weights
학습된 신경망 가중치의 사후(post-hoc) 분석은 파라미터로부터 직접 기하학적 구조를 복원하려는 경우가 많다. 우리는 위치 인코딩(PE)을 갖춘 신경 필드(neural field)에서, 가중치로부터 가시적인 대칭이 진정한 대칭군 자체가 아니라 학습된 파라미터, 위치 인코딩, 그리고 판독 관측량에 의해 결정되는 관측 가능 대칭 집합임을 보인다. 우리는 이 의존성을 정확한 관측 가능성 계층, $G_{\mathrm{obs}}^{\mathrm{exact}} \subseteq G_{\mathrm{lift}}^{\mathrm{exact}}(\varphi) \cap G_{\mathrm{true}}$를 통해 형식화하며, 여기서 $G_{\mathrm{lift}}^{\mathrm{exact}}(\varphi)$는 PE가 특징(feature) 공간으로 정확히 리프트할 수 있는 입력 변환의 집합이다. 이 계층은 목표 함수가 기하학적 대칭을 가지더라도, PE가 해당 변환을 표현하지 못하면 그 대칭이 가중치(weight) 수준의 관측량에 구조적으로 보이지 않을 수 있음을 시사한다. 우리는 이 예측을 여러 형상 대칭군, 위치 인코딩, 그람(Gram) 기반 관측량을 사용하여 2차원 부호 거리 함수(signed distance function)에 학습된 다층 퍼셉트론(MLP)으로 검증한다. 결과는 일관된 PE 의존적 패턴을 보여준다: DyadicAxisPE는 $D_4$ 감응 판독을 지원하지만 $D_3$ 회전을 구조적으로 억제하며, TriAxisPE는 좌표 축을 120도 간격의 세 축으로 대체함으로써 테스트된 그람 관측량 하에서 낮은 $D_3$ / $D_6$ 판독 점수를 산출하고, 랜덤 푸리에 특징(random Fourier features)은 이러한 판독 하에서 주로 $\pi$ 회전 응답을 나타낸다. 이러한 발견은 PE 설계가 근사 동작뿐만 아니라 사후 가중치 수준 판독에서 접근 가능한 구조에도 영향을 미침을 보여준다. 이는 원칙적인 관측량 의존적 대칭 판독의 기반을 제공한다.
The Less You Depend, The More You Learn: Synthesizing Novel Views from Sparse, Unposed Images without Any 3D Knowledge
그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다
Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
Learning Robust Stereo Matching in the Wild with Selective Mixture-of-Experts
UnMix-NeRF: Spectral Unmixing Meets Neural Radiance Fields
AGTCNet: A Graph-Temporal Approach for Principled Motor Imagery EEG Classification
토론
이 논문과 연결된 포럼 글이 아직 없습니다.