arXiv:2311.04246

ADFactory: An Effective Framework for Generalizing Optical Flow with Nerf

Han Ling

제출 2023-11-07

원문 초록

A significant challenge facing current optical flow methods is the difficulty in generalizing them well to the real world. This is mainly due to the high cost of hand-crafted datasets, and existing self-supervised methods are limited by indirect loss and occlusions, resulting in fuzzy outcomes. To address this challenge, we introduce a novel optical flow training framework: automatic data factory (ADF). ADF only requires RGB images as input to effectively train the optical flow network on the target data domain. Specifically, we use advanced Nerf technology to reconstruct scenes from photo groups collected by a monocular camera, and then calculate optical flow labels between camera pose pairs based on the rendering results. To eliminate erroneous labels caused by defects in the scene reconstructed by Nerf, we screened the generated labels from multiple aspects, such as optical flow matching accuracy, radiation field confidence, and depth consistency. The filtered labels can be directly used for network supervision. Experimentally, the generalization ability of ADF on KITTI surpasses existing self-supervised optical flow and monocular scene flow algorithms. In addition, ADF achieves impressive results in real-world zero-point generalization evaluations and surpasses most supervised methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2603.27948v3cs.CV공통 태그 Optical Flow Estimation, NeRF

RehearsalNeRF: 장면 편집을 위한 동적 조명의 내재적 신경 필드 분리

RehearsalNeRF: Decoupling Intrinsic Neural Fields of Dynamic Illuminations for Scene Editing

신경 방사 필드(neural radiance fields)에서 상당한 진전이 있었음에도 불구하고, 동적 조명 변화에 관한 문제는 여전히 해결되지 않고 있다. 장면 내 시간 변이/불변 구성 요소를 매개변수화하는 관련 연구들과 달리, 피사체의 방사(radiance)는 시공간 영역에서 자체 방출 방사와 조명 색상이 심하게 얽혀 있다. 본 논문에서는 심한 조명 변화 하에서 분리된 신경 필드를 학습하는 새로운 효과적인 방법인 RehearsalNeRF를 제안한다. 핵심 아이디어는 동적 조명이 발생하기 전 리허설 무대처럼 안정적인 조명 하에 촬영된 장면을 활용하여, 서로 다른 조명 조건 간의 기하학적 일관성을 강제하는 것이다. 특히, RehearsalNeRF는 시간 차원에서 조명 색상을 나타내는 학습 가능한 벡터를 조명 효과에 적용하여 투영된 광원 색상을 장면 방사로부터 분리하는 데 사용한다. 나아가 RehearsalNeRF는 기성 인터랙티브 마스크를 간단히 적용하는 것만으로 동적 객체의 신경 필드도 재구성할 수 있다. 동적 객체를 분리하기 위해, 색상 분리에 대한 거친 감독을 제공하는 광학 흐름(optical flow)을 활용한 새로운 정규화(regularization) 방법을 제안한다. 동적 조명 조건 하에서 새로운 뷰 합성 및 장면 편집에 대한 강건한 성능을 보임으로써 RehearsalNeRF의 효과성을 입증한다. 소스 코드와 비디오 데이터셋은 공개될 예정이다.

arXiv:2505.05474v2cs.CV공통 태그 NeRF공식 코드 · Papers with Code

3D 장면 생성: 종합 조사

3D Scene Generation: A Survey

3D 장면 생성은 몰입형 미디어, 로보틱스, 자율주행, 체화 AI(embodied AI) 등의 응용을 위해 공간적으로 구조화되고 의미론적으로 유의미하며 포토리얼리스틱(photorealistic)한 환경을 합성하는 것을 목표로 한다. 절차적 규칙(procedural rules)에 기반한 초기 방법은 확장성은 제공했으나 다양성은 제한적이었다. 딥 생성 모델(예: GAN, diffusion model)과 3D 표현(예: NeRF, 3D Gaussians)의 최근 발전은 실세계 장면 분포의 학습을 가능하게 하여 충실도, 다양성, 시점 일관성을 개선했다. diffusion model과 같은 최근 기법은 생성을 이미지 또는 영상 합성 문제로 재구성함으로써 3D 장면 합성과 포토리얼리즘(photorealism)을 연결한다. 본 조사는 최신(state-of-the-art) 접근법에 대한 체계적 개관을 제공하며, 이를 절차적 생성, 신경망 3D 기반 생성, 이미지 기반 생성, 영상 기반 생성의 네 가지 패러다임으로 구분한다. 각 방법의 기술적 기반, 트레이드오프, 대표적 결과를 분석하고, 널리 사용되는 데이터셋, 평가(evaluation) 프로토콜, 하류 응용을 검토한다. 마지막으로 생성 역량, 3D 표현, 데이터 및 주석, 평가의 핵심 과제를 논의하고, 더 높은 충실도, 물리 인식(physics-aware) 및 대화형(interactive) 생성, 통합 지각-생성 모델을 포함한 유망한 연구 방향을 개괄한다. 본 리뷰는 3D 장면 생성의 최근 진전을 정리하고 생성 AI, 3D 비전, 체화 지능의 교차점에서의 유망한 방향을 강조한다. 진행 중인 동향을 추적하기 위해 최신 프로젝트 페이지를 유지한다: https://github.com/hzxie/Awesome-3D-Scene-Generation.

arXiv:2506.11139v3eess.IV공통 태그 NeRF공식 코드 · Papers with Code

그리드는 종종 밀집 신호 압축에서 암시적 신경 표현(Implicit Neural Representations, INRs)보다 우수합니다

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.