arXiv:2209.00082

Multi-View Reconstruction using Signed Ray Distance Functions (SRDF)

Pierre Zins, Yuanlu Xu, Edmond Boyer, Stefanie Wuhrer, Tony Tung

제출 2022-08-31

원문 초록

In this paper, we investigate a new optimization framework for multi-view 3D shape reconstructions. Recent differentiable rendering approaches have provided breakthrough performances with implicit shape representations though they can still lack precision in the estimated geometries. On the other hand multi-view stereo methods can yield pixel wise geometric accuracy with local depth predictions along viewing rays. Our approach bridges the gap between the two strategies with a novel volumetric shape representation that is implicit but parameterized with pixel depths to better materialize the shape surface with consistent signed distances along viewing rays. The approach retains pixel-accuracy while benefiting from volumetric integration in the optimization. To this aim, depths are optimized by evaluating, at each 3D location within the volumetric discretization, the agreement between the depth prediction consistency and the photometric consistency for the corresponding pixels. The optimization is agnostic to the associated photo-consistency term which can vary from a median-based baseline to more elaborate criteria learned functions. Our experiments demonstrate the benefit of the volumetric integration with depth predictions. They also show that our approach outperforms existing approaches over standard 3D benchmarks with better geometry estimations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.02568v1cs.CV공통 태그 Depth Estimation, 3D Shape Reconstruction

MAGE: 효율적인 모달리티 정렬과 적응형 기하 강화를 통한 뷰 가이드 포인트 클라우드 완성

MAGE: View-guided Point Cloud Completion with Efficient Modality Alignment and Adaptive Geometry Enhancement

뷰 기반 포인트 클라우드 완성은 단일 시점 이미지의 가이드를 받아 부분적인 포인트 클라우드로부터 완전한 3D 형상을 복원하는 것을 목표로 한다. 그러나 기존 방법들은 약한 모달리티 정렬과 제한적인 자체 기하 강화로 인해 성능이 제한되는 경우가 많다. 이러한 문제를 극복하기 위해, 우리는 뷰 가이드 포인트 클라우드 완성의 크로스 모달 기하 불일치를 주로 해결하고자 효율적인 모달리티 정렬과 적응형 기하 강화를 통합한 통합 기하 인식 프레임워크를 제안한다. 구체적으로, 공유 셀프 어텐션 트랜스포머와 크로스 모달리티 재구성 감독을 통합한 기하 인식 모달리티 정렬을 제안하며, 이는 3D 객체를 기술하는 공유 잠재 공간에서 이미지와 포인트 클라우드의 특징을 서로 가깝게 만드는 것을 목표로 한다. 전역 형상과 지역 기하 세부 정보의 인식을 강화하기 위해, 지역 기하 인식 어텐션 연산과 공간적으로 변화하는 특징 융합을 동시에 고려하는 적응형 기하 인식 셀프 어텐션 모듈을 제안한다. 또한, 형상의 지역 영역을 나타내는 앵커 포인트를 적절한 감독 하에 재구성하기 위해 기하 지각 앵커 정제 모듈을 적용하여 완성 성능을 더욱 향상시킨다. 합성 및 실세계 데이터셋 모두에서 수행한 광범위한 실험을 통해 우리 방법이 기존 방법들에 비해 우수한 성능을 달성함을 입증한다. 코드는 https://github.com/weizequan/MAGE 에서 제공될 예정이다.

arXiv:2607.03875v2cs.CV공통 태그 Depth Estimation

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

토론

이 논문과 연결된 포럼 글이 아직 없습니다.