Efficient Multi-View Inverse Rendering Using a Hybrid Differentiable Rendering Method
원문 초록
Recovering the shape and appearance of real-world objects from natural 2D images is a long-standing and challenging inverse rendering problem. In this paper, we introduce a novel hybrid differentiable rendering method to efficiently reconstruct the 3D geometry and reflectance of a scene from multi-view images captured by conventional hand-held cameras. Our method follows an analysis-by-synthesis approach and consists of two phases. In the initialization phase, we use traditional SfM and MVS methods to reconstruct a virtual scene roughly matching the real scene. Then in the optimization phase, we adopt a hybrid approach to refine the geometry and reflectance, where the geometry is first optimized using an approximate differentiable rendering method, and the reflectance is optimized afterward using a physically-based differentiable rendering method. Our hybrid approach combines the efficiency of approximate methods with the high-quality results of physically-based methods. Extensive experiments on synthetic and real data demonstrate that our method can produce reconstructions with similar or higher quality than state-of-the-art methods while being more efficient.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SuperCarver: 고충실도 표면 디테일 생성을 위한 텍스처 일관 3D 기하학 초해상도
SuperCarver: Texture-Consistent 3D Geometry Super-Resolution for High-Fidelity Surface Detail Generation
고정밀도 메쉬 자산의 기존 제작 워크플로우는 전문 3D 아티스트나 모델러가 수행하는 번거롭고 노동 집약적인 수동 조각 과정을 필요로 합니다. 최근 몇 년간 이미지나 텍스트 프롬프트로부터 그럴듯한 구조와 정교한 외관을 생성하는 AI 기반 3D 콘텐츠 생성 분야에서 괄목할 만한 발전이 있었습니다. 그러나 사실적인 표면 디테일을 합성하는 것은 여전히 큰 도전 과제이며, (이미지/텍스트-투-3D 생성이 아닌) 기존 저품질 3D 메쉬의 기하학적 충실도를 향상시키는 문제는 여전히 미해결 상태입니다. 본 논문에서는 주어진 거친 메쉬(coarse mesh)에 텍스처와 일관된 표면 디테일을 추가하는 3D 기하학 초해상도 파이프라인인 SuperCarver를 소개합니다. 우리는 먼저 원본 텍스처가 적용된 메쉬를 여러 시점에서 이미지 도메인으로 렌더링합니다. 디테일 향상을 위해 우리는 결정론적 사전(prior) 안내 노말 확산 모델을 구성했으며, 이 모델은 디테일이 부족한 것과 풍부한 것이 쌍을 이루는 노말 맵 렌더링으로 구성된 신중하게 선별된 데이터셋에서 파인튜닝되었습니다. 잠재적으로 불완전한 노말 맵 예측으로부터 메쉬 표면을 업데이트하기 위해, 변형 가능 거리 필드(deformable distance field)를 통한 노이즈 저항성 역 렌더링 방식을 설계했습니다. 실험 결과, 우리의 SuperCarver는 실제 텍스처 외관에 따라 사실적이고 표현력 있는 표면 디테일을 생성할 수 있음을 입증했습니다. 이는 기존 저품질 3D 자산을 업그레이드하고 고폴리(high-poly) 메쉬 조각 작업의 부담을 줄이는 강력한 도구가 될 수 있습니다.
DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models
Feed-Forward SceneDINO for Unsupervised Semantic Scene Completion
Dense 3D Displacement Estimation for Landslide Monitoring via Fusion of TLS Point Clouds and Embedded RGB Images
TextureSplat: Per-Primitive Texture Mapping for Reflective Gaussian Splatting
ScaleLSD: Scalable Deep Line Segment Detection Streamlined
토론
이 논문과 연결된 포럼 글이 아직 없습니다.