arXiv:2308.14035

Multi-plane denoising diffusion-based dimensionality expansion for 2D-to-3D reconstruction of microstructures with harmonized sampling

Kang-Hyun Lee, Gun Jin Yun

제출 2023-08-27

원문 초록

Acquiring reliable microstructure datasets is a pivotal step toward the systematic design of materials with the aid of integrated computational materials engineering (ICME) approaches. However, obtaining three-dimensional (3D) microstructure datasets is often challenging due to high experimental costs or technical limitations, while acquiring two-dimensional (2D) micrographs is comparatively easier. To deal with this issue, this study proposes a novel framework for 2D-to-3D reconstruction of microstructures called Micro3Diff using diffusion-based generative models (DGMs). Specifically, this approach solely requires pre-trained DGMs for the generation of 2D samples, and dimensionality expansion (2D-to-3D) takes place only during the generation process (i.e., reverse diffusion process). The proposed framework incorporates a new concept referred to as multi-plane denoising diffusion, which transforms noisy samples (i.e., latent variables) from different planes into the data structure while maintaining spatial connectivity in 3D space. Furthermore, a harmonized sampling process is developed to address possible deviations from the reverse Markov chain of DGMs during the dimensionality expansion. Combined, we demonstrate the feasibility of Micro3Diff in reconstructing 3D samples with connected slices that maintain morphologically equivalence to the original 2D images. To validate the performance of Micro3Diff, various types of microstructures (synthetic and experimentally observed) are reconstructed, and the quality of the generated samples is assessed both qualitatively and quantitatively. The successful reconstruction outcomes inspire the potential utilization of Micro3Diff in upcoming ICME applications while achieving a breakthrough in comprehending and manipulating the latent space of DGMs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01914v1cs.CV공통 태그 Denoising, 3D Reconstruction

DecomVoxel: 분해 기반 장면 재구성을 위한 유도형 제자리 노이즈 제거 최적화 기반 3D 네이티브 사전 확률 활용

DecomVoxel: Harnessing 3D-Native Priors with Guided In-situ Denoising Optimization for Decompositional Scene Reconstruction

분해 기반 장면 재구성(decompositional scene reconstruction)은 고품질의 객체와 배경을 재구성하는 것을 목표로 하지만, 기존 방법들은 심한 가림(occlusion) 상황에서 충분한 품질을 확보하는 데 여전히 어려움을 겪고 있습니다. 생성형 사전 확률(generative prior)이 잠재적인 해결책을 제시하지만, 2D 이미지 기반 사전 확률은 3D 인식 부족으로 인해 다중 뷰 불일치(multi-view inconsistency) 문제를 자주 겪습니다. 반대로 3D 네이티브 사전 확률은 더 강력한 구조적 귀납 편향(inductive bias)을 제공하지만 복잡한 장면 내에서 공간적 드리프트(spatial drift)와 정렬 불량을 빈번하게 유발합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 객체 완성을 3D 네이티브 사전 확률과 신경망 장면 재구성을 연결하는 유도형 제자리 노이즈 제거 최적화(guided in-situ denoising optimization)로 공식화한 DecomVoxel을 제안합니다. 제안하는 프레임워크는 안정적인 잠재 공간 개선(latent refinement)을 보장하기 위해 재구성된 엡실론(epsilon) 기반 증류 손실(distillation loss)을 도입하고, 시간적 어닐링(temporal annealing)과 함께 점유 및 비어 있는 앵커(occupied and vacant anchors)를 활용하는 적응형 공간 가이던스를 통해 생성형 환각(hallucination)을 억제하고 공간적 드리프트를 완화합니다. Replica 및 ScanNet++ 데이터셋에 대한 실험 결과, DecomVoxel은 원래의 공간 배치, 구조적 충실도 및 스타일 일관적인 텍스처를 충실히 보존하면서 기존 SOTA(state-of-the-art) 방법들을 크게 능가하는 것으로 나타났습니다. 본 방법은 깔끔한 위상(topology), 기하학적 구조 및 외형을 갖춘 고품질 텍스처 메시를 제공함으로써 분해 기반 재구성의 한계를 넓히고, 복잡한 실제 환경 장면에 대한 분해 재구성을 위한 강력한 솔루션을 제공합니다. 코드는 https://github.com/DecomVoxel/DecomVoxel 에서 확인할 수 있습니다.

arXiv:2609.24825v1cs.CV공통 태그 Denoising, 3D Reconstruction

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2609.24984v1cs.CV공통 태그 Denoising, 3D Reconstruction

WorldCrafter: 암시적 3D 인식 메모리를 갖춘 일관된 비디오 월드 모델

WorldCrafter: Consistent Video World Model with Implicit 3D-aware Memory

비디오 월드 모델(video world model)은 동적 환경의 인터랙티브한 탐험을 가능하게 하지만, 긴 지평(long horizon)과 다양한 시점에 걸쳐 이전 관측 결과를 온전히 반영하는 데 어려움을 겪습니다. 본 논문에서는 이를 위해 카메라로 쿼리 가능한 암시적 3D 인식 메모리를 학습하는 비디오 월드 모델인 WorldCrafter를 제시합니다. 핵심 통찰은 요청된 시점이 비디오 생성기의 제한된 토큰 예산 내에서 다중 뷰 단서가 압축되는 방식을 결정하도록 하는 것입니다. 비디오 생성기와 공동으로 학습되는 메모리 인코더 및 포즈 조건부 판독(readout) 모듈은 명시적인 깊이 기반 대응점 없이도 디노이징 전에 이전 관측값들을 고정된 수의 목표 시점 특화 토큰 세트로 통합합니다. 이 메모리를 최근 시간적 컨텍스트 및 소수 단계 지식 증류(few-step distillation)와 결합함으로써, WorldCrafter는 단일 입력 이미지 또는 텍스트 프롬프트로부터 스트리밍 장면 탐험을 가능하게 합니다. 정적 및 동적 장면에 걸친 실험 결과, 분 단위 탐험 중에도 시각적 품질을 유지하면서 긴 지평의 일관성과 카메라 제어 정확도 측면에서 상당한 성능 향상을 입증합니다.

arXiv:2607.23491v1cs.CV공통 태그 Denoising, 3D Reconstruction

PlanCraft: 건축가 영감 기반 점진적 3D 주거 장면 생성을 위한 스케치, 정제, 가구 배치

PlanCraft: Sketch, Refine, and Furnish for Architect-Inspired Progressive 3D Residential Scene Generation

자동 주거 평면도 생성에서 두 가지 구조적 통찰이 간과되어 왔다. 첫째, 설계는 본질적으로 점진적이다. 건축가는 거친 스케치로 시작하여 시간이 지남에 따라 이를 정제하지만, 기존 방법들은 일반적으로 생성 전에 조건화 표현(conditioning representation)을 완전히 지정해야 하며, 이는 실제 설계 방식과 근본적으로 불일치한다. 둘째, 2D 평면도는 선택적 중간 산물이 아니라 대체 불가능한 공간적 계약(spatial contract)이다. 방 경계, 문, 창문이 고정되면 가구 배치는 개방형 공간 추론에서 제한된 제약 만족(constraint satisfaction)으로 축소된다. 기존 3D 시스템이 레이아웃을 언어 모델에 위임함으로써 이 계약을 우회하면 방이 겹치고 비현실적인 비율이 발생하며, 범용 언어 모델을 직접 호출하는 것도 마찬가지로 기하학적으로 유효하지 않은 레이아웃을 만든다. 이러한 통찰에 따라 PlanCraft를 제안한다. SketchPlan은 8만 개의 실제 평면도에서 건축가의 그리기 과정을 재현하여 모든 완성도 수준에서 부분 스케치를 생성함으로써 누락된 학습(training) 신호를 제공한다. PlanCraft-Diff는 거친-세밀(coarse-to-fine) 전략을 통해 불완전한 스케치를 기하학적으로 정밀하고 벡터화 가능한 평면도로 점진적으로 선명하게 만든다. 공간적 계약이 확립되면 PlanCraft-에이전트(PlanCraft-Agent)가 잘 정의된 방 경계 내에서 장면에 가구를 배치한다. 실험 결과 PlanCraft는 기존 최고 2D 방법 대비 FID가 61.1% 낮으며, 전문가 평가 공간 합리성에서 기존 3D 시스템을 15점 능가하고, 25% 완성도의 스케치만으로도 모든 완전 지정 기준선(baseline)을 능가한다.

arXiv:2607.24024v1cs.CV공통 태그 Denoising, 3D Reconstruction

시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크

A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal

스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/

arXiv:2607.24124v1cs.CV공통 태그 Denoising, 3D Reconstruction

ViDS: 3D 얼굴 추적을 이용한 Video Diffusion Shader

ViDS: Video Diffusion Shader using 3D Face Tracking

본 논문은 표현력 있고 정체성을 보존하는 초상화 애니메이션을 위해 3D 얼굴 추적을 활용하는 Video Diffusion Shader인 ViDS를 제안한다. 먼저 참조 이미지로부터 정체성 특화 3DMM 메시를 재구성한 다음, 구동 비디오의 표정 및 포즈 파라미터를 사용하여 이를 애니메이션화한다. 3DMM 노멀 맵의 밀집 기하학적 단서를 활용하여, 비디오 확산 모델을 신경망 셰이더로 사용해 참조 이미지의 외형과 정체성을 보존하면서 생생한 초상화 애니메이션을 합성한다. 더 정확한 3DMM 추적이 더 세밀한 표정 제어를 가능하게 한다는 것을 확인했다. 또한 모델의 기본 윈도우를 넘어 생성을 확장하면서 인접 클립 간 불연속성을 줄이는 자기회귀 확산 샘플링 과정을 도입한다. 랜드마크 기반 조건화 또는 암시적 모션 잠재 변수에 의존하는 기존 확산 기반 초상화 애니메이션 접근법과 비교하여, 본 방법은 정체성과 외형을 충실히 보존하면서 더 세밀하고 일관된 표정 및 포즈 제어를 달성한다. 상세한 ablation 연구를 통해 설계 선택의 효과를 검증했다. 프로젝트 페이지: https://fusheng-ji.github.io/ViDS/

토론

이 논문과 연결된 포럼 글이 아직 없습니다.