3D-free meets 3D priors: Novel View Synthesis from a Single Image with Pretrained Diffusion Guidance
원문 초록
Recent 3D novel view synthesis (NVS) methods often require extensive 3D data for training, and also typically lack generalization beyond the training distribution. Moreover, they tend to be object centric and struggle with complex and intricate scenes. Conversely, 3D-free methods can generate text-controlled views of complex, in-the-wild scenes using a pretrained stable diffusion model without the need for a large amount of 3D-based training data, but lack camera control. In this paper, we introduce a method capable of generating camera-controlled viewpoints from a single input image, by combining the benefits of 3D-free and 3D-based approaches. Our method excels in handling complex and diverse scenes without extensive training or additional 3D and multiview data. It leverages widely available pretrained NVS models for weak guidance, integrating this knowledge into a 3D-free view synthesis style approach, along with enriching the CLIP vision-language space with 3D camera angle information, to achieve the desired results. Experimental results demonstrate that our method outperforms existing models in both qualitative and quantitative evaluations, achieving high-fidelity, consistent novel view synthesis at desired camera angles across a wide variety of scenes while maintaining accurate, natural detail representation and image clarity across various viewpoints. We also support our method with a comprehensive analysis of 2D image generation models and the 3D space, providing a solid foundation and rationale for our solution.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성
Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows
클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.
UltraTex: 3D 텍스처링을 위한 2K 멀티뷰 Diffusion
UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing
고품질 텍스처 생성은 사실적이고 프로덕션 수준의 3D 에셋을 만드는 데 필수적이다. 최근 멀티뷰 디퓨전(multi-view diffusion) 방법은 이미지 가이드 3D 텍스처링에서 유망한 결과를 보여 왔지만, 일반적으로 512 또는 768과 같은 낮은 동작 해상도에 제한되어 고해상도 참조 이미지의 고주파 세부를 보존하기 어렵다. 이 패러다임을 2048 해상도로 스케일링(scaling)하는 것은 통합 멀티뷰 시퀀스가 212K 토큰(token)을 넘어 과도한 메모리와 지연(latency)을 유발하여 계산상 불가능하다. 본 논문에서는 고해상도 멀티뷰 디퓨전 기반 3D 텍스처링을 위한 효율적인 end-to-end 프레임워크인 UltraTex를 제안한다. 핵심 관찰은 객체 중심(object-centric) 멀티뷰 렌더링에 두 가지 주요 중복성 원천이 있다는 것이다: 배경으로 인한 시퀀스 중복과 전경(foreground) 내 희소(sparse) 토큰 상호작용이다. 이를 해결하기 위해 DiT backbone 이전에 배경 토큰을 제거하는 Background Token Dropping을 도입하고, 유지된 전경 시퀀스에 대한 어텐션(attention) 연산을 줄이는 Block-Sparse Attention을 제안한다. 재구성 아티팩트(artifact) 없이 전경만 효율적으로 추론(inference)하기 위해, 최종 고해상도 뷰의 품질을 보장하는 Foreground-Aware VAE Decoding을 추가로 설계한다. 2K 해상도 멀티뷰 디퓨전 학습(training)의 까다로운 데이터 요구를 충족하기 위해 268,000개 이상의 3D 에셋을 포괄하는 대규모 초고해상도 멀티뷰 렌더링 데이터셋(dataset) G-buffer TexVerse를 구축한다. 광범위한 실험 결과 UltraTex는 시각적으로 충실한 텍스처와 풍부한 미세 세부를 생성하면서 효율성을 크게 개선하며, 우리 데이터셋의 일반적인 샘플에서 기준선(baseline) 대비 $20.6\times$--$91.1\times$ 학습 속도 향상과 $22.3\times$--$74.6\times$ end-to-end 추론 속도 향상을 달성한다. 코드와 데이터는 https://yiboz2001.github.io/UltraTex 에 있다.
ScaleBlind: 미지 스케일 하의 포인트 클라우드 보완
ScaleBlind: Point Cloud Completion under Unknown Scale
포인트 클라우드 보완은 부분 포인트 클라우드로부터 완전한 3D 형상을 추론하는 것을 목표로 하며, 재구성, 편집, 시뮬레이션과 같은 하위 작업의 기본 구성 요소이다. 최근 진전에도 불구하고, 기존 학습 기반 방법들은 학습 및 테스트 시 정규화 과정에서 종종 정답 형상 스케일(GT-scale)에 대한 접근을 암묵적으로 전제하며, 실제 추론에서는 이용할 수 없는 특권 정보를 가정한다. 이 숨겨진 가정은 실용적 배포를 제한하며, 오라클 GT-scale 단서가 제거되면 과도한 보완·미달 보완, 중첩 셸(shell) 같은 심각한 보완 아티팩트를 초래할 수 있다. 우리는 최근의 파운데이션 이미지 생성 모델이 객체와 기하를 이해하고 다시점(multi-view) 일관된 렌더링을 생성하는 강한 능력을 보여 GT-scale 없이 3D 보완에 유망한 사전(prior)이 될 수 있음을 관찰한다. 이 통찰에 영감을 받아, 우리는 파운데이션 모델 기반 이미지 보완을 활용해 부분 입력으로부터 전역 스케일을 직접 복원한 뒤 3D 보완을 충실히 생성하는 새로운 프레임워크 ScaleBlind를 제안한다. 구체적으로 ScaleBlind는 렌더링된 부분 뷰로부터 완전한 다시점 외관을 생성(dream out)하고, 추론된 결손 영역을 3D로 되올려(lift) 기하 인식(geometry-aware) 거친 보완을 얻은 다음, 원본 부분 포인트 클라우드와 강력한 교차 모달(cross-modal) 융합 네트워크로 이를 정제한다. 2D 파운데이션 사전을 활용함으로써, 본 방법은 추론 시 GT-scale 정보 접근이 필요 없다. 또한 2D 생성 사전과 3D 포인트 클라우드 보완 사이의 원칙적 연결고리를 제공한다. 광범위한 실험은 프레임워크의 우수성을 보여 주며, ScaleBlind를 포인트 클라우드 보완 과제의 새로운 최신(state-of-the-art) 방법으로 만든다.
GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택
GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting
희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.
GAE: 3D 일관적 세계 생성을 위한 기하학 네이티브 잠재 공간 학습
GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.
MetaView: 스케일 인식 암시적 기하학 사전지식을 활용한 단안 새로운 시점 합성
MetaView: Monocular Novel View Synthesis with Scale-Aware Implicit Geometry Priors
현재의 시각 생성 모델은 고품질 콘텐츠를 생성할 수 있지만, 공간 구조에 대한 일관된 인식이 부족하다. 기존 생성형 새로운 시점 합성(novel view synthesis) 방법은 일반적으로 명시적 기하학 사전지식을 도입하여 공간적 일관성을 강제하지만, 큰 시점 변화에서의 일반화를 본질적으로 제한한다. 반면, 최근의 대화형 생성 방법은 암시적 장면 모델링을 선호하여 더 큰 유연성을 제공하지만, 정밀한 카메라 제어와 기하학적 일관성을 희생한다. 본 논문에서는 단일 이미지로부터 큰 시점 변화 하에서 렌더링을 가능하게 하는 확산(diffusion) 기반 단안 새로운 시점 합성 프레임워크인 MetaView를 제안한다. 우리의 핵심 통찰은 암시적 기하학 모델링과 최소한이지만 필수적인 명시적 3D 단서를 결합하는 것이다. 제한적인 재구성 파이프라인을 부과하지 않으면서 구조를 정규화(regularize)하기 위해 feed-forward 기하학 인식 네트워크로부터 암시적 기하학 사전지식을 통합하고, metric depth를 활용하여 생성을 metric scale에 고정한다. 이러한 설계를 통해 MetaView는 기하학적 일관성과 정밀한 제어 가능성을 모두 달성할 수 있다. 광범위한 실험 결과, 도전적인 단안 대규모 시점 변화 조건에서 MetaView가 기존 방법들을 크게 능가하며 우수한 일반화 성능을 보임을 입증한다. 코드는 https://github.com/KlingAIResearch/MetaView 에서 공개적으로 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.