arXiv:2402.05235

SPAD : Spatially Aware Multiview Diffusers

Yash Kant, Ziyi Wu, Michael Vasilkovsky, Guocheng Qian, Jian Ren, Riza Alp Guler, Bernard Ghanem, Sergey Tulyakov, Igor Gilitschenski, Aliaksandr Siarohin

제출 2024-02-07

원문 초록

We present SPAD, a novel approach for creating consistent multi-view images from text prompts or single images. To enable multi-view generation, we repurpose a pretrained 2D diffusion model by extending its self-attention layers with cross-view interactions, and fine-tune it on a high quality subset of Objaverse. We find that a naive extension of the self-attention proposed in prior work (e.g. MVDream) leads to content copying between views. Therefore, we explicitly constrain the cross-view attention based on epipolar geometry. To further enhance 3D consistency, we utilize Plucker coordinates derived from camera rays and inject them as positional encoding. This enables SPAD to reason over spatial proximity in 3D well. In contrast to recent works that can only generate views at fixed azimuth and elevation, SPAD offers full camera control and achieves state-of-the-art results in novel view synthesis on unseen objects from the Objaverse and Google Scanned Objects datasets. Finally, we demonstrate that text-to-3D generation using SPAD prevents the multi-face Janus issue. See more details at our webpage: https://yashkant.github.io/spad

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.06565v2cs.CV공통 태그 Novel View Synthesis, 3D Generation

ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링

ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation

통합 3D 파운데이션 모델은 단일 백본 내에서 3D 에셋을 생성하고 언어로 추론하는 것을 목표로 하지만, 텍스트-3D 상호작용은 여전히 대체로 암묵적인 수준에 머물러 있다. 기존 방법들은 텍스트와 3D 토큰을 평탄한 시퀀스로 연결하고 셀프 어텐션(self-attention)에 의존하여, 거친 구조적 단서와 세밀한 기하학적 세부사항을 하나의 미분화된 표현으로 축소해 버린다. 우리는 일치하는 추상화 스케일에 맞춰 언어 및 기하학적 추론을 공동으로 구조화하는 탄력적 의미론적 앵커링(elastic semantic anchoring)을 통해 이 문제를 해결하는 통합 3D 모델인 ELSA3D를 소개한다. ELSA3D는 스케일 인식 옥트리 토크나이저를 사용해 기하학적 구조를 표현하며, 희소 크로스 모달 단위인 앵커 토큰(Anchor Tokens)을 도입한다. 이 토큰은 의미론적 단서를 선택하고, 이를 가장 관련성이 높은 3D 스케일로 라우팅하며, 스케일별 기하학적 증거를 검색하고, 융합된 신호를 통합 표현에 다시 기록함으로써 상호작용을 희소하면서도 정밀하게 유지한다. 경량 블록별 라우터는 계산과 추론 모두를 탄력적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 정렬이 가장 필요한 곳에 크로스 모달 용량이 집중되도록 한다. ELSA3D는 이미지-to-3D 생성, 텍스트-to-3D 생성, 3D 캡셔닝 전반에 걸쳐 최고 수준(state-of-the-art)의 성능을 달성하며, 동일 모델의 비탄력적 버전 대비 FLOPs와 추론 지연 시간을 약 절반으로 줄이면서도 가장 강력한 통합 기준선을 능가한다.

arXiv:2609.27779v1cs.CV공통 태그 Novel View Synthesis, 3D Generation

구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성

Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows

클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.

arXiv:2605.21472v5cs.CV공통 태그 Novel View Synthesis, 3D Generation

Stream3D: 증거적 메모리를 통한 순차적 다중 뷰 3D 생성

Stream3D: Sequential Multi-View 3D Generation via Evidential Memory

뷰 조건부(view-conditioned) 3D 생성기인 SAM 3D, TRELLIS, Hunyuan3D 등은 단일 뷰로부터 고품질 객체 재구성을 생성하지만, 실제 세계의 시각 관측은 종종 긴 단안(monocular) 스트림 형태로 들어온다. 이러한 생성기를 스트리밍 프레임마다 독립적으로 단순 적용하면 생성 결과에서 심각한 시간적 불일치가 발생한다. 이 문제를 해결하기 위해 우리는 Stream3D를 제안한다. Stream3D는 고정(frozen)된 뷰 조건부 3D 생성기를 일정한 cross-chunk 메모리를 갖는 스트리밍 생성기로 전환하는 최초의 학습 없는(training-free) 스트리밍 메커니즘이다. Stream3D는 제안된 evidence score 메커니즘을 기반으로 가장 정보가 풍부한 과거 프레임을 선택적으로 캐시하는 간결한 증거적 메모리(evidential memory)를 유지함으로써 이를 달성한다. 스트림이 진행됨에 따라 메모리는 정보가 풍부한 프레임의 고정 개수를 유지하도록 동적으로 갱신되어, 메모리 사용량이 시퀀스 길이에 비례해 선형적으로 증가하는 것을 방지한다. 이는 또한 긴 시퀀스에서의 성능 저하를 방지하며, 재학습, 아키텍처 수정, 또는 보조 손실 없이 기저 생성기를 완전히 변경하지 않은 상태로 유지한다. 현실적 및 합성 스트리밍 벤치마크에서 평가한 결과, Stream3D는 KV-cache 재사용 및 flow 기반 특징 편집을 포함한 latent-transport 기준선들보다 광학(photometric) 및 기하(geometric) 지표 모두에서 우수한 성능을 보였다. 자세한 내용은 https://stream-3d.github.io/stream3d.github.io/ 에서 확인할 수 있다.

arXiv:2607.12752v2cs.CV공통 태그 Novel View Synthesis, 3D Generation

Hallo4D: 일관적 시공간 생성을 위한 멀티모달 환각 완화

Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation

최근 3D 생성의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산(diffusion) 감독에 의존하는 경우가 많아, 중복된 구조나 어긋난 기하학과 같은 공간적 환각을 유발한다. 4D 생성에서는 시점과 시간적 진화에 걸친 일관성 유지가 추가적인 도전을 불러오며, 여기에는 지터(jitter), 정체성 깜빡임(identity flicker), 구조적 드리프트(structural drift) 등이 포함되어 이러한 문제가 더욱 심각해진다. 우리는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델 불가지(model-agnostic) 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-보정(generation-detection-correction) 패러다임을 도입하며, 대규모 멀티모달 언어 모델(LMM)을 활용하여 다중 시점(multi-view) 및 다중 프레임 렌더링으로부터 공간적·시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 이끌며, LMM 기반 선택기가 다중 모델 투표를 통해 후보 보정을 평가하고, 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율을 더욱 향상시키기 위해 Hallo4D는 모션 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 어려운 시점에서의 견고성을 높이기 위해 노출 인식 최적화와 가시성 가지치기를 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 베이스라인을 지속적으로 능가함을 보여주며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 해법을 제공한다.

arXiv:2606.24206v1cs.CV공통 태그 Novel View Synthesis, 3D Generation

다중 시점 일관성을 갖는 구성적 3D 생성을 위한 포괄적 상호작용 충돌

Inclusive Interactive Collisions for Multi-View Consistent Compositional 3D Generation

3D 생성 분야의 최근 혁신은 텍스트-이미지 확산 모델(text-to-image diffusion model)의 발전과 함께 눈에 띄게 진보하였다. 그러나 기존 방법들은 두 가지 실용적인 과제를 안고 있다. (1) 주로 단일 3D 객체를 생성하는 데 집중하며, 합리적인 상호작용 내 가우시안 프리미티브(Gaussian primitives) 모델링의 부재로 인해 다중 객체 구성적 3D 에셋 생성에 어려움을 겪는다. (2) Score Distillation Sampling이 본질적으로 각 단일 시점에서 수행되기 때문에 3D 최적화 과정에서 교차 시점 불일치(cross-view inconsistency)가 발생하며, 이는 필연적으로 교차 시점 환각(hallucination)으로 이어진다. 위 문제들을 해결하기 위해, 우리는 합리적인 상호작용을 갖춘 다중 시점 일관적 구성적 3D 에셋을 생성하는 새로운 최적화 기반 방법인 I2C-3D를 제안한다. 구체적으로, 가우시안 프리미티브가 합리적인 상호작용 영역에 자연스럽게 나타나도록 유도하는 포괄적 상호작용 충돌(Inclusive Interactive Collisions) 전략을 제안하여, 구성적 장면 내 객체들이 물리적으로 그럴듯하고 시각적으로 일관된 방식으로 상호작용하도록 보장한다. 또한, 다중 시점 일관성을 강화하기 위해, 사전학습된 확산 모델에서 시점 전반에 걸친 인스턴스 토큰(instance token)과 공간 토큰(spatial token)의 어텐션 맵을 조절하여 다중 시점 일관성 사전정보와 레이아웃 사전정보를 증류하는 다중 시점 적응적 Score Distillation Sampling을 고안하였다. 위의 정교한 설계들 덕분에, I2C-3D는 고품질의 다중 시점 일관적 구성적 3D 에셋을 생성할 뿐만 아니라 유연한 3D 편집을 지원하여 복잡한 장면 생성을 용이하게 한다. 광범위한 실험을 통해 I2C-3D가 생성 품질과 다중 시점 일관성 면에서 기존 방법들을 능가함을 입증한다.

arXiv:2606.24301v1cs.CV공통 태그 Novel View Synthesis, 3D Generation

MM-TRELLIS: 자율주행에서 포인트 클라우드 기반 멀티모달 3D 차량 생성

MM-TRELLIS: Point-Cloud Guided Multi-Modal 3D Vehicle Generation in Autonomous Driving

자율주행 장면에서 사실적인 3D 차량 모델을 복원하는 것은 학습 데이터 합성 및 시뮬레이션 환경 구축에 매우 중요합니다. 그러나 기존 차량 생성 방법의 대부분은 멀티모달 센서(즉, 다중 시점 이미지와 LiDAR 포인트 클라우드)를 충분히 활용하지 못하며, 신경 렌더링 기반 재구성에 의존하여 낮은 품질의 메시를 생성합니다. 최근 네이티브 3D 생성 모델이 상당한 발전을 이루었지만, 임의의 다중 시점 입력을 위해 설계되지 않았으며 실제 주행 이미지에 어려움을 겪는 경우가 많습니다. 본 연구에서는 자율주행 데이터셋의 LiDAR와 이미지 센서를 네이티브 3D 생성 모델에 통합하여 실제 환경에서의 3D 차량 생성을 위한 TRELLIS의 멀티모달 버전인 MM-TRELLIS를 제안합니다. 구체적으로, 다중 시점 이미지는 조건부 입력으로 순환 적용되며, LiDAR 포인트 클라우드는 기하학적 정확도와 교차 시점 일관성을 보장하기 위한 테스트 시점 가이던스를 제공합니다. 디노이징 과정에서 먼저 가이던스 포인트 클라우드를 모델 사전 분포에 정렬한 후, 생성된 기하 구조와 가이던스 포인트 클라우드 간의 일관성을 강제합니다. 마지막으로, 부유 잡음(floater)을 억제하고 깔끔한 메시를 생성하기 위해 3D Gaussian Splatting의 불투명도에 기반한 복셀 필터링 전략을 도입합니다. Waymo 데이터셋에 대한 포괄적인 실험을 통해 우리의 방법이 고충실도 3D 차량 생성에서 기존 방법들보다 우수한 성능을 발휘함을 입증합니다. 코드는 https://github.com/HongliXiao/MM-TRELLIS 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.