arXiv:2501.13087

Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation

Akshay Krishnan, Xinchen Yan, Vincent Casser, Abhijit Kundu

제출 2025-01-22

원문 초록

Diffusion models are state-of-the-art for image generation. Trained on large datasets, they capture expressive image priors that have been used for tasks like inpainting, depth, and (surface) normal prediction. However, these models are typically trained for one specific task, e.g., a separate model for each of color, depth, and normal prediction. Such models do not leverage the intrinsic correlation between appearance and geometry, often leading to inconsistent predictions. In this paper, we propose using a novel image diffusion prior that jointly encodes appearance and geometry. We introduce a diffusion model Orchid, comprising a Variational Autoencoder (VAE) to encode color, depth, and surface normals to a latent space, and a Latent Diffusion Model (LDM) for generating these joint latents. Orchid directly generates photo-realistic color images, relative depth, and surface normals from user-provided text, and can be used to create image-aligned partial 3D scenes seamlessly. It can also perform image-conditioned tasks like joint monocular depth and normal prediction and is competitive in accuracy to state-of-the-art methods designed for those tasks alone. Lastly, our model learns a joint prior that can be used zero-shot as a regularizer for many inverse problems that entangle appearance and geometry. For example, we demonstrate its effectiveness in color-depth-normal inpainting, showcasing its applicability to problems in 3D generation from sparse views.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.06565v2cs.CV공통 태그 Image Generation, 3D Generation

ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링

ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation

통합 3D 파운데이션 모델은 단일 백본 내에서 3D 에셋을 생성하고 언어로 추론하는 것을 목표로 하지만, 텍스트-3D 상호작용은 여전히 대체로 암묵적인 수준에 머물러 있다. 기존 방법들은 텍스트와 3D 토큰을 평탄한 시퀀스로 연결하고 셀프 어텐션(self-attention)에 의존하여, 거친 구조적 단서와 세밀한 기하학적 세부사항을 하나의 미분화된 표현으로 축소해 버린다. 우리는 일치하는 추상화 스케일에 맞춰 언어 및 기하학적 추론을 공동으로 구조화하는 탄력적 의미론적 앵커링(elastic semantic anchoring)을 통해 이 문제를 해결하는 통합 3D 모델인 ELSA3D를 소개한다. ELSA3D는 스케일 인식 옥트리 토크나이저를 사용해 기하학적 구조를 표현하며, 희소 크로스 모달 단위인 앵커 토큰(Anchor Tokens)을 도입한다. 이 토큰은 의미론적 단서를 선택하고, 이를 가장 관련성이 높은 3D 스케일로 라우팅하며, 스케일별 기하학적 증거를 검색하고, 융합된 신호를 통합 표현에 다시 기록함으로써 상호작용을 희소하면서도 정밀하게 유지한다. 경량 블록별 라우터는 계산과 추론 모두를 탄력적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 정렬이 가장 필요한 곳에 크로스 모달 용량이 집중되도록 한다. ELSA3D는 이미지-to-3D 생성, 텍스트-to-3D 생성, 3D 캡셔닝 전반에 걸쳐 최고 수준(state-of-the-art)의 성능을 달성하며, 동일 모델의 비탄력적 버전 대비 FLOPs와 추론 지연 시간을 약 절반으로 줄이면서도 가장 강력한 통합 기준선을 능가한다.

arXiv:2609.27779v1cs.CV공통 태그 Image Generation, 3D Generation

구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성

Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows

클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.

arXiv:2607.12752v2cs.CV공통 태그 Image Generation, 3D Generation

Hallo4D: 일관적 시공간 생성을 위한 멀티모달 환각 완화

Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation

최근 3D 생성의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산(diffusion) 감독에 의존하는 경우가 많아, 중복된 구조나 어긋난 기하학과 같은 공간적 환각을 유발한다. 4D 생성에서는 시점과 시간적 진화에 걸친 일관성 유지가 추가적인 도전을 불러오며, 여기에는 지터(jitter), 정체성 깜빡임(identity flicker), 구조적 드리프트(structural drift) 등이 포함되어 이러한 문제가 더욱 심각해진다. 우리는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델 불가지(model-agnostic) 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-보정(generation-detection-correction) 패러다임을 도입하며, 대규모 멀티모달 언어 모델(LMM)을 활용하여 다중 시점(multi-view) 및 다중 프레임 렌더링으로부터 공간적·시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 이끌며, LMM 기반 선택기가 다중 모델 투표를 통해 후보 보정을 평가하고, 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율을 더욱 향상시키기 위해 Hallo4D는 모션 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 어려운 시점에서의 견고성을 높이기 위해 노출 인식 최적화와 가시성 가지치기를 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 베이스라인을 지속적으로 능가함을 보여주며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 해법을 제공한다.

arXiv:2607.13365v1cs.CV공통 태그 Image Generation, 3D Generation

DiffGI: 고충실도 박각(thin-shell) 3D 생성을 위한 미분 가능 기하 이미지(Differentiable Geometry Images)

DiffGI: Differentiable Geometry Images for High-Fidelity Thin-Shell 3D Generation

기존 3D 생성 모델은 대부분 암시적 부피 표현에 의존하며, 이는 watertight 위상을 강제하고 의류와 같은 박각(thin-shell) 및 비매니폴드(non-manifold) 기하를 표현하는 데 어려움이 있다. Geometry image 기반 접근법은 표면 중심의 대안을 제공하지만, 기존 방법은 이산 이진 점유 맵에 의존하며, 해상도 의존적 경계 인코딩으로 계단 현상(artifact)과 다운샘플링 시 정보 손실을 유발한다. 또한 표면 재구성은 학습 파이프라인과 분리된 미분 불가능한 사후처리 단계로 남아 있다. 이를 해결하기 위해, 표면 표현과 기하 최적화를 원활하게 통합하는 end-to-end 3D-to-2D 매핑 프레임워크인 미분 가능 기하 이미지(Differentiable Geometry Image, DiffGI)를 제안한다. DiffGI는 이진 맵을 연속 2D 절단 부호 거리 함수(Truncated Signed Distance Function, TSDF)로 대체하며, 고정 그리드 해상도 내에서 서브픽셀 정밀도로 경계 위치를 인코딩하여 공격적인 다운샘플링 하에서도 해상도 의존적 계단 현상을 제거한다. 이 연속 필드를 기반으로, 해석적 선형 보간에 기반한 미분 가능 Marching Squares 알고리즘을 도입하여 3D 표면 손실로부터의 기울기가 2D 잠재 공간으로 역전파되도록 한다. 이 미분 가능 파이프라인을 활용하여, 기하 인식 법선 렌더링 손실로 보강한 DiffGI-VAE를 학습하여 복잡한 3D 표면을 초소형 32×32 잠재 공간으로 압축하고, 이 공간 위에 flow-matching 목적함수를 갖는 트랜스포머 기반 잠재 확산 모델을 구현하여 조건부 3D 생성을 수행한다. 의류 및 객체 데이터셋에 대한 광범위한 실험을 통해, 제안 방법이 기존 geometry-image 및 복셀 기반 접근법 대비 우수한 재구성 충실도와 경계 정밀도를 달성하면서도 계산 자원을 훨씬 적게 필요로 함을 보여준다.

arXiv:2607.12193v1cs.HC공통 태그 Image Generation, 3D Generation

Compos3D: 생성형 3D 모델에서 창의적 제어를 위한 상호작용형 파트 기반 조합

Compos3D: Interactive Part-Based Composition for Creative Control in Generative 3D Models

생성형 AI가 3D 콘텐츠 제작에 새로운 기회를 열어 주었지만, 현재 워크플로는 종종 여러 차례 재생성에 의존하며, 이는 제한적인 제어와 예측하기 어려운 결과를 초래한다. 우리는 리믹싱(remixing)을 통해 생성형 3D 모델링을 위한 조합적 워크플로를 도입하는 시스템인 Compos3D를 제안한다. 모델을 반복적으로 재생성하는 대신, 사용자는 텍스트 또는 이미지 프롬프트(prompt)로 여러 후보를 생성하고, 2D 이미지 영역 또는 3D 메시(mesh) 세그먼트를 통해 관심 있는 부분을 선택하여 이를 일관된 디자인으로 조립한다. 이 시스템은 고수준 의도를 보존하면서 저수준 기하학을 해결하여 이러한 조합을 정제된 3D 모델로 합성한다. 이 접근법을 평가하기 위해, 2D와 3D 모달리티(modality) 모두에서 리믹싱과 재생성 워크플로를 비교하는 통제된 사용자 연구를 수행했다. 결과에 따르면, 리믹싱 워크플로는 참가자에게 더 큰 창의적 제어, 의도와의 더 강한 정렬(alignment), 그리고 더 높은 만족도를 제공했다. 우리는 향후 AI 보조 3D 모델링 워크플로에 대한 디자인 권고사항으로 마무리한다.

arXiv:2607.04311v3cs.CV공통 태그 Image Generation

Aura: VLM 기반 의미 정렬을 통한 일관된 다중 주체 비디오 생성

Aura: Consistent Multi-Subject Video Generation via VLM-Grounded Semantic Alignment

주체 중심 및 다중 요소 비디오 생성은 제어 가능한 비디오 합성의 핵심이지만, 기존 방법들은 아이덴티티 일관성을 유지하고 여러 주체 간의 복잡한 관계를 모델링하는 데 여전히 어려움을 겪고 있다. 본 논문에서는 고충실도(high-fidelity) 및 아이덴티티 일관성 비디오 생성을 위한 통합 프레임워크인 Aura를 제안한다. 장면 역학(scene dynamics)과 주체 간 상호작용을 더 잘 포착하기 위해, 비디오 콘텐츠에 대한 밀도 있고 구조화된 설명을 제공하는 AI 디렉터 수준의 캡션을 도입한다. 또한 학습 가능한 쿼리를 갖춘 비전-언어 모델(VLM)을 활용하여 텍스트 및 시각적 참조에서 전역 의미론과 세밀한 시각적 단서를 모두 포함하는 멀티모달 의미론적 특징을 추출한다. VLM과 디퓨전 트랜스포머(DiT) 간의 표현 격차를 해소하기 위해, VLM 특징을 DiT 특징 공간으로 점진적으로 매핑하는 2단계 정렬 전략을 설계한다. 시각적 컨디셔닝을 위해 토큰 연결(token concatenation)을 채택하여 참조 정보를 생성 과정에 직접 주입한다. 이종 주체 유형을 구별하고 일반적인 복사-붙여넣기 아티팩트를 줄이기 위해 주체 인식 RoPE-Shift 메커니즘을 개발한다. 서로 다른 카테고리의 참조 이미지를 추가로 구별하기 위해 주체 인식 학습 가능 토큰을 도입한다. 또한 다양한 수의 참조 주체를 가진 예시들 간의 학습 신호를 균형 있게 조정하기 위해 Memory 토큰을 도입한다. 추론 시, Progressive-APG(적응형 프롬프트 가이던스)가 과포화를 추가로 완화하고 사용자 프롬프트와의 의미론적 정렬을 향상시킨다. 마지막으로 전용 데이터 구축 파이프라인을 통해 고품질 비디오-주체 이미지 데이터셋을 구축한다. 광범위한 실험을 통해 본 방법이 단일 주체 생성과 더 어려운 다중 요소 시나리오 모두에서 최첨단(state-of-the-art) 성능을 달성함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.