본 논문은 텍스트 설명으로부터 3D 메시(mesh)의 재질(material)을 생성하는 것을 목표로 합니다. 텍스처 맵을 합성하는 기존 방식들과 달리, 본 연구에서는 외형 표현 방식으로 고품질 렌더링을 지원하고 편집에 있어 상당한 유연성을 제공하는 세그먼트별 절차적 재질 그래프(procedural material graph) 생성을 제안합니다. 재질 그래프와 해당 텍스트 설명이 포함된 3D 메시와 같은 대규모 쌍(paired) 데이터에 의존하여 재질 그래프 생성 모델(generative model)을 학습(training)시키는 대신, 사전학습(pre-training)된 2D 확산 모델(diffusion model)을 텍스트와 재질 그래프를 연결하는 가교로 활용할 것을 제안합니다. 구체적으로, 제안하는 접근법은 형상을 일련의 세그먼트로 분해하고 세그먼트 제어 확산 모델을 설계하여 메시 부위와 정렬된 2D 이미지를 합성합니다. 생성된 이미지를 바탕으로 재질 그래프의 파라미터를 초기화하고 미분 가능 렌더링 모듈을 통해 이를 파인튜닝(fine-tuning)하여 텍스트 설명에 부합하는 재질을 생성합니다. 광범위한 실험을 통해 제안 프레임워크가 사실성(photorealism), 해상도 및 편집 가능성 측면에서 기존 방식들보다 우수한 성능을 보임을 입증합니다. 프로젝트 페이지: https://zju3dv.github.io/MaPa
텍스트 기반 3D 건물 생성은 엄청난 응용 잠재력을 지니고 있지만, 기존 생성 모델들은 일반적으로 분리할 수 없는 단일 메시(mesh)나 상호작용이 불가능한 렌더링된 표현을 출력합니다. 절차적 모델링(procedural modeling)은 계층 구조를 갖춘 편집 가능한 건물을 생성할 수 있으나 규칙 작성이 번거로우며, 대규모 언어 모델(LLM)의 도움을 받더라도 기하학적 제약 조건 하에서 절차적 규칙을 효과적으로 풀어내는 것은 여전히 어렵습니다. 본 논문에서는 구조화된 건물 생성을 위한 새로운 하이브리드 프레임워크인 ProxyBuild를 제안합니다. 우리는 건물 구성요소를 기하학적 셸(geometric shell)에 단단히 고정하는 새로운 중간 표현인 메시 앵커 기반 절차적 프록시(Mesh-Anchored Procedural Proxy, MAPP)를 도입하여, 생성 작업을 프록시 예측과 프록시-에셋 인스턴스화의 두 단계로 분리합니다. 먼저, MAPP 주석이 포함된 건물 데이터셋을 구축하여 우리가 설계한 면-엣지 이분 그래프(face-edge bigraph) 인코더를 학습시킵니다. 이 인코더는 이종 메시 그래프 상에서 위상 요소들의 특징 상호작용을 명시적으로 모델링함으로써 면과 엣지의 시맨틱 역할을 정확하게 추론합니다. 이후 LLM이 파싱한 텍스트 스타일과 속성 매개변수를 조건으로 하여, 엄격한 제약 조건을 갖춘 공간 배치 로직을 통합함으로써 높은 정밀도의 에셋 검색 및 조립을 완수합니다. 광범위한 실험을 통해 ProxyBuild는 과도한 평활화(over-smoothing), 구성요소 간 충돌, 구조적 손상과 같은 건물 생성의 일반적인 문제들을 크게 완화할 뿐만 아니라, 다양한 출처의 시맨틱 없는 셸을 정확하게 파싱함을 보여줍니다. 다양한 지표에서 기존 베이스라인들을 능가하는 우리의 방법은 텍스트로부터 구조가 명확하고 세부 묘사가 풍부하며 사후 편집이 가능한 3D 건물을 견고하게 생성할 수 있어, 가상현실(VR) 및 디지털 트윈과 같은 다운스트림 애플리케이션을 위한 신뢰성 있고 상호작용 가능한 콘텐츠 기반을 제공합니다.
의미 있는 파트들의 조합으로 3D 객체를 이해하고 생성하는 것은 인간의 지각과 추론에 있어 근본적인 능력이다. 그러나 대부분의 텍스트-to-3D 방법들은 파트의 의미론적·기능적 구조를 간과한다. 최근의 파트 인식(part-aware) 접근법들은 분해(decomposition)를 도입하고 있으나, 여전히 기하학적 측면에 치우쳐 있어 의미론적 그라운딩이 부족하고, 파트가 텍스트 설명과 어떻게 정렬되는지 혹은 파트 간 관계를 모델링하는 데 실패한다. 본 논문에서는 의미론적 그라운딩 기반의 파트 인식 텍스트-to-3D 생성 프레임워크인 DreamPartGen을 제안한다. DreamPartGen은 각 파트의 기하학적 형태와 외관을 함께 모델링하는 이중 파트 잠재 변수(Duplex Part Latents, DPLs)와, 언어로부터 도출된 파트 간 의존성을 포착하는 관계적 의미 잠재 변수(Relational Semantic Latents, RSLs)를 도입한다. 동기화된 공동 디노이징(co-denoising) 과정은 상호 기하학적·의미론적 일관성을 강제함으로써, 일관되고 해석 가능하며 텍스트에 정렬된 3D 합성을 가능하게 한다. 다수의 벤치마크에 걸쳐 DreamPartGen은 기하학적 충실도와 텍스트-형상 정렬에서 최첨단 성능을 달성한다.
텍스트로부터 3D 표정을 정밀하게 제어하는 것은 가상 아바타, 애니메이션, 인간-컴퓨터 상호작용에서 매우 중요하지만, 기존의 텍스트-3D 방법들은 정체성, 표정, 텍스처를 함께 생성하기 때문에 세밀한 표정 제어가 어렵다. 우리는 대신 텍스트 기반 표정 합성을 3D 변형 가능 모델(3DMM)의 분리된 매개변수 공간에서의 회귀 문제로 정식화한다. 그러나 이 설정은 세부적인 언어를 정밀한 표정 매개변수와 연결하는 쌍 데이터를 필요로 하며, 기존 자원에는 이러한 데이터가 없다. 이 공백을 채우기 위해, 우리는 GPT-4o와 고충실도 얼굴 추적기로부터 획득한 세밀한 텍스트 주석이 포함된 다양한 3D 표정 벤치마크인 Txt2Emote를 소개한다. 이 벤치마크는 얼굴 특징을 상세히 설명하는 명시적 설명과 표정 뒤의 상황적 맥락을 참조하는 암묵적 설명을 모두 제공한다. 이 데이터셋을 활용하여, 우리는 표정 표현을 의미론적으로 그라운딩하기 위한 전용 <Expr> 토큰을 갖춘 멀티모달 대규모 언어 모델(MLLM) 기반의 텍스트-3D 표정 프레임워크인 EmoteGPT를 제시하며, 이를 통해 3DMM 매개변수로 디코딩한다. 우리는 대규모 이미지-3DMM 데이터를 학습에 증강하여 EmoteGPT를 더욱 개선하고, 감정 인식 지표와 표현력 지각 측면에서 최신 텍스트-3D 얼굴 합성 방법들을 능가할 수 있게 한다. 아바타 파이프라인에 통합된 우리의 방법은 포토리얼리스틱 및 스타일화된 3D 아바타뿐만 아니라 텍스트 입력으로부터 표현력 있는 3D 일관 2D 얼굴 합성을 가능하게 한다.
자연어로부터 렌더링용 형상이 아닌 편집 가능한 파라메트릭 CAD 프로그램을 직접 생성하는 문제를 다루며, Arko-T는 40억 매개변수 모델로 데이터 큐레이션·코드 정규화·실행 기반 지도학습 전 단계를 설계 상태(design state) 개념에 정렬해 피처·파라미터·구성 논리를 보존한다. 7개의 최신 LLM 대비 12개 지표 중 8개에서 최고 성능을, 3개에서 차상위 성능을 달성했으며 벤치마크당 비용은 약 10분의 1 수준이다.
본 논문은 측정적으로 정확하고 전역적으로 일관되며 의미적으로 해석 가능한 실내 장면을 생성하는 text-to-3D 생성 프레임워크인 GuidedSceneGen을 제안한다. 기하학적 drift나 스케일 모호성 문제가 흔한 기존 텍스트 기반 방법들과 달리, 본 접근법은 전체 생성 과정 전반에 걸쳐 절대 세계 좌표계를 유지한다. 텍스트 장면 설명에서 출발하여, 의미 구조와 기하학적 구조를 모두 인코딩하는 전역 3D 레이아웃을 예측하고, 이를 후속 단계의 안내 프록시로 사용한다. 의미 및 깊이 조건 파노라마 확산 모델이 전역 레이아웃에 정렬된 360° 영상을 합성하여 공간적 일관성을 크게 향상시킨다. 관측되지 않은 영역을 탐색하기 위해, 커버리지와 충돌 회피의 균형을 맞춘 최적화된 카메라 궤적로 안내되는 비디오 확산 모델을 사용하며, 이는 전수적 경로 탐험 대비 최대 10배 빠른 샘플링을 달성한다. 생성된 뷰는 3D Gaussian Splatting으로 융합되어 절대 스케일에서 일관되고 완전히 탐색 가능한 3D 장면을 산출한다. GuidedSceneGen은 레이아웃에서 재구성으로 객체 포즈와 의미 레이블의 정확한 전달을 가능하게 하며, 재정렬 없이 점진적 장면 확장을 지원한다. 정량적 결과와 사용자 연구는 최근 파노라마 text-to-3D 베이스라인 대비 더 높은 3D 일관성과 레이아웃 타당성을 보여준다.
텍스트-3D 생성은 빠르게 발전했지만, 최적화 기반과 피드포워드(feed-forward) 아키텍처를 아우르는 최신(state-of-the-art) 모델들도 여전히 두 가지 근본적 한계에 직면한다. 첫째, 거친(coarse) 의미론적 정렬(alignment)에 어려움을 겪어 세밀한 프롬프트 세부사항을 포착하지 못하는 경우가 많다. 둘째, 견고한 3D 공간 이해가 부족하여 기하학적 불일치와 부품 조립 및 공간 관계에서의 치명적 실패로 이어진다. 이를 해결하기 위해, 우리는 대규모 비전-언어 모델(VLM)을 강력하고 미분 가능한(differentiable) 의미론적·공간적 비평자(critic)로 재활용하는 일반적 프레임워크 VLM3D를 제안한다. 핵심 기여는 VLM의 Yes/No 로그오즈(log-odds)에서 도출된 이중 쿼리 비평자 신호로, 의미론적 충실도와 기하학적 일관성을 모두 평가한다. 우리는 이 안내 신호의 범용성을 두 가지 서로 다른 패러다임에서 입증한다: (1) 최적화 기반 파이프라인의 보상 목표로서 VLM3D는 표준 벤치마크(benchmark)에서 기존 방법들을 크게 능가한다. (2) 피드포워드 파이프라인의 테스트 시점 가이던스(test-time guidance) 모듈로서, SOTA 네이티브 3D 모델의 반복 샘플링 과정을 능동적으로 조향하여 심각한 공간 오류를 교정한다. VLM3D는 의미론과 공간 모두에 대한 VLM의 풍부하고 언어 그라운딩(grounding)된 이해를 다양한 3D 생성 파이프라인에 주입하는 원칙적이고 일반화 가능한 경로를 제시한다.
Generic text-to-video models can be used as rich open-world scene priors. Despite the high quality of today's generated videos, they do not directly yield reliable 3D assets: camera motion is difficult to control, view coverage is partial, and frames often contain inconsistencies across time. We introduce OrbitForge, an adapter built from frozen video priors and per-prompt Gaussian Splatting reconstruction optimization that converts a single text-generated video into a canonical closed-orbit 3D Gaussian Splatting scene. We use 3D reconstruction as an anchor to improve the 3D consistency of the generated video. We obtain a preliminary 3D reconstruction from a first generated video via Deformable Gaussian Splatting with a robust MedianGS proxy. We render views from a prescribed orbit to detect missing viewpoints. OrbitForge uses the text-to-video model to complete only the missing views, and reconstructs the completed orbit into a final Gaussian Splatting scene. This design requires no task-specific video or multiview fine-tuning, avoids per-prompt score-distillation optimization, and does not progressively generate views one step at a time. We further argue that this setting demands coverage-aware evaluation: local smoothness alone rewards methods that never attempt a full orbit. On a frozen 300-prompt T3Bench-derived audit, OrbitForge reconstruction attains a 359.0-degree measured median span, raises originally unsupported-bin Q10 ImageReward from 8.07 to 16.36 relative to MedianGS-only reconstruction, while remaining competitive with VideoMV on the coverage-quality.
멀티모달 대규모 언어 모델(MLLM)은 복잡한 프로그램을 생성하는 코드를 작성할 수 있을 뿐 아니라 프로그램을 활용해 3D 모델링을 수행할 수도 있으며, 이는 사전지식(priors), 세계 지식 및 추론에 기반한 3D 생성의 새로운 경로를 열어 준다. 그러나 기존 벤치마크는 코드를 통한 3D 모델링을 거의 평가하지 않는다. 이러한 모델링은 실행 가능한 코드 그 이상을 요구한다: 텍스트 또는 시각적 명세로부터 모델은 기하학적으로 정밀하고, 의미적으로 정렬되며, 조립 일관성을 갖춘 파라메트릭 3D 프로그램을 생성해야 한다. 우리는 파라메트릭 3D 생성을 위한 벤치마크인 P3D-Bench를 제안한다. 3D 메시(mesh)와 달리, 파라메트릭 3D 프로그램은 명시적 치수, 구성 연산 및 부품 간 관계를 드러내며, 모델이 외관뿐 아니라 설계의 구조를 복원하는지를 보여 준다. 통합 프로토콜 하에서 P3D-Bench는 세 가지 작업군(Text-to-3D, Image-to-3D, Assembly-3D)을 다루며, 각 출력을 실행 가능성, 기하학적 충실도, 위상(topology), 텍스트 기반 제약, 다시점 의미 정렬, 부품 수준 구조에 대해 채점한다. 우리는 최신 MLLM과 텍스트 전용 LLM을 텍스트 400건, 이미지 400건, 주석이 달린 조립체 203건에 대해 평가하며, 도메인 특화 모델을 기준점으로 사용한다. 광범위한 평가를 통해 세 가지 발견이 도출된다. 첫째, 조립(assembly)이 가장 어려운 설정으로, 모델은 여러 부품을 일관된 구조로 조합하는 데 여전히 실패한다. 둘째, 모델은 종종 목표 객체의 전역 형상과 의미적 정체성을 복원할 수 있으나, 입력에 명시된 정밀한 파라메트릭 기하를 재현하는 데 실패한다. 셋째, 부품 수준 모델링은 조립체에서 여전히 취약하며, 모델은 각 부품의 기하를 복원하지 못할 뿐 아니라 올바른 부품 수도 복원하지 못한다. 이러한 결과는 P3D-Bench를 파라메트릭 3D 생성에서 정밀한 파라메트릭 기하와 부품 수준 구조를 평가하는 벤치마크로 자리매김한다.
대규모 비전-언어 모델(LVLM)은 다양한 태스크에서 뛰어난 추론 성능을 달성했다. 그러나 LVLM을 활용한 텍스트-3D 실내 장면 생성에 관한 연구는 드물다. 주요 과제는 기존 LVLM 기반 방법들이 사고의 연쇄(chain-of-thought) 순차적 의사결정 메커니즘을 채택하여 이전 결정을 수정할 수 없으며, 이로 인해 오류가 전파된다는 점이다. 본 논문에서는 이 태스크를 공간적·레이아웃 상식에 의해 제약된 계획 문제로 간주한다. 이를 해결하기 위해, 기존의 순차적 의사결정 방식과 달리 글로벌 트리와 로컬 트리를 결합한 트리 탐색 문제로 모델링한다. 글로벌 트리에서는 인간이 방을 꾸미듯 각 객체를 반복적으로 배치하고 여러 시도를 탐험(exploration)하며, 문제 공간을 트리로 표현한다. 트리를 효과적으로 탐색하기 위해 계층적 장면 표현과 PRM 기반 MCTS 방법을 제안한다. 이 표현은 장면을 방 수준, 구역 수준, 바닥 객체 수준, 지지 객체 수준으로 추상화한다. PRM 기반 MCTS 방법은 PRM을 사용해 불필요한 분기를 가지치기하고, MCTS 알고리즘으로 탐험과 활용(exploitation)을 균형 있게 조절하여 더 적은 시도로 최적해를 얻는다. 로컬 트리에서는 각 객체의 배치를 구체적인 배치 파라미터를 포함한 더 세밀한 하위 단계로 분해한다. 장면 전체의 외관을 일관되게 유지하기 위해, 사전학습된 확산(diffusion) 이미지 생성 모델을 활용하여 장면 내 모든 객체의 텍스처를 예측한다. 기존의 텍스트-3D 실내 장면 생성 벤치마크는 규모와 다양성 면에서 한계가 있으므로, 65가지 장면 유형과 다양한 크기·레이아웃·스타일을 포함한 3,250개의 지시문으로 구성된 새로운 대규모 다양성 데이터셋인 3DTindo-bench를 수집하여 최신 모델의 능력을 더 잘 평가할 수 있도록 한다. 실험 결과, 본 방법이 최신 방법들보다 더 현실적인 3D 장면을 생성함을 보인다.