Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model
원문 초록
Recent advances in diffusion models such as ControlNet have enabled geometrically controllable, high-fidelity text-to-image generation. However, none of them addresses the question of adding such controllability to text-to-3D generation. In response, we propose Text2Control3D, a controllable text-to-3D avatar generation method whose facial expression is controllable given a monocular video casually captured with hand-held camera. Our main strategy is to construct the 3D avatar in Neural Radiance Fields (NeRF) optimized with a set of controlled viewpoint-aware images that we generate from ControlNet, whose condition input is the depth map extracted from the input video. When generating the viewpoint-aware images, we utilize cross-reference attention to inject well-controlled, referential facial expression and appearance via cross attention. We also conduct low-pass filtering of Gaussian latent of the diffusion model in order to ameliorate the viewpoint-agnostic texture problem we observed from our empirical analysis, where the viewpoint-aware images contain identical textures on identical pixel positions that are incomprehensible in 3D. Finally, to train NeRF with the images that are viewpoint-aware yet are not strictly consistent in geometry, our approach considers per-image geometric variation as a view of deformation from a shared 3D canonical space. Consequently, we construct the 3D avatar in a canonical space of deformable NeRF by learning a set of per-image deformation via deformation field table. We demonstrate the empirical results and discuss the effectiveness of our method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링
ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation
통합 3D 파운데이션 모델은 단일 백본 내에서 3D 에셋을 생성하고 언어로 추론하는 것을 목표로 하지만, 텍스트-3D 상호작용은 여전히 대체로 암묵적인 수준에 머물러 있다. 기존 방법들은 텍스트와 3D 토큰을 평탄한 시퀀스로 연결하고 셀프 어텐션(self-attention)에 의존하여, 거친 구조적 단서와 세밀한 기하학적 세부사항을 하나의 미분화된 표현으로 축소해 버린다. 우리는 일치하는 추상화 스케일에 맞춰 언어 및 기하학적 추론을 공동으로 구조화하는 탄력적 의미론적 앵커링(elastic semantic anchoring)을 통해 이 문제를 해결하는 통합 3D 모델인 ELSA3D를 소개한다. ELSA3D는 스케일 인식 옥트리 토크나이저를 사용해 기하학적 구조를 표현하며, 희소 크로스 모달 단위인 앵커 토큰(Anchor Tokens)을 도입한다. 이 토큰은 의미론적 단서를 선택하고, 이를 가장 관련성이 높은 3D 스케일로 라우팅하며, 스케일별 기하학적 증거를 검색하고, 융합된 신호를 통합 표현에 다시 기록함으로써 상호작용을 희소하면서도 정밀하게 유지한다. 경량 블록별 라우터는 계산과 추론 모두를 탄력적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 정렬이 가장 필요한 곳에 크로스 모달 용량이 집중되도록 한다. ELSA3D는 이미지-to-3D 생성, 텍스트-to-3D 생성, 3D 캡셔닝 전반에 걸쳐 최고 수준(state-of-the-art)의 성능을 달성하며, 동일 모델의 비탄력적 버전 대비 FLOPs와 추론 지연 시간을 약 절반으로 줄이면서도 가장 강력한 통합 기준선을 능가한다.
구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성
Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows
클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.
Hallo4D: 일관적 시공간 생성을 위한 멀티모달 환각 완화
Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation
최근 3D 생성의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산(diffusion) 감독에 의존하는 경우가 많아, 중복된 구조나 어긋난 기하학과 같은 공간적 환각을 유발한다. 4D 생성에서는 시점과 시간적 진화에 걸친 일관성 유지가 추가적인 도전을 불러오며, 여기에는 지터(jitter), 정체성 깜빡임(identity flicker), 구조적 드리프트(structural drift) 등이 포함되어 이러한 문제가 더욱 심각해진다. 우리는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델 불가지(model-agnostic) 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-보정(generation-detection-correction) 패러다임을 도입하며, 대규모 멀티모달 언어 모델(LMM)을 활용하여 다중 시점(multi-view) 및 다중 프레임 렌더링으로부터 공간적·시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 이끌며, LMM 기반 선택기가 다중 모델 투표를 통해 후보 보정을 평가하고, 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율을 더욱 향상시키기 위해 Hallo4D는 모션 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 어려운 시점에서의 견고성을 높이기 위해 노출 인식 최적화와 가시성 가지치기를 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 베이스라인을 지속적으로 능가함을 보여주며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 해법을 제공한다.
ExtraGS: 확산 모델 안내 3D Gaussian Splatting을 통한 내시경 시점 외삽 향상
ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting
로봇 보조 최소침습 수술(MIS)은 탐색 및 안전을 위해 신뢰할 수 있는 내시경 인식에 매우 의존합니다. 그러나 기존 내시경은 제한된 시야만을 제공하여 주변 해부학적 구조의 상당 부분이 관측되지 못합니다. Neural Radiance Fields(NeRF)와 3D Gaussian Splatting과 같은 최근 신경 렌더링(neural rendering) 접근법은 내시경 영상으로부터 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 희소 관측에 의존하기 때문에 학습 궤적을 벗어나 외삽할 때 심각한 아티팩트가 발생하는 경우가 많습니다. 본 연구에서는 확산 모델 안내 3D Gaussian Splatting을 통해 내시경 시점 외삽을 향상시키는 프레임워크인 ExtraGS를 제안합니다. 초기 재구성(reconstruction)에서 출발하여, 사각지대를 적극적으로 탐색하고 정보 이득을 극대화하기 위한 불확실성 안내 가상 카메라 샘플링 전략을 도입합니다. 이 샘플링 위치에서 렌더링된 시점은 확산 모델(diffusion model)을 사용해 정제하여 그럴듯한 해부 구조를 복원하고, 추가 최적화(optimization)를 안내하는 의사 관측(pseudo-observations)을 생성합니다. 생성된 내용이 신뢰할 수 있는 영역을 저하시키는 것을 방지하기 위해, 이러한 의사 관측을 통합할 때 신뢰도 가중 미세조정(fine-tuning) 전략을 채택합니다. 여러 공개 내시경 데이터셋(dataset)에 대한 광범위한 실험을 통해 ExtraGS가 외삽 아티팩트를 크게 줄이고 내시경 새로운 시점 합성에서 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다.
DiffGI: 고충실도 박각(thin-shell) 3D 생성을 위한 미분 가능 기하 이미지(Differentiable Geometry Images)
DiffGI: Differentiable Geometry Images for High-Fidelity Thin-Shell 3D Generation
기존 3D 생성 모델은 대부분 암시적 부피 표현에 의존하며, 이는 watertight 위상을 강제하고 의류와 같은 박각(thin-shell) 및 비매니폴드(non-manifold) 기하를 표현하는 데 어려움이 있다. Geometry image 기반 접근법은 표면 중심의 대안을 제공하지만, 기존 방법은 이산 이진 점유 맵에 의존하며, 해상도 의존적 경계 인코딩으로 계단 현상(artifact)과 다운샘플링 시 정보 손실을 유발한다. 또한 표면 재구성은 학습 파이프라인과 분리된 미분 불가능한 사후처리 단계로 남아 있다. 이를 해결하기 위해, 표면 표현과 기하 최적화를 원활하게 통합하는 end-to-end 3D-to-2D 매핑 프레임워크인 미분 가능 기하 이미지(Differentiable Geometry Image, DiffGI)를 제안한다. DiffGI는 이진 맵을 연속 2D 절단 부호 거리 함수(Truncated Signed Distance Function, TSDF)로 대체하며, 고정 그리드 해상도 내에서 서브픽셀 정밀도로 경계 위치를 인코딩하여 공격적인 다운샘플링 하에서도 해상도 의존적 계단 현상을 제거한다. 이 연속 필드를 기반으로, 해석적 선형 보간에 기반한 미분 가능 Marching Squares 알고리즘을 도입하여 3D 표면 손실로부터의 기울기가 2D 잠재 공간으로 역전파되도록 한다. 이 미분 가능 파이프라인을 활용하여, 기하 인식 법선 렌더링 손실로 보강한 DiffGI-VAE를 학습하여 복잡한 3D 표면을 초소형 32×32 잠재 공간으로 압축하고, 이 공간 위에 flow-matching 목적함수를 갖는 트랜스포머 기반 잠재 확산 모델을 구현하여 조건부 3D 생성을 수행한다. 의류 및 객체 데이터셋에 대한 광범위한 실험을 통해, 제안 방법이 기존 geometry-image 및 복셀 기반 접근법 대비 우수한 재구성 충실도와 경계 정밀도를 달성하면서도 계산 자원을 훨씬 적게 필요로 함을 보여준다.
ABot-3DWorld 0: 모든 3D 공간을 탐험하는 범용 월드 모델
ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space
우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.