Editing 3D Scenes via Text Prompts without Retraining
원문 초록
Numerous diffusion models have recently been applied to image synthesis and editing. However, editing 3D scenes is still in its early stages. It poses various challenges, such as the requirement to design specific methods for different editing types, retraining new models for various 3D scenes, and the absence of convenient human interaction during editing. To tackle these issues, we introduce a text-driven editing method, termed DN2N, which allows for the direct acquisition of a NeRF model with universal editing capabilities, eliminating the requirement for retraining. Our method employs off-the-shelf text-based editing models of 2D images to modify the 3D scene images, followed by a filtering process to discard poorly edited images that disrupt 3D consistency. We then consider the remaining inconsistency as a problem of removing noise perturbation, which can be solved by generating training data with similar perturbation characteristics for training. We further propose cross-view regularization terms to help the generalized NeRF model mitigate these perturbations. Our text-driven method allows users to edit a 3D scene with their desired description, which is more friendly, intuitive, and practical than prior works. Empirical results show that our method achieves multiple editing types, including but not limited to appearance editing, weather transition, material changing, and style transfer. Most importantly, our method generalizes well with editing abilities shared among a set of model parameters without requiring a customized editing model for some specific scenes, thus inferring novel views with editing effects directly from user input. The project website is available at https://sk-fun.fun/DN2N
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
StatLUT: 사실적 스타일 전이를 위한 통계적 특징 기반 멀티모달 3DLUT 생성
StatLUT: Statistical Feature-Driven Multimodal 3DLUT Generation for Photorealistic Style Transfer
사실적 스타일 전이(PST)는 콘텐츠 이미지의 구조적 무결성을 엄격히 보존하면서 참조 이미지의 색상 및 톤 스타일을 전이하는 것을 목표로 한다. 그러나 기존 딥러닝 기반 방법은 사전학습된 이미지 인코더로 인한 의미적 얽힘을 본질적으로 겪어 부자연스러운 공간 왜곡을 초래한다. 또한 현재의 픽셀 수준 매핑 방식은 색 영역 위상을 무시하는 경우가 많아 색 띠 현상이 발생하며, 정밀한 톤별 텍스트 기반 제어를 위한 멀티모달 능력도 부족하다. 이러한 병목을 해결하기 위해 3D LUT 생성을 위한 혁신적인 멀티모달 프레임워크 StatLUT를 제안한다. 첫째, 기존 인코더를 우회하고 Lab-Extractor를 도입하여 공간에 무관한 통계적 특징을 추출함으로써 색상 분포를 구조적 의미로부터 근본적으로 분리하고 아티팩트 없는 렌더링을 보장한다. 둘째, LUT 생성을 Transformer 기반 Seq2Seq 변환 과제로 정식화하고, 다차원 잔차 매퍼(MR-Mapper)를 활용하여 위상적으로 매끄러운 3D LUT를 예측한다. 마지막으로 단일 모달의 장벽을 넘기 위해, 톤을 기술하는 텍스트 프롬프트로부터 통계적 특징을 직접 합성하는 경량 확산 트랜스포머인 H-Diffuser를 제안하여 제어 가능하고 강건한 색 보정을 가능하게 한다. 표준 벤치마크에서의 광범위한 실험은 StatLUT가 시각적 품질과 정량적 지표 모두에서 최신 방법을 크게 능가함을 보이며, 멀티모달 사실적 스타일 전이를 위한 매우 강건하고 다재다능한 패러다임을 개척한다.
효율적인 확산 모델 미세조정을 위한 소스 프라이어 기반 선택적 적응
Source-Prior-Driven Selective Adaptation for Efficient Diffusion Model Finetuning
새로운 도메인이나 스타일을 위해 대규모 확산 모델을 미세조정할 때는 트레이드오프가 존재한다. 타깃 특화 생성을 개선하면 종종 사전학습된 모델의 폭넓은 생성 능력이 저하된다. 기존의 전체 미세조정 및 매개변수 효율적 미세조정 방법은 일반적으로 이 트레이드오프를 암묵적으로만 다룬다. 본 연구에서는 확산 모델을 효율적으로 미세조정하여 유리한 트레이드오프를 달성하기 위한 새로운 소스 프라이어 기반 선택적 적응 방법을 제안한다. 우리 방법은 두 가지 핵심 관찰에 기반한다: (1) 일반적인 생성 능력의 손실은 사전학습된 매개변수 간에 매우 불일치하며, (2) 모델의 일반적인 생성 능력에 상대적으로 작은 영향을 미치는 매개변수는 계층과 매개변수 유형에 걸쳐 구조적으로 불일치한 상태를 유지한다. 이러한 관찰에 동기를 부여받아, 우리는 먼저 하류 적응에 더 적합한 매개변수를 명시적으로 식별하기 위한 정적 마스크를 학습하고, 선택된 부분집합에 대해 구조화된 업데이트 전략을 구성한다. 실험 결과, 우리 방법은 기존의 강력한 베이스라인보다 더 나은 적응-보존 트레이드오프를 달성한다.
ExtraGS: 확산 모델 안내 3D Gaussian Splatting을 통한 내시경 시점 외삽 향상
ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting
로봇 보조 최소침습 수술(MIS)은 탐색 및 안전을 위해 신뢰할 수 있는 내시경 인식에 매우 의존합니다. 그러나 기존 내시경은 제한된 시야만을 제공하여 주변 해부학적 구조의 상당 부분이 관측되지 못합니다. Neural Radiance Fields(NeRF)와 3D Gaussian Splatting과 같은 최근 신경 렌더링(neural rendering) 접근법은 내시경 영상으로부터 새로운 시점 합성(novel view synthesis)을 가능하게 하지만, 희소 관측에 의존하기 때문에 학습 궤적을 벗어나 외삽할 때 심각한 아티팩트가 발생하는 경우가 많습니다. 본 연구에서는 확산 모델 안내 3D Gaussian Splatting을 통해 내시경 시점 외삽을 향상시키는 프레임워크인 ExtraGS를 제안합니다. 초기 재구성(reconstruction)에서 출발하여, 사각지대를 적극적으로 탐색하고 정보 이득을 극대화하기 위한 불확실성 안내 가상 카메라 샘플링 전략을 도입합니다. 이 샘플링 위치에서 렌더링된 시점은 확산 모델(diffusion model)을 사용해 정제하여 그럴듯한 해부 구조를 복원하고, 추가 최적화(optimization)를 안내하는 의사 관측(pseudo-observations)을 생성합니다. 생성된 내용이 신뢰할 수 있는 영역을 저하시키는 것을 방지하기 위해, 이러한 의사 관측을 통합할 때 신뢰도 가중 미세조정(fine-tuning) 전략을 채택합니다. 여러 공개 내시경 데이터셋(dataset)에 대한 광범위한 실험을 통해 ExtraGS가 외삽 아티팩트를 크게 줄이고 내시경 새로운 시점 합성에서 최첨단(state-of-the-art) 성능을 달성함을 보여줍니다.
ABot-3DWorld 0: 모든 3D 공간을 탐험하는 범용 월드 모델
ABot-3DWorld 0: A Universal World Model to Explore Any 3D Space
우리는 텍스트, 이미지, 비디오 입력을 고품질의 탐험 가능한 3D 세계로 변환하는 범용 멀티모달 3D 월드 모델인 ABot-3DWorld 0을 제안한다. 우리 프레임워크의 핵심은 통합된 공간 생성 기본 단위(SGP, Spatial Generative Primitive)로, 이는 고품질 파노라마와 공간 포인트 클라우드로 구성된 간결한 튜플이며 임의의 3D 공간을 효율적으로 기술한다. 멀티모달 입력은 먼저 이 기본 단위로 변환되고, 3D 일관성을 갖춘 파노라마 비디오 생성기가 계획된 궤적을 따라 기본 단위를 탐험하며, 마지막으로 파노라마 비디오 복원 엔진이 생성된 비디오를 깔끔하고 사실적인 3D Gaussian Splatting(3DGS) 세계로 변환한다. 이 파이프라인은 두 가지 입력 체계를 지원한다: 다시점 이미지 세트나 일반 영상과 같은 풍부한 입력은 관측된 장면을 기하학적으로 엄밀하게 복원하여 SGP로 변환되고, 단일 이미지나 문장은 생성적으로 창의적인 세계로 완성된다. 그 결과, 일반적인 3D 콘텐츠 생성을 위한 진입 장벽이 낮은 단일 엔진이 구현되며, 생성된 세계를 지리적 관심 지점에 연결함으로써 소비자 규모에서 지도 기반 공간 탐험을 가능하게 한다. 실험 결과, ABot-3DWorld 0은 오픈소스 방법들 중 최신 기술 수준을 달성하며, 풍부한 멀티모달 입력 조건에서 Marble보다 높은 장면 충실도를 보인다.
스타일-내용 분리를 위한 대조 증강 플로우 매칭
Contrastive-Augmented Flow Matching for Style-Content Disentanglement
내용과 스타일을 분리하는 표현 학습은 제어 가능한 생성과 조합적 일반화(compositional generalization)에 매우 중요하다. 그러나 주로 생성 목적함수로 학습된 확산(diffusion) 및 플로우 기반 모델은 종종 얽히거나 정렬되지 않은 요인을 생성한다. 이 간극을 해소하기 위해, 우리는 가역적 플로우 매칭(flow matching) 공식에 대조 정규화(contrastive regularization)를 통합하여 구조화된 내용-스타일 표현을 촉진하는 프레임워크인 Contrastive Augmented Flow Matching(CAtFM)을 제안한다. 중간 잠재 변수(latent)나 속도장(velocity field)을 제약하는 대신, 학습 중 예측된 종단점(endpoint)에 대조 감독(contrastive supervision)을 적용하여, 운반된 분포(transported distribution) 간 의미적 일관성을 강제하면서, 엄격히 순수하거나 완전히 요인분해된(factorized) 내용 및 스타일 표현을 가정하지 않고 분리(disentanglement)가 암묵적으로 나타나도록 한다. 주 실험은 CLIP 임베딩 공간에서 수행하였으며, 고정(frozen) DINO 및 ALIGN 인코더를 사용한 추가 검증도 진행하였다. 합성 데이터, 도메인 내(in-domain) 스타일, 그리고 실세계 벤치마크(ImageNet, WikiArt, DomainNet, DTD)에 걸쳐, CAtFM은 생성적 및 판별적(discriminative) 베이스라인 대비 내용 및 스타일 검색을 향상시키고, 임베딩 클러스터 분리를 강화하며, 더 강한 오픈셋(open-set) 견고성(robustness)을 달성한다. 전반적으로 CAtFM은 판별적 제약과 결정적(deterministic) 수송(transport)을 결합하는 간단한 방법을 제공하여, 분포 이동(distribution shift) 하에서 분리와 견고성을 개선한다.
Detangled: 특징이 풍부한 헤어 스트랜드의 생성, 편집 및 추론을 위한 프레임워크
Detangled: A Framework for Creating, Editing, and Inferencing Feature Rich Hair Strands
우리는 특징이 풍부한 헤어 스트랜드를 이해하고 생성하기 위한 프레임워크를 제시한다. 과학적·문화적 전문 지식을 바탕으로, 스트랜드 텍스처를 헤어 스트랜드 내부의 힘에 의해 형성되는 다양한 특유의 패턴(컬링, 스위치백, 트위스트 등)으로 정의한다. 우선, 자연적으로 발생하는 헤어 스트랜드 텍스처와 전단사 관계를 이루도록 설계된 새로운 5차원 매개변수 공간을 제안한다. 이 인코딩은 질적으로 접근하기 쉬워 사용자가 매개변수 공간에서 자신의 모발을 쉽게 찾을 수 있으며, 동시에 정량적으로 정밀하여 텍스처 입력으로부터 개별 스트랜드를 생성할 수 있다. 중요한 점은, 스트랜드 텍스처가 전체 스트랜드 방향과 독립적이어야 한다는 것이다. 스트랜드 텍스처를 전체 스트랜드 방향으로부터 분리하기 위해, 센터라인 기하구조를 식별하고 이를 활용하여 스트랜드를 정규 공간(스트랜드 텍스처 공간)으로 매핑한다. 복잡한 헤어 그룸을 깔끔하게 정제하여 스트랜드 텍스처를 전체 스타일(스타일 가이드로 매개변수화)로부터 분리하는 새로운 방법을 통해 센터라인을 구성한다. 텍스처에 대한 5가지 매개변수 설명에 따라 후보 스트랜드를 레이블링하도록 훈련된 별도의 신경망이 감독하는 생성적 인공지능 접근 방식을 통해, 우리의 텍스처 매개변수 설명을 따르는 새로운 스트랜드 생성을 가능하게 한다. 원하는 텍스처에 부합하는 새로운 스트랜드를 생성하는 능력은 텍스처 전이 또는 사용자 제공 입력을 통한 그룸 편집을 지원한다. 다양한 모발 유형에 대한 결과를 시연한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.