arXiv:2408.08000

MVInpainter: Learning Multi-View Consistent Inpainting to Bridge 2D and 3D Editing

Chenjie Cao, Chaohui Yu, Fan Wang, xiangyang xue, Yanwei Fu

제출 2024-08-15

원문 초록

Novel View Synthesis (NVS) and 3D generation have recently achieved prominent improvements. However, these works mainly focus on confined categories or synthetic 3D assets, which are discouraged from generalizing to challenging in-the-wild scenes and fail to be employed with 2D synthesis directly. Moreover, these methods heavily depended on camera poses, limiting their real-world applications. To overcome these issues, we propose MVInpainter, re-formulating the 3D editing as a multi-view 2D inpainting task. Specifically, MVInpainter partially inpaints multi-view images with the reference guidance rather than intractably generating an entirely novel view from scratch, which largely simplifies the difficulty of in-the-wild NVS and leverages unmasked clues instead of explicit pose conditions. To ensure cross-view consistency, MVInpainter is enhanced by video priors from motion components and appearance guidance from concatenated reference key&value attention. Furthermore, MVInpainter incorporates slot attention to aggregate high-level optical flow features from unmasked regions to control the camera movement with pose-free training and inference. Sufficient scene-level experiments on both object-centric and forward-facing datasets verify the effectiveness of MVInpainter, including diverse tasks, such as multi-view object removal, synthesis, insertion, and replacement. The project page is https://ewrfcas.github.io/MVInpainter/.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13860v1cs.CV공통 태그 Optical Flow Estimation, Novel View Synthesis

Make It Flow: 3D 가우시안 스플래팅(Gaussian Splatting) 장면에서 물 애니메이션하기

Make It Flow: Animating Water in 3D Gaussian Splatting Scenes

3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS)과 같은 명시적(explicit) 3D 장면 표현은 최근 고품질의 실시간 새로운 시점 합성(novel view synthesis)을 가능하게 했다. 그러나 이러한 방법들은 정적인 장면을 가정하기 때문에, 실제 환경에서 흔히 나타나는 동적 현상이 존재할 경우 사실감이 제한된다. 사람이나 차량과 같은 일관된 움직임은 캡처 및 재구성이 가능하지만, 흐르는 물과 같은 고주파(high-frequency) 효과는 조밀한 다중 시점(multi-view)과 고속 촬영이 불가능한 일반적인 캡처 조건에서는 다루기 어렵다. 본 논문에서는 동적 캡처나 물리 시뮬레이션 없이도 시각적으로 그럴듯한 움직임을 가능하게 하는, 정적 3DGS 장면 내 물 애니메이션 기법을 제시한다. 우리의 접근법은 참조 이미지 또는 모델 렌더링으로부터 2D 광학 흐름(optical flow)을 추정하고, 이를 일관된 3D 오일러(Eulerian) 운동장(motion field)으로 끌어올린다. 우리는 이 운동장을 가우시안 프리미티브(primitive)에 적용하여 변형시킴으로써 시간적으로 매끄럽게 반복되는(looping) 애니메이션을 생성하는, 시네마그래프(cinemagraph)에서 영감을 받은 알고리즘을 제안한다. 그 결과로 얻어지는 표현은 실시간 렌더링 성능을 유지하면서 지각적 사실감을 크게 향상시키고, 장면 내 자유 시점 탐색(free-viewpoint navigation)을 보존한다. 우리는 새롭게 촬영한 실제 환경(in-the-wild) 폭포 장면 데이터셋에서 본 방법을 평가하였으며, 동적 가우시안 스플래팅 및 3D 시네마그래프 생성 분야의 기존 연구와 비교하여 시각적 품질과 계산 효율성 모두에서 명확한 개선을 보여준다.

arXiv:2607.06565v2cs.CV공통 태그 Novel View Synthesis, 3D Generation

ELSA3D: 통합 3D 이해 및 생성을 위한 탄력적 의미론적 앵커링

ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation

통합 3D 파운데이션 모델은 단일 백본 내에서 3D 에셋을 생성하고 언어로 추론하는 것을 목표로 하지만, 텍스트-3D 상호작용은 여전히 대체로 암묵적인 수준에 머물러 있다. 기존 방법들은 텍스트와 3D 토큰을 평탄한 시퀀스로 연결하고 셀프 어텐션(self-attention)에 의존하여, 거친 구조적 단서와 세밀한 기하학적 세부사항을 하나의 미분화된 표현으로 축소해 버린다. 우리는 일치하는 추상화 스케일에 맞춰 언어 및 기하학적 추론을 공동으로 구조화하는 탄력적 의미론적 앵커링(elastic semantic anchoring)을 통해 이 문제를 해결하는 통합 3D 모델인 ELSA3D를 소개한다. ELSA3D는 스케일 인식 옥트리 토크나이저를 사용해 기하학적 구조를 표현하며, 희소 크로스 모달 단위인 앵커 토큰(Anchor Tokens)을 도입한다. 이 토큰은 의미론적 단서를 선택하고, 이를 가장 관련성이 높은 3D 스케일로 라우팅하며, 스케일별 기하학적 증거를 검색하고, 융합된 신호를 통합 표현에 다시 기록함으로써 상호작용을 희소하면서도 정밀하게 유지한다. 경량 블록별 라우터는 계산과 추론 모두를 탄력적으로 만들어, 어떤 텍스트 토큰이 어느 기하학적 스케일에서 앵커를 인스턴스화할지 선택함으로써 정렬이 가장 필요한 곳에 크로스 모달 용량이 집중되도록 한다. ELSA3D는 이미지-to-3D 생성, 텍스트-to-3D 생성, 3D 캡셔닝 전반에 걸쳐 최고 수준(state-of-the-art)의 성능을 달성하며, 동일 모델의 비탄력적 버전 대비 FLOPs와 추론 지연 시간을 약 절반으로 줄이면서도 가장 강력한 통합 기준선을 능가한다.

arXiv:2609.27779v1cs.CV공통 태그 Novel View Synthesis, 3D Generation

구조화된 패치 잠재 흐름을 활용한 융합 인지 직접 3D 가우시안 생성

Fusion-Aware Direct 3D Gaussian Generation with Structured Patch Latent Flows

클래스 조건부(class-guided) 3D 객체 생성은 지능형 콘텐츠 제작, 가상 환경, 디지털 에셋 디자인에서 중요합니다. 3D 가우시안 스플래팅(3DGS)은 명시적이고 렌더링 효율적인 표현 방식을 제공하지만, 가우시안 프리미티브(Gaussian primitive)가 순서가 없고 크기가 가변적이며 국소적으로 밀집되어 있고 렌더링에 매우 민감하기 때문에 3D 가우시안 객체를 직접 생성하는 것은 어렵습니다. 기존의 3DGS 생성 방법들은 주로 다중 뷰 합성, 재구성, 또는 승격된(lifted) 2D 사전 확률(prior)에 의존하여, 3D 가우시안 객체의 본질적인 구조적 분포를 모델링하기보다는 관측된 뷰의 정보를 주로 융합합니다. 본 논문에서는 렉티파이드 플로우(rectified flow)를 통해 클래스 조건부 3DGS를 직접 생성하기 위한 융합 인지(fusion-aware) 계층적 가우시안 패치 표현을 제안합니다. 불규칙한 가우시안 집합은 정규 국소 패치로 분해되어 구조화된 토큰으로 인코딩됩니다. 그 결과 형성된 계층적 잠재 공간(latent space)은 전역 클래스 의미론(semantics), 패치 수준의 기하학 및 외형, 공간적 대응성, 렌더링 민감 단서들을 융합합니다. 이를 바탕으로, 패치 위치 조건화, 전역-국소 결합 속도 예측, 밀도 인지 속도 가중치를 갖춘 구조 인지 렉티파이드 플로우 모델을 설계하여 수 초 내에 클래스 조건부 3DGS 객체를 잠재 공간에서 직접 생성할 수 있도록 합니다. 또한 렌더링 피드백 융합 전략을 통해 잠재 흐름 학습을 디코딩된 다중 뷰 렌더링 품질과 추가로 정렬합니다. 실험 결과에 따르면, 제안된 방법은 기준선 잠재 생성 모델들에 비해 더 일관된 기하학적 구조, 더 선명한 국소 세부 표현, 더 뛰어난 다중 뷰 일관성을 갖춘 3D 가우시안 객체를 생성합니다. 소거 연구(ablation study)를 통해 전반적인 실용적 샘플링 효율성을 유지하면서 계층적 정보 융합, 전역-국소 결합, 밀도 인지 지도(supervision), 렌더링 피드백 학습의 기여도를 확인했습니다.

arXiv:2607.12752v2cs.CV공통 태그 Novel View Synthesis, 3D Generation

Hallo4D: 일관적 시공간 생성을 위한 멀티모달 환각 완화

Hallo4D: Multi-Modal Hallucination Mitigation for Consistent Spatio-Temporal Generation

최근 3D 생성의 발전으로 인상적인 시각적 합성이 가능해졌지만, 기존 방법들은 기하학적 일관성을 위한 명시적 메커니즘 없이 2D 확산(diffusion) 감독에 의존하는 경우가 많아, 중복된 구조나 어긋난 기하학과 같은 공간적 환각을 유발한다. 4D 생성에서는 시점과 시간적 진화에 걸친 일관성 유지가 추가적인 도전을 불러오며, 여기에는 지터(jitter), 정체성 깜빡임(identity flicker), 구조적 드리프트(structural drift) 등이 포함되어 이러한 문제가 더욱 심각해진다. 우리는 3D 및 4D 콘텐츠 생성에서 시공간적 환각을 완화하기 위한 통합적이고 모델 불가지(model-agnostic) 프레임워크인 Hallo4D를 제안한다. Hallo4D는 생성-탐지-보정(generation-detection-correction) 패러다임을 도입하며, 대규모 멀티모달 언어 모델(LMM)을 활용하여 다중 시점(multi-view) 및 다중 프레임 렌더링으로부터 공간적·시간적 불일치를 식별하고 요약한다. 이러한 통찰은 합의 기반 이미지 공간 일관성 최적화를 이끌며, LMM 기반 선택기가 다중 모델 투표를 통해 후보 보정을 평가하고, 재학습이나 아키텍처 수정을 요구하지 않는다. 시간적 일관성과 최적화 효율을 더욱 향상시키기 위해 Hallo4D는 모션 인식 키프레임 샘플링, LMM 안내 초기화, 외형 정렬을 통합한다. 또한 어려운 시점에서의 견고성을 높이기 위해 노출 인식 최적화와 가시성 가지치기를 도입한다. 광범위한 실험을 통해 Hallo4D가 다양한 3D 및 4D 생성 설정에서 강력한 베이스라인을 지속적으로 능가함을 보여주며, 일관성 인식 콘텐츠 생성을 위한 확장 가능하고 일반화 가능한 해법을 제공한다.

arXiv:2606.24206v1cs.CV공통 태그 Novel View Synthesis, 3D Generation

다중 시점 일관성을 갖는 구성적 3D 생성을 위한 포괄적 상호작용 충돌

Inclusive Interactive Collisions for Multi-View Consistent Compositional 3D Generation

3D 생성 분야의 최근 혁신은 텍스트-이미지 확산 모델(text-to-image diffusion model)의 발전과 함께 눈에 띄게 진보하였다. 그러나 기존 방법들은 두 가지 실용적인 과제를 안고 있다. (1) 주로 단일 3D 객체를 생성하는 데 집중하며, 합리적인 상호작용 내 가우시안 프리미티브(Gaussian primitives) 모델링의 부재로 인해 다중 객체 구성적 3D 에셋 생성에 어려움을 겪는다. (2) Score Distillation Sampling이 본질적으로 각 단일 시점에서 수행되기 때문에 3D 최적화 과정에서 교차 시점 불일치(cross-view inconsistency)가 발생하며, 이는 필연적으로 교차 시점 환각(hallucination)으로 이어진다. 위 문제들을 해결하기 위해, 우리는 합리적인 상호작용을 갖춘 다중 시점 일관적 구성적 3D 에셋을 생성하는 새로운 최적화 기반 방법인 I2C-3D를 제안한다. 구체적으로, 가우시안 프리미티브가 합리적인 상호작용 영역에 자연스럽게 나타나도록 유도하는 포괄적 상호작용 충돌(Inclusive Interactive Collisions) 전략을 제안하여, 구성적 장면 내 객체들이 물리적으로 그럴듯하고 시각적으로 일관된 방식으로 상호작용하도록 보장한다. 또한, 다중 시점 일관성을 강화하기 위해, 사전학습된 확산 모델에서 시점 전반에 걸친 인스턴스 토큰(instance token)과 공간 토큰(spatial token)의 어텐션 맵을 조절하여 다중 시점 일관성 사전정보와 레이아웃 사전정보를 증류하는 다중 시점 적응적 Score Distillation Sampling을 고안하였다. 위의 정교한 설계들 덕분에, I2C-3D는 고품질의 다중 시점 일관적 구성적 3D 에셋을 생성할 뿐만 아니라 유연한 3D 편집을 지원하여 복잡한 장면 생성을 용이하게 한다. 광범위한 실험을 통해 I2C-3D가 생성 품질과 다중 시점 일관성 면에서 기존 방법들을 능가함을 입증한다.

arXiv:2606.24301v1cs.CV공통 태그 Novel View Synthesis, 3D Generation

MM-TRELLIS: 자율주행에서 포인트 클라우드 기반 멀티모달 3D 차량 생성

MM-TRELLIS: Point-Cloud Guided Multi-Modal 3D Vehicle Generation in Autonomous Driving

자율주행 장면에서 사실적인 3D 차량 모델을 복원하는 것은 학습 데이터 합성 및 시뮬레이션 환경 구축에 매우 중요합니다. 그러나 기존 차량 생성 방법의 대부분은 멀티모달 센서(즉, 다중 시점 이미지와 LiDAR 포인트 클라우드)를 충분히 활용하지 못하며, 신경 렌더링 기반 재구성에 의존하여 낮은 품질의 메시를 생성합니다. 최근 네이티브 3D 생성 모델이 상당한 발전을 이루었지만, 임의의 다중 시점 입력을 위해 설계되지 않았으며 실제 주행 이미지에 어려움을 겪는 경우가 많습니다. 본 연구에서는 자율주행 데이터셋의 LiDAR와 이미지 센서를 네이티브 3D 생성 모델에 통합하여 실제 환경에서의 3D 차량 생성을 위한 TRELLIS의 멀티모달 버전인 MM-TRELLIS를 제안합니다. 구체적으로, 다중 시점 이미지는 조건부 입력으로 순환 적용되며, LiDAR 포인트 클라우드는 기하학적 정확도와 교차 시점 일관성을 보장하기 위한 테스트 시점 가이던스를 제공합니다. 디노이징 과정에서 먼저 가이던스 포인트 클라우드를 모델 사전 분포에 정렬한 후, 생성된 기하 구조와 가이던스 포인트 클라우드 간의 일관성을 강제합니다. 마지막으로, 부유 잡음(floater)을 억제하고 깔끔한 메시를 생성하기 위해 3D Gaussian Splatting의 불투명도에 기반한 복셀 필터링 전략을 도입합니다. Waymo 데이터셋에 대한 포괄적인 실험을 통해 우리의 방법이 고충실도 3D 차량 생성에서 기존 방법들보다 우수한 성능을 발휘함을 입증합니다. 코드는 https://github.com/HongliXiao/MM-TRELLIS 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.