Volumetric Disentanglement for 3D Scene Manipulation
원문 초록
Recently, advances in differential volumetric rendering enabled significant breakthroughs in the photo-realistic and fine-detailed reconstruction of complex 3D scenes, which is key for many virtual reality applications. However, in the context of augmented reality, one may also wish to effect semantic manipulations or augmentations of objects within a scene. To this end, we propose a volumetric framework for (i) disentangling or separating, the volumetric representation of a given foreground object from the background, and (ii) semantically manipulating the foreground object, as well as the background. Our framework takes as input a set of 2D masks specifying the desired foreground object for training views, together with the associated 2D views and poses, and produces a foreground-background disentanglement that respects the surrounding illumination, reflections, and partial occlusions, which can be applied to both training and novel views. Our method enables the separate control of pixel color and depth as well as 3D similarity transformations of both the foreground and background objects. We subsequently demonstrate the applicability of our framework on a number of downstream manipulation tasks including object camouflage, non-negative 3D object inpainting, 3D object translation, 3D object inpainting, and 3D text-based object manipulation. Full results are given in our project webpage at https://sagiebenaim.github.io/volumetric-disentanglement/
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용
LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.
MUFASA: 슬롯 어텐션을 위한 다층 프레임워크
MUFASA: A Multi-Layer Framework for Slot Attention
비지도 객체 중심 학습(OCL)은 시각적 장면을 개별적인 개체로 분해합니다. 슬롯 어텐션은 개별 객체를 슬롯이라 불리는 잠재 벡터로 표현하는 인기 있는 접근법입니다. 현재 방법들은 사전학습된 비전 트랜스포머(ViT)의 마지막 층에서만 이러한 슬롯 표현을 얻으며, 다른 층에 걸쳐 인코딩된 가치 있고 의미론적으로 풍부한 정보를 무시합니다. 이러한 잠재 의미 정보를 더 잘 활용하기 위해, 우리는 비지도 객체 분할을 위한 슬롯 어텐션 기반 접근법에 적용할 수 있는 가벼운 플러그 앤 플레이 프레임워크인 MUFASA를 소개합니다. 우리 모델은 ViT 인코더의 여러 특징 층에 걸쳐 슬롯 어텐션을 계산하여, 그 의미론적 풍부함을 완전히 활용합니다. 우리는 여러 층에서 얻은 슬롯을 통합된 객체 중심 표현으로 집계하는 융합 전략을 제안합니다. 기존 OCL 방법에 MUFASA를 통합하면 여러 데이터셋에서 분할 결과가 개선되어 새로운 최신 성능을 기록하며, 동시에 미미한 추론 오버헤드만으로 학습 수렴을 개선합니다.
RoHOI: Robustness Benchmark for Human-Object Interaction Detection
Car Object Counting and Position Estimation via Extension of the CLIP-EBC Framework
Coherence-Guided Pyramid Self-Contrastive Disentanglement for Adaptive IQ Signal Denoising in Synthetic Aperture Ultrasound
제약 기반 잠재 상태 모델링: 상충하는 제약 조건 하에서의 표현 학습에 대한 통합적 관점
Constrained latent state modeling: A unifying perspective on representation learning under competing constraints
시계열, 다중 모달(multimodal) 및 부분 관측 데이터로부터 잠재 표현(latent representation)을 학습하려면 잠재 상태가 어떤 정보를 유지하고 버리며 체계화해야 하는지 명시해야 합니다. 기존 접근 방식들은 이러한 요구 사항을 이종의 목적 함수를 통해 인코딩하므로, 방법론 간의 비교가 어렵고 학습된 표현을 해석하기 어렵게 만듭니다. 본 논문에서는 잠재 상태를 예측 충분성, 최소성, 시간적 일관성, 관측 호환성, 방해 요인에 대한 불변성, 구조적 제약이라는 6가지 상호보완적 특성으로 규정하는 개념적 프레임워크인 제약 기반 잠재 상태 모델링(CLSM)을 제안합니다. CLSM은 이러한 특성들을 이를 유도하는 데 사용되는 대리 목적 함수 및 이를 평가하는 데 사용되는 진단 지표와 분리하며, 제약 조건들의 조합이 허용 가능한 표현 공간을 제한함으로써 식별 가능성(identifiability)을 어떻게 향상시킬 수 있는지 명확히 합니다. 저자들은 이 공통 설계 공간을 통해 주요 표현 학습 계열들을 재해석하고, 제어된 합성 벤치마크를 통해 프레임워크를 설명합니다. 실험 결과는 예측 목표, 대리 공식화, 매개변수화 및 최적화에 따라 목적 함수들이 어떻게 서로 다른 잠재 체계화와 경험적 트레이드오프를 생성하는지 보여줍니다. 참조 구현체, 재현 가능한 실험, 문서 및 모델 카드가 포함된 관련 저장소: https://github.com/gwenole-quellec/clsm
토론
이 논문과 연결된 포럼 글이 아직 없습니다.