단일 이미지로부터 3D 객체를 복원하는 것은 컴퓨터 비전(CV) 분야의 핵심 연구 주제입니다. 주요 과제는 3D 구조를 완성하기 위한 중요한 시점(viewpoint)의 정보가 부족하다는 점입니다. 추가 시점 이미지를 사용하면 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 확산(diffusion) 기반 단일 뷰 3D 복원 원리에 추가 시점을 통합할 수 있는 메커니즘은 존재하지 않습니다. 본 연구에서는 하나의 추가 이미지를 지원받아 확산 기반 단일 뷰 3D 객체 복원을 테스트 시점 데이터에 적응시키는 프레임워크인 ASV3D를 제안하여 이 문제를 해결합니다. 우리는 두 가지 적응 전략을 도입합니다: (i) 재학습 없이 보조 이미지를 활용하여 객체의 복원 품질을 향상시키는 제로샷(zero-shot) 적응 기법과, (ii) 대조 학습(contrastive learning)을 통해 시각적 충실도와 시점 간 일관성을 더욱 향상시키는 최적화(optimised) 적응 기법입니다. 벤치마크 및 실제 데이터셋 모두에서 두 가지 최첨단 확산 기반 단일 뷰 3D 복원 파이프라인을 개선하기 위해 ASV3D를 적용했습니다. 실험 결과는 우리의 접근 방식이 제약 없는 다중 뷰 입력 환경에서 복원 정확도와 강건성을 일관되게 향상시키며, 정량적 지표와 사용자 선호도 모두에서 베이스라인을 능가함을 입증합니다. 우리는 코드와 실제 객체 데이터셋을 프로젝트 페이지(https://github.com/YNhuHuynh/ASV3D/tree/main)에 공개합니다.
피드포워드 3D 모델 학습 시 기하학적 지도 학습의 비용과 광도측정 자기지도 학습의 모호성 문제를 해결하기 위해, 동결된 비전-언어(vision-language) 모델의 표현을 다시점 간 일관성 신호로 활용하는 보조 목적 함수 VLRC(Vision-Language Reprojection Consistency)를 제안한다. VLRC는 추가 3D 어노테이션 없이 예측된 3D 구조를 통해 조밀한 비전-언어 특징을 재투영하여 일관성을 강제하며, 실내외 벤치마크에서 깊이 및 카메라 추정 정확도와 제로샷 개방형 어휘 3D 의미론적 분할 성능을 향상시켰다.
SAM의 2D 중심 설계로 인한 과분할(over-segmentation)과 뷰 간 불일관성 문제를 해결하기 위해, DINOv2 의미론적 임베딩, DepthAnythingV2 단안 깊이 추정, LoG 엣지 맵을 결합한 Multi-Cue-Guided Mask Merging(MCM) 프레임워크를 제안한다. 정제된 2D 마스크를 교차 뷰 매칭으로 전역 일관성을 확보한 후 3D Gaussian Splatting 특징 필드로 리프팅함으로써, 기존 방법 대비 분할 안정성과 교차 뷰 일관성을 크게 향상시켰다.
3D Gaussian Splatting(3DGS)의 다중 뷰 스타일화에서 뷰별 2D 특징 매칭이 불안정한 스타일 할당과 시점 간 불일치를 낳는 문제를, 반균형(semi-balanced) 최적 수송(optimal transport)과 열 용량(column-capacity) 제약으로 지역 스타일 매칭을 제어하는 용량 제어형 프레임워크로 해결한다. 교차 뷰 매칭 가이던스와 기하학적 정규화를 더해 실험에서 다중 뷰 스타일 일관성과 표현력을 크게 높이면서 장면의 의미 구조를 보존한다.
Generating complete 3D objects under partial occlusions (i.e., amodal scenarios) is a practically important yet challenging problem, as large portions of object geometry are unobserved in real-world scenarios. Existing approaches either operate directly in 3D, which ensures geometric consistency but often lacks generative expressiveness, or rely on 2D amodal completion, which provides strong appearance priors but does not guarantee reliable 3D structure. This raises a key question: how can we achieve both generative plausibility and geometric coherence in amodal 3D modeling? To answer this question, we introduce GENA3D (GENarative Amodal 3D), a framework that integrates learned 2D generative priors with explicit 3D geometric reasoning within a conditional 3D generation paradigm. The 2D priors enable the model to plausibly infer diverse occluded content, while the 3D representation enforces multi-view consistency and spatial validity. Our design incorporates a novel View-Wise Cross-Attention for multi-view alignment and a Stereo-Conditioned Cross-Attention to anchor generative predictions in 3D relationships. By combining generative imagination with structural constraints, GENA3D generates complete and coherent 3D objects from limited observations without sacrificing geometric fidelity. Experiments demonstrate that our method outperforms existing approaches in both synthetic and real-world amodal scenarios, highlighting the effectiveness of bridging 2D priors and 3D coherence in generating plausible and geometrically consistent 3D structures in complex environments.