단일 시점 3D 재구성(single-view 3D reconstruction)은 단일 입력 이미지에서 결측된 정보로 인해 컴퓨터 비전(CV) 분야에서 매우 도전적인 과제입니다. 생성 모델(generative model) 기반 접근 방식은 풍부한 대규모 데이터셋으로부터 학습(training)된 데이터 기반 사전 확률(prior) 덕분에 단일 이미지로부터 그럴듯한 3D 객체를 생성할 수 있습니다. 그러나 그럴듯한 생성이 특정 입력 객체의 기하학적 형태(geometry)와 외형에 대한 충실도(fidelity)를 보장하지는 않습니다. 인간 시각의 객체 인식에서 영감을 받아, 본 논문에서는 사전학습된 인식 모델을 경량 정렬 모듈을 통해 다중 시점 확산 샘플링에 유도(guide)하는 프레임워크인 OPERA를 제안합니다. 이 모듈들은 생성 모델과 인식 모델이 모두 동결(frozen)된 상태에서 독립적으로 학습되므로, 결합 융합 학습 없이도 추론(inference) 시 여러 신호를 결합할 수 있습니다. 저자들은 Google Scanned Objects 및 OmniObject3D의 하위 집합을 사용하여 두 가지 단일 시점 3D 재구성 기준선(baseline)에서 OPERA를 평가합니다. 주요 기준선에서 결합된 가이던스는 비가이드 재구성에 비해 평균 Chamfer Distance를 각각 30.4%와 24.8% 감소시킵니다. 또한 본 연구의 방법을 최신 이미지-to-3D 모델들과 비교합니다. 아울러 설계 선택과 데이터셋 및 백본에 걸친 그 효과에 대한 심층 분석을 제공합니다. 프로젝트 페이지는 https://opera-3d.github.io/ 에서 확인할 수 있습니다.
고품질 텍스처 생성은 사실적이고 프로덕션 수준의 3D 에셋을 만드는 데 필수적이다. 최근 멀티뷰 디퓨전(multi-view diffusion) 방법은 이미지 가이드 3D 텍스처링에서 유망한 결과를 보여 왔지만, 일반적으로 512 또는 768과 같은 낮은 동작 해상도에 제한되어 고해상도 참조 이미지의 고주파 세부를 보존하기 어렵다. 이 패러다임을 2048 해상도로 스케일링(scaling)하는 것은 통합 멀티뷰 시퀀스가 212K 토큰(token)을 넘어 과도한 메모리와 지연(latency)을 유발하여 계산상 불가능하다. 본 논문에서는 고해상도 멀티뷰 디퓨전 기반 3D 텍스처링을 위한 효율적인 end-to-end 프레임워크인 UltraTex를 제안한다. 핵심 관찰은 객체 중심(object-centric) 멀티뷰 렌더링에 두 가지 주요 중복성 원천이 있다는 것이다: 배경으로 인한 시퀀스 중복과 전경(foreground) 내 희소(sparse) 토큰 상호작용이다. 이를 해결하기 위해 DiT backbone 이전에 배경 토큰을 제거하는 Background Token Dropping을 도입하고, 유지된 전경 시퀀스에 대한 어텐션(attention) 연산을 줄이는 Block-Sparse Attention을 제안한다. 재구성 아티팩트(artifact) 없이 전경만 효율적으로 추론(inference)하기 위해, 최종 고해상도 뷰의 품질을 보장하는 Foreground-Aware VAE Decoding을 추가로 설계한다. 2K 해상도 멀티뷰 디퓨전 학습(training)의 까다로운 데이터 요구를 충족하기 위해 268,000개 이상의 3D 에셋을 포괄하는 대규모 초고해상도 멀티뷰 렌더링 데이터셋(dataset) G-buffer TexVerse를 구축한다. 광범위한 실험 결과 UltraTex는 시각적으로 충실한 텍스처와 풍부한 미세 세부를 생성하면서 효율성을 크게 개선하며, 우리 데이터셋의 일반적인 샘플에서 기준선(baseline) 대비 $20.6\times$--$91.1\times$ 학습 속도 향상과 $22.3\times$--$74.6\times$ end-to-end 추론 속도 향상을 달성한다. 코드와 데이터는 https://yiboz2001.github.io/UltraTex 에 있다.
고품질 3D 차량 에셋은 자율주행 시뮬레이션에 필수적이다. 다중 뷰 확산(diffusion) 기반 패러다임은 제어 가능한 단일 이미지 복원을 가능하게 하지만, 일반적으로 제한된 시점만을 생성하고 뷰 간 기하학적 불일치를 보여 실제 환경에서의 복원 충실도를 저하시킨다. 본 연구에서는 임의 개수의 3D 일관성 다중 뷰 이미지를 합성하여 실제 이미지에 대한 확장 가능한 단일 뷰 3D 자동차 생성 프레임워크인 3DCarGen을 소개한다. 구체적으로, 단일 이미지를 입력으로 받아 고정된 시점에서의 이미지 집합을 먼저 합성한다. 이 이미지들은 피드포워드 복원 모델에 입력되어 3D Gaussian Splatting 기반의 거친(coarse) 3D 표현을 생성한다. 이 명시적 3D 사전 정보(3D prior)를 조건으로, 다중 뷰 확산 모델이 임의의 카메라 시점에서 3D 일관성 이미지를 생성한다. 나아가 합성된 밀집 뷰로부터 상세하고 일관된 3D 차량 모델을 복원하기 위해 색상-노멀 결합 최적화를 통합한 고속 메시 복원 알고리즘을 확장한다. 합성 및 실제 데이터셋에 대한 광범위한 실험을 통해 본 접근법이 기존 방법 대비 견고한 기하학적 일관성과 복원 충실도를 달성함을 입증한다. 코드와 모델은 공개될 예정이다.