본 논문은 3D 객체를 위한 고품질 재질(material)을 전적으로 텍스처 공간에서 생성하는 방법을 제시한다. 우리는 텍스트 기반 재질 생성, 다중 시점(multi-view) 재질 생성, 재질 업스케일링을 위해 비디오 디퓨전 트랜스포머(video diffusion transformer)를 파인튜닝한다. 핵심 통찰은 이미지 공간에서 텍스처 공간으로의 알려진 투영(projection)을 활용함으로써, 디퓨전 프로세스가 임의의 지오메트리와 텍스처 파라미터화(texture parameterization)에 걸쳐 일반화될 수 있도록 하는 것이다. 이 접근 방식은 또한 비디오 및 다중 시점 디퓨전 모델에 내재된 시점 일관성(view consistency) 문제를 회피한다. 텍스처 공간은 2차원이기 때문에, 사전학습된 비디오 디퓨전 모델의 강력한 사전 분포(prior)를 재사용할 수 있다. 우리는 이 방법을 알려지지 않은 조명 하에서 촬영된 포즈가 지정된 사진으로부터의 고품질 재질 복원뿐 아니라, 텍스트 및 이미지 기반 재질 생성에도 적용한다. 본 방법은 고해상도(8K), 100개 이상의 입력 시점, 그리고 신경 재질 표현(neural material representation)으로 확장될 수 있다. 정량적 및 정성적 평가에서 우리는 재질 생성 및 복원에 대해 최신 기술 수준(state-of-the-art)의 결과를 보여준다.
본 논문은 미시적 스케일에서 기가픽셀(gigapixel) 이미지 합성을 위한 생성 프레임워크인 MicroZoom을 소개한다. 일반 사진과 소수의 소비자급 현미경 근접 촬영이 주어지면, MicroZoom은 실제 참조의 재질 특성에 그라운딩(grounding)된 매끄러운 기가픽셀 해상도 이미지를 합성하여, 객체 전체 공간 범위에 걸친 미시적 질감의 탐색적 시각화를 가능하게 한다. 우리의 목표는 정확한 재구성이 아니라 그럴듯한 합성이다. 최대 350배 배율의 전체 이미지, 참조 기반, 극한 스케일 초해상도(super-resolution)에 집중하며, 이 설정은 두 가지 주요 과제를 제기한다: (1) 모호한 재질 경계 근처의 고손실 입력으로부터 질감 특화 세부 정보를 복원하는 것, (2) 직물 직조와 같은 반복 기하학과 같은 올바른 대규모 패턴 구조를 수백만 개의 지역 예측에 걸쳐 보존하는 것. 이를 2단계 캐스케이드(cascaded) 설계로 해결한다. 첫 단계에서는 전역 패턴 일관성을 복원하고, 두 번째 단계에서는 지역 질감 세부를 정제하며, 모호한 경계에서 합성을 안내하기 위해 분할(segmentation) 마스크를 보조적으로 사용한다. 자체 촬영한 일상 사물 모음에서 접근법을 검증하고, 전역적으로 일관되고 재질적으로 그라운딩된 기가픽셀 영상을 입증한다.
투명 객체는 람베르시안(Lambertian) 가정을 위반하기 때문에 깊이 추정 및 3D 재구성에 근본적인 어려움을 제기하며, 이는 하위 태스크에서 심각한 기하학적 품질 저하로 이어진다. 이를 해결하기 위해, 본 논문에서는 하위 모델의 재학습 없이 투명 영역을 불투명하고 구조적으로 일관된 표현으로 변환하기 위해 시각 기반 모델(visual foundation models)을 활용하는 새로운 기하학 기반 전처리 프레임워크 \textbf{GHOST}를 제안한다. 구체적으로, 본 파이프라인은 (1) \textbf{TransDINO}와 (2) \textbf{TransDecomp}를 활용하여 마스크와 투명도 물리적 속성을 분리하고, (3) \textbf{DAF-Net}이 기하학적 곡률을 인코딩하기 위한 표면 법선 사전(surface normal priors)을 복원한다. 이후 (4) \textbf{GeoSemTransNet}이 이러한 다중 모달 단서를 통합하여 투명 객체의 3D 구조를 보존하는 텍스처가 풍부한 불투명 RGB 이미지를 합성한다. 광범위한 실험을 통해 본 방법이 필수적인 측광(photometric) 단서를 복원함으로써 투명 객체에 대한 최신 깊이 추정 및 재구성 모델의 정확도를 크게 향상시킴을 입증한다.
DreamCharacter-1은 사전학습된 3D 파운데이션 모델을 경량 사후 적응 방식으로 보정하여 프로덕션 수준의 고품질 3D 캐릭터를 생성하는 프레임워크로, 기하학적 선호도 최적화를 통한 세밀한 표면 디테일 향상, 고해상도 텍스처 합성, 추론 가속화의 세 가지 구성 요소로 이루어진다. 단일 참조 이미지로부터 정체성이 보존된 애니메이션 가능한 3D 캐릭터를 생성하며, 정량적·정성적 실험에서 기존 최신 캐릭터 생성 방법들을 일관되게 능가함을 입증했다.
VQGAN으로 사전학습된 이산 특징 코드북(HR prior)을 활용해, 저해상도 이미지의 특징을 왜곡 없는 고해상도 대응 특징에 매칭하는 FeMaSR 프레임워크를 제안한다. 불안정한 GAN 학습이나 명시적 참조 이미지 없이도, 의미론적 정규화와 잔차 단축 연결을 통해 기존 방법 대비 더 사실적인 초고해상도 이미지를 생성함을 실험으로 검증했다.
비등방형(non-isometric) 이미지-의류 쌍 간의 위상·기하 불일치 문제를 해결하기 위해, 물리 시뮬레이션 기반 3D Garment Videos 데이터셋 구축, Nano Banana를 활용한 이미지 편집 증강, 불확실성 기반 반복적 베이킹(iterative baking) 알고리즘을 결합한 NI-Tex 프레임워크를 제안한다. 피드포워드 듀얼 브랜치 아키텍처를 통해 위상 차이가 큰 경우에도 산업 수준의 PBR 텍스처를 안정적으로 생성함을 광범위한 실험으로 검증하였다.
3D 가우시안 스플래팅(3DGS)은 인상적인 실시간 렌더링 성능을 달성하지만, 고주파 텍스처 합성에 어려움을 겪는 경우가 많으며, 이 한계는 메모리 제약 및 율-왜곡 최적화(RDO) 파이프라인에서 더욱 심화된다. 이를 해결하기 위해, 우리는 기존 3DGS 표현의 렌더링 출력을 콘텐츠 및 시점에 따라 향상시키는 범용 2D 지각적 래퍼를 제안한다. 우리의 방법은 의사 랜덤 가우시안 노이즈를 조건으로 하는 경량 합성 네트워크를 활용하여 지각적으로 그럴듯한 텍스처를 합성한다. Wasserstein Distortion으로 지도 학습된 네트워크는 픽셀 단위의 재구성 충실도를 엄격히 강제하는 대신 지역 특징(feature) 통계를 일치시키도록 학습하여, 표준 프레임워크에 내재된 블러를 효과적으로 완화한다. 우리는 바닐라, 메모리 제약, RDO 3DGS 방법 전반에 걸쳐 플러그 앤 플레이 방식의 광범위한 적용 가능성을 입증한다. 종합적인 주관적·객관적 실험을 통해, 우리의 방법이 기존 기준 모델(model) 대비 파일 또는 모델 크기를 크게 줄이면서 우수한 지각적 품질을 달성함을 확인한다.