원문 초록
Existing industrial 3D garment meshes already cover most real-world clothing geometries, yet their texture diversity remains limited. To acquire more realistic textures, generative methods are often used to extract Physically-based Rendering (PBR) textures and materials from large collections of wild images and project them back onto garment meshes. However, most image-conditioned texture generation approaches require strict topological consistency between the input image and the input 3D mesh, or rely on accurate mesh deformation to match to the image poses, which significantly constrains the texture generation quality and flexibility. To address the challenging problem of non-isometric image-based garment texture generation, we construct 3D Garment Videos, a physically simulated, garment-centric dataset that provides consistent geometry and material supervision across diverse deformations, enabling robust cross-pose texture learning. We further employ Nano Banana for high-quality non-isometric image editing, achieving reliable cross-topology texture generation between non-isometric image-geometry pairs. Finally, we propose an iterative baking method via uncertainty-guided view selection and reweighting that fuses multi-view predictions into seamless, production-ready PBR textures. Through extensive experiments, we demonstrate that our feedforward dual-branch architecture generates versatile and spatially aligned PBR materials suitable for industry-level 3D garment design.
요약
비등방형(non-isometric) 이미지-의류 쌍 간의 위상·기하 불일치 문제를 해결하기 위해, 물리 시뮬레이션 기반 3D Garment Videos 데이터셋 구축, Nano Banana를 활용한 이미지 편집 증강, 불확실성 기반 반복적 베이킹(iterative baking) 알고리즘을 결합한 NI-Tex 프레임워크를 제안한다. 피드포워드 듀얼 브랜치 아키텍처를 통해 위상 차이가 큰 경우에도 산업 수준의 PBR 텍스처를 안정적으로 생성함을 광범위한 실험으로 검증하였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2511.18765v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
텍스처 공간 재질 디퓨전
Texture Space Material Diffusion
본 논문은 3D 객체를 위한 고품질 재질(material)을 전적으로 텍스처 공간에서 생성하는 방법을 제시한다. 우리는 텍스트 기반 재질 생성, 다중 시점(multi-view) 재질 생성, 재질 업스케일링을 위해 비디오 디퓨전 트랜스포머(video diffusion transformer)를 파인튜닝한다. 핵심 통찰은 이미지 공간에서 텍스처 공간으로의 알려진 투영(projection)을 활용함으로써, 디퓨전 프로세스가 임의의 지오메트리와 텍스처 파라미터화(texture parameterization)에 걸쳐 일반화될 수 있도록 하는 것이다. 이 접근 방식은 또한 비디오 및 다중 시점 디퓨전 모델에 내재된 시점 일관성(view consistency) 문제를 회피한다. 텍스처 공간은 2차원이기 때문에, 사전학습된 비디오 디퓨전 모델의 강력한 사전 분포(prior)를 재사용할 수 있다. 우리는 이 방법을 알려지지 않은 조명 하에서 촬영된 포즈가 지정된 사진으로부터의 고품질 재질 복원뿐 아니라, 텍스트 및 이미지 기반 재질 생성에도 적용한다. 본 방법은 고해상도(8K), 100개 이상의 입력 시점, 그리고 신경 재질 표현(neural material representation)으로 확장될 수 있다. 정량적 및 정성적 평가에서 우리는 재질 생성 및 복원에 대해 최신 기술 수준(state-of-the-art)의 결과를 보여준다.
ScaleBlind: 미지 스케일 하의 포인트 클라우드 보완
ScaleBlind: Point Cloud Completion under Unknown Scale
포인트 클라우드 보완은 부분 포인트 클라우드로부터 완전한 3D 형상을 추론하는 것을 목표로 하며, 재구성, 편집, 시뮬레이션과 같은 하위 작업의 기본 구성 요소이다. 최근 진전에도 불구하고, 기존 학습 기반 방법들은 학습 및 테스트 시 정규화 과정에서 종종 정답 형상 스케일(GT-scale)에 대한 접근을 암묵적으로 전제하며, 실제 추론에서는 이용할 수 없는 특권 정보를 가정한다. 이 숨겨진 가정은 실용적 배포를 제한하며, 오라클 GT-scale 단서가 제거되면 과도한 보완·미달 보완, 중첩 셸(shell) 같은 심각한 보완 아티팩트를 초래할 수 있다. 우리는 최근의 파운데이션 이미지 생성 모델이 객체와 기하를 이해하고 다시점(multi-view) 일관된 렌더링을 생성하는 강한 능력을 보여 GT-scale 없이 3D 보완에 유망한 사전(prior)이 될 수 있음을 관찰한다. 이 통찰에 영감을 받아, 우리는 파운데이션 모델 기반 이미지 보완을 활용해 부분 입력으로부터 전역 스케일을 직접 복원한 뒤 3D 보완을 충실히 생성하는 새로운 프레임워크 ScaleBlind를 제안한다. 구체적으로 ScaleBlind는 렌더링된 부분 뷰로부터 완전한 다시점 외관을 생성(dream out)하고, 추론된 결손 영역을 3D로 되올려(lift) 기하 인식(geometry-aware) 거친 보완을 얻은 다음, 원본 부분 포인트 클라우드와 강력한 교차 모달(cross-modal) 융합 네트워크로 이를 정제한다. 2D 파운데이션 사전을 활용함으로써, 본 방법은 추론 시 GT-scale 정보 접근이 필요 없다. 또한 2D 생성 사전과 3D 포인트 클라우드 보완 사이의 원칙적 연결고리를 제공한다. 광범위한 실험은 프레임워크의 우수성을 보여 주며, ScaleBlind를 포인트 클라우드 보완 과제의 새로운 최신(state-of-the-art) 방법으로 만든다.
GAPS: 희소 시점 3D 가우시안 스플래팅을 위한 생성적 능동 의사 시점 선택
GAPS: Generative Active Pseudo-view Selection for Sparse-View 3D Gaussian Splatting
희소한 관측 시점으로부터 새로운 시점을 합성하는 작업(novel view synthesis)은 심각한 불충분 제약(under-constrained) 문제입니다. 3D 가우시안 스플래팅(3DGS)은 실시간 렌더링을 가능하게 하지만, 적은 시점으로 학습(training)할 경우 부유물(floater), 깨진 기하학적 구조, 물 빠진 듯한 배경을 생성합니다. 본 논문에서는 추가적인 3DGS 감독을 위해 사전학습(pre-training)된 이미지 확산 모델(diffusion model)을 사용하여 기하학적으로 일관된 의사 시점(pseudo-view)을 생성하는 교차 최적화(alternating optimization) 프레임워크를 제안합니다. 생성 과정은 깊이 조건부 ControlNet, IP-Adapter 스타일 전이, LoRA 장면 적응 및 img2img 구조적 고정(anchoring)을 통해 제약됩니다. 또한 목표 시점을 선택할 때 재구성 정보성(reconstruction informativeness)과 생성 신뢰성(generative reliability) 간의 균형을 맞추는 생성적 능동 의사 시점 선택(GAPS)을 도입합니다. GAPS의 어닐링 스케줄(annealing schedule)은 학습 초기 보수적인 보간(interpolation)에서 후기 탐색적인 외삽(extrapolation)으로 전환하여 관측되지 않은 영역을 점진적으로 다룹니다. 이중 기준 승인 게이트와 불확실성 가중 손실(uncertainty-weighted loss)은 신뢰할 수 없는 생성을 배제하며, 밀도 적응형 DropGaussian은 복잡한 장면에서의 과적합(overfitting)을 완화합니다. 3/6/9개 시점의 LLFF 데이터셋에서 본 방법은 바닐라 3DGS 대비 평균 PSNR을 0.40/0.89/0.70 dB 향상시킵니다. 12/24개 시점의 Mip-NeRF 360에서는 각각 1.18/0.80 dB 향상됩니다. 모든 설정에서 SSIM이 향상되고 LPIPS가 감소합니다. 소거 연구(ablation)를 통해 능동 선택과 밀도 적응형 정규화(regularization)가 모두 필수적임을 입증하였으며, 오직 전체 제안 방법을 적용했을 때에만 비경계 360도 장면에서 의사 시점이 없는 기준선(baseline) 대비 LPIPS를 낮출 수 있습니다.
GAE: 3D 일관적 세계 생성을 위한 기하학 네이티브 잠재 공간 학습
GAE: Learning a Geometry-Native Latent Space for 3D-Consistent World Generation
우리는 인지(perception)와 생성(generation)을 위한 공통 기반으로서 컴팩트한 기하학 네이티브(geometry-native) 잠재(latent) 공간을 제안한다. 시각 생성기는 일관된 3D 장면을 유지하지 않으면서도 사실적인(photorealistic) 프레임을 만들 수 있다. 우리는 이것이 모델링(modeling) 문제일 뿐만 아니라 표현(representation) 문제이기도 하다고 주장한다. 생성기는 일반적으로 외관 중심(appearance-centric) 잠재를 진화시키는 반면, 인지 모델은 교차 시점(cross-view) 구조를 인코딩하는 의미적으로 풍부한 공간에서 기하학(geometry)을 복원한다. 기하학을 또 하나의 출력으로 추가하는 대신, 우리는 기하학 파운데이션 모델(geometry foundation model)의 특징을 생성용 컴팩트 잠재 공간으로 재매개변화(reparameterize)한다. 기하학 네이티브 오토인코더(geometry-native autoencoder, GAE)로 이러한 전환을 구현하며, GAE의 잠재는 외관, 깊이(depth), 카메라, 포인트 맵(point maps)으로 공동(jointly) 디코딩 가능하다. 이 상태(state)를 이용하면 표준 조건부 flow(conditional flow)가 다양한 생성 작업을 지원한다. 생성기와 학습(training) 프로토콜을 고정한 통제 비교에서 잠재를 GAE로 바꾸면 시각적 품질과 독립적으로 측정된 3D 일관성(coherence)이 모두 개선된다. RealEstate10K와 DL3DV에서 FVD는 각각 $12.7\%$와 $23.1\%$ 감소하고, RealEstate10K에서 카메라 궤적(trajectory) 오류는 절반으로 줄어든다. 종합하면, 이러한 결과는 잠재 공간이 기하학 일관(geometry-consistent) 생성의 핵심이며 인지와 생성 사이의 공유 인터페이스로 기능할 수 있음을 보여준다.
UMI3D: Simultaneous Focus Cross-Attention 라우팅을 통한 비제약 다중 이미지 입력 기반 견고한 3D 생성
UMI3D: Robust 3D Generation on Unconstrained Multi-Image Inputs via Simultaneous Focus Cross-Attention Routing
최근 3D 파운데이션 모델은 단일 이미지로부터 고품질 에셋을 생성할 수 있지만, 비제약 다중 이미지 입력에서는 성능이 현저히 저하되며, 종종 왜곡된 geometry, 과도하게 평활화된 텍스처, 혼란스러운 색상을 생성한다. 우리는 이러한 실패가 제한된 모델 용량에서 비롯된 것이 아니라, 단일 이미지 교차 어텐션(cross-attention)과 다중 이미지 설정 간의 불일치에서 기인한다고 주장한다. 기존 모델은 각 디노이징 단계에서 각 3D voxel이 어떤 이미지를 신뢰해야 하는지 결정할 체계적인 방법이 부족하다. 최근 단일 이미지 3D 파운데이션 모델을 재검토한 결과, 각 voxel을 가장 정보가 풍부한 이미지로 명시적으로 라우팅하는 것만으로도 불일치하는 다중 이미지 입력에서 강력한 성능을 발휘할 수 있음을 보인다. 이 관찰에 기반하여, 우리는 비제약 다중 이미지 3D 생성을 위해 교차 어텐션을 재구성하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 UMI3D를 제안한다. 핵심인 Simultaneous Focus Cross-Attention(SFC-Attn)은 각 디노이징 단계에서 모든 조건화 이미지를 활성화하면서, 각 voxel이 자신을 가장 잘 설명하는 단일 이미지에 집중할 수 있게 한다. 이 라우팅을 가능하게 하기 위해, 외부 매칭, 세그멘테이션, 또는 correspondence 모델 없이 voxel-이미지 친화도를 측정하는 모델 내재적(model-intrinsic) 지표인 Voxel Reference Score(VRS)를 도출한다. 광범위한 실험을 통해 UMI3D가 다양한 작업에서 단일 이미지 3D 생성 프레임워크의 다중 이미지 잠재력을 발휘함을 보여준다. 프로젝트 페이지: UMI3D-Project.github.io.
Totem: 월드 일관적 비디오 생성을 위한 객체 중심 3D 메모리
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
통합된 기저 세계에 그라운딩(grounding)된 일관성 있는 비디오를 생성하는 것은 여전히 주요한 과제이며, 특히 시점 변화가 큰 상황에서 기존 방식들은 개별 객체의 안정적인 표현을 유지하는 데 어려움을 겪는 경우가 많습니다. 이를 위해 본 연구에서는 월드 일관적(world-consistent) 비디오 생성을 위한 객체 중심 3D 메모리 프레임워크인 Totem을 소개합니다. Totem은 먼저 선택된 각 객체를 공유된 월드 좌표계에 정렬된 영속적(persistent) 3D 메모리로 표현하고 전용 상태를 할당합니다. 이러한 메모리를 기반으로, 타깃 뷰 합성을 위해 객체 메모리와 씬 지오메트리를 결합하는 듀얼 스트림 3D 컨디셔닝 아키텍처를 설계합니다. 나아가 이러한 객체 메모리는 3D 구조 정보로 모델(model)의 어텐션(attention)을 제약함으로써, 객체 표면과 상대적인 공간 배치를 보존합니다. 월드 생성 및 객체 중심 벤치마크(benchmark)에 대한 광범위한 실험을 통해, Totem이 까다로운 카메라 궤적 하에서도 더욱 객체 일관적인 3D 월드를 묘사하는 비디오를 생성하는 동시에 다양한 응용 분야를 지원함을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.