PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23169v1cs.CV

UltraTex: 3D 텍스처링을 위한 2K 멀티뷰 Diffusion

UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

고품질 텍스처 생성은 사실적이고 프로덕션 수준의 3D 에셋을 만드는 데 필수적이다. 최근 멀티뷰 디퓨전(multi-view diffusion) 방법은 이미지 가이드 3D 텍스처링에서 유망한 결과를 보여 왔지만, 일반적으로 512 또는 768과 같은 낮은 동작 해상도에 제한되어 고해상도 참조 이미지의 고주파 세부를 보존하기 어렵다. 이 패러다임을 2048 해상도로 스케일링(scaling)하는 것은 통합 멀티뷰 시퀀스가 212K 토큰(token)을 넘어 과도한 메모리와 지연(latency)을 유발하여 계산상 불가능하다. 본 논문에서는 고해상도 멀티뷰 디퓨전 기반 3D 텍스처링을 위한 효율적인 end-to-end 프레임워크인 UltraTex를 제안한다. 핵심 관찰은 객체 중심(object-centric) 멀티뷰 렌더링에 두 가지 주요 중복성 원천이 있다는 것이다: 배경으로 인한 시퀀스 중복과 전경(foreground) 내 희소(sparse) 토큰 상호작용이다. 이를 해결하기 위해 DiT backbone 이전에 배경 토큰을 제거하는 Background Token Dropping을 도입하고, 유지된 전경 시퀀스에 대한 어텐션(attention) 연산을 줄이는 Block-Sparse Attention을 제안한다. 재구성 아티팩트(artifact) 없이 전경만 효율적으로 추론(inference)하기 위해, 최종 고해상도 뷰의 품질을 보장하는 Foreground-Aware VAE Decoding을 추가로 설계한다. 2K 해상도 멀티뷰 디퓨전 학습(training)의 까다로운 데이터 요구를 충족하기 위해 268,000개 이상의 3D 에셋을 포괄하는 대규모 초고해상도 멀티뷰 렌더링 데이터셋(dataset) G-buffer TexVerse를 구축한다. 광범위한 실험 결과 UltraTex는 시각적으로 충실한 텍스처와 풍부한 미세 세부를 생성하면서 효율성을 크게 개선하며, 우리 데이터셋의 일반적인 샘플에서 기준선(baseline) 대비 $20.6\times$--$91.1\times$ 학습 속도 향상과 $22.3\times$--$74.6\times$ end-to-end 추론 속도 향상을 달성한다. 코드와 데이터는 https://yiboz2001.github.io/UltraTex 에 있다.