arXiv:2609.23169v1 cs.CV

UltraTex: 3D 텍스처링을 위한 2K 멀티뷰 Diffusion

UltraTex: Unleashing 2K Multi-View Diffusion for 3D Texturing

Yibo Zhang, Ze Yuan, Nan Cao, Li Zhang, Yan-Pei Cao, Yuan-Chen Guo, Rui Ma

제출 2026-09-22

한국어 초록

고품질 텍스처 생성은 사실적이고 프로덕션 수준의 3D 에셋을 만드는 데 필수적이다. 최근 멀티뷰 디퓨전(multi-view diffusion) 방법은 이미지 가이드 3D 텍스처링에서 유망한 결과를 보여 왔지만, 일반적으로 512 또는 768과 같은 낮은 동작 해상도에 제한되어 고해상도 참조 이미지의 고주파 세부를 보존하기 어렵다. 이 패러다임을 2048 해상도로 스케일링(scaling)하는 것은 통합 멀티뷰 시퀀스가 212K 토큰(token)을 넘어 과도한 메모리와 지연(latency)을 유발하여 계산상 불가능하다. 본 논문에서는 고해상도 멀티뷰 디퓨전 기반 3D 텍스처링을 위한 효율적인 end-to-end 프레임워크인 UltraTex를 제안한다. 핵심 관찰은 객체 중심(object-centric) 멀티뷰 렌더링에 두 가지 주요 중복성 원천이 있다는 것이다: 배경으로 인한 시퀀스 중복과 전경(foreground) 내 희소(sparse) 토큰 상호작용이다. 이를 해결하기 위해 DiT backbone 이전에 배경 토큰을 제거하는 Background Token Dropping을 도입하고, 유지된 전경 시퀀스에 대한 어텐션(attention) 연산을 줄이는 Block-Sparse Attention을 제안한다. 재구성 아티팩트(artifact) 없이 전경만 효율적으로 추론(inference)하기 위해, 최종 고해상도 뷰의 품질을 보장하는 Foreground-Aware VAE Decoding을 추가로 설계한다. 2K 해상도 멀티뷰 디퓨전 학습(training)의 까다로운 데이터 요구를 충족하기 위해 268,000개 이상의 3D 에셋을 포괄하는 대규모 초고해상도 멀티뷰 렌더링 데이터셋(dataset) G-buffer TexVerse를 구축한다. 광범위한 실험 결과 UltraTex는 시각적으로 충실한 텍스처와 풍부한 미세 세부를 생성하면서 효율성을 크게 개선하며, 우리 데이터셋의 일반적인 샘플에서 기준선(baseline) 대비 $20.6\times$--$91.1\times$ 학습 속도 향상과 $22.3\times$--$74.6\times$ end-to-end 추론 속도 향상을 달성한다. 코드와 데이터는 https://yiboz2001.github.io/UltraTex 에 있다.

원문 초록

High-quality texture generation is essential for creating realistic and production-ready 3D assets. Recent multi-view diffusion methods have shown promising results for image-guided 3D texturing, but they are typically constrained to low operating resolutions such as 512 or 768, making it difficult to preserve high-frequency details from high-resolution reference images. Scaling this paradigm to 2048 resolution is computationally prohibitive, as the unified multi-view sequence exceeds 212K tokens and incurs excessive memory and latency. In this paper, we present UltraTex, an efficient end-to-end framework for high-resolution multi-view diffusion-based 3D texturing. Our key observation is that object-centric multi-view renderings contain two major sources of redundancy: background-induced sequence redundancy and sparse token interactions within the foreground. To address them, we introduce Background Token Dropping, which removes background tokens before the DiT backbone, and Block-Sparse Attention, which reduces attention computation over the retained foreground sequence. To enable efficient foreground-only inference while avoiding reconstruction artifacts, we further design Foreground-Aware VAE Decoding to ensure the quality of the final high-resolution views. To satisfy the demanding data requirements of 2K-resolution multi-view diffusion training, we construct G-buffer TexVerse, a large-scale, ultra-high-resolution multi-view rendering dataset covering over 268,000 3D assets. Extensive experiments show that UltraTex generates visually faithful textures with rich fine-grained details, while substantially improving efficiency, achieving $20.6\times$--$91.1\times$ training speedup and $22.3\times$--$74.6\times$ end-to-end inference speedup over the baseline on common samples in our dataset. Code and data is at https://yiboz2001.github.io/UltraTex.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.23169v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03162v1cs.GR공통 태그 Computational Efficiency, Novel View Synthesis

Budgeted-GS: LOD 인자화를 통한 실시간 대규모 가우시안 스플래팅

Budgeted-GS: Real-Time Large-Scale Gaussian Splatting via Factoring LOD

3D 가우시안 스플래팅(3D Gaussian Splatting)은 실시간 렌더링으로 뛰어난 시각적 품질을 달성하지만, 도시 전체 규모에서는 적합하지 않습니다. 학습된 모델은 수백만 개의 기본 요소(primitives)와 수 기가바이트의 메모리를 차지하며, 소비자용 GPU에서 고품질로 실시간 렌더링하는 것은 여전히 요원합니다. 본 논문에서는 학습된 3DGS 모델을 모멘트 일치 집합체들의 다중 해상도 계층 구조인 인자화 트리(factoring tree)로 변환하는 사후 기법인 Budgeted-GS를 소개합니다. 몇 초간의 구축 과정 후, 단일 품질 매개변수가 각 시점마다 대상 기기의 메모리에 맞는 상세도(level of detail, LOD)를 선택하므로, 동일한 도시 규모 모델로 메모리 용량이 크게 다른 여러 GPU를 지원할 수 있습니다. 새로운 장면을 학습해야 할 때도 동일한 이론이 적용됩니다. 전체 크기의 모델을 키운 후 압축하는 대신, 예산 중심 학습(budget-centered training)은 장면에서 필요한 기본 요소의 수를 먼저 측정한 뒤 해당 크기로 모델을 직접 학습하여, 나중에 폐기될 기본 요소를 최적화하는 낭비를 방지합니다. 두 방법 모두 위상 공간(phase space)의 최적 수송(optimal transport)에서 유도된 예산-오차 법칙인 측정 가능한 용량 하한(capacity floor)에 기반하며, 최근의 커버링 정리(covering theorems)로 검증된 선택 규칙이 불필요한 기본 요소를 결정합니다. 이 하한선은 장면에 실제로 필요한 기본 요소 수와 안전하게 포기할 수 있는 기본 요소 수를 알려줍니다. 사전 등록된 프로토콜에 따라 13개의 공개 장면에서 용량 하한을 검증하고, 객체 장면부터 공식 도시 캡처 장면에 이르기까지 두 방법을 모두 적용하여 단일 소비자용 GPU에서 네이티브 1920x1080 해상도와 완전한 구면 조화 함수(full SH)로 실시간 렌더링을 구현합니다.

arXiv:2610.03192v1cs.CV공통 태그 Computational Efficiency, Novel View Synthesis

PocketSplat: 월드 공간 잠재 할당을 통한 모바일 가우시안 재구성

PocketSplat: Mobile Gaussian Reconstruction via World-Space Latent Allocatio

모바일 가우시안 재구성(Gaussian reconstruction)은 두 가지 요구사항을 만족해야 합니다. 재구성 모델(model)이 기기의 자원 제약 범위 내에서 실행되어야 하며, 생성된 가우시안 에셋이 다운스트림 모바일 활용에 적합한 표현 크기를 가져야 한다는 점입니다. 기존의 피드포워드(feed-forward) 가우시안 재구성 기법들은 흔히 입력 해상도와 뷰(view) 수에 의해 최종 개수가 암묵적으로 결정되는 조밀한 이미지 정렬 후보군을 디코딩합니다. 본 논문에서는 정해진 예산 내에서 모바일 가우시안 에셋을 구축하기 위한 피드포워드 프레임워크인 PocketSplat을 제안합니다. 정해진 출력 예산이 주어지면, PocketSplat은 예측된 월드 공간(world space)에서 기하학을 인식하는 조밀한 잠재 후보들을 구성하고, 국소 잠재 셀 전반에 정확한 정수 용량을 할당하며, 유지된 후보에 대해서만 완전한 가우시안 속성을 디코딩합니다. 셀 조건부 잠재 융합(cell-conditioned latent fusion)은 디코딩 전에 반복되는 다중 뷰 증거를 집약하고, 공간적 책임 디코딩(spatial responsibility decoding)은 국소 희소화(sparsification) 이후 가우시안 지지 영역(support)을 적응시킵니다. DL3DV 및 분포 외(OOD) 벤치마크 실험을 통해 피드포워드 가우시안 재구성 베이스라인 대비 강력한 품질-예산 간의 트레이드오프를 입증했습니다. Mip-NeRF 360에서 PocketSplat은 타깃 iPhone에서 직접 실행되어 배포 가능한 스트리밍 MVSplat 변형 모델보다 훨씬 빠르게 컴팩트하면서도 더 높은 품질의 가우시안 에셋을 구축합니다. 반면 네이티브 MVSplat 및 DepthSplat은 기기 메모리 예산을 초과합니다.

arXiv:2610.03202v1cs.CV공통 태그 Image Generation, Computational Efficiency

컨텍스트 기반 플로우 매칭: 효율적인 시각적 생성을 위한 플로우 모델의 적응형 스텝 선택

Contextual Flow Matching: Adaptive Step Selection in Flow Models for Efficient Visual Generation

플로우 매칭(Flow Matching)은 연속 시간 동역학을 통해 고품질의 시각적 생성을 가능하게 하지만, 여러 번의 순차적 함수 평가로 인해 여전히 추론(inference) 비용이 많이 듭니다. 기존의 가속 기법들은 함수 평가 횟수를 줄이지만 추가적인 학습(training) 부담을 초래하거나 품질을 저하시키며, 입력에 따른 변동성을 고려하지 못하는 경우가 많습니다. 본 논문에서는 프롬프트(prompt) 특징을 기반으로 매 생성마다 스텝 수를 적응적으로 선택하는 추론 시점 기법인 COFLOW를 제안합니다. 컨텍스트를 인식하는 COFLOW는 추론 효율성과 생성 충실도의 균형을 맞추는 비지도 보상(reward)을 통해 온라인으로 학습됩니다. 본 기법은 플러그 앤 플레이(plug-and-play) 방식으로 기반 생성 모델(generative model)을 재학습할 필요가 없습니다. 이는 이미지 및 비디오 생성으로 일반화되며, 지각적 및 의미론적 품질을 유지하면서 2.5배 이상의 속도 향상을 달성합니다. 나아가 표준 정칙성 조건 하에서 O(1/K) 전향 오일러(forward-Euler) 이산화 오차 한계를 확립하는 이론적 분석을 제공합니다.

arXiv:2610.03577v1cs.CV공통 태그 Image Generation, Computational Efficiency

소수 스텝 확산 트랜스포머에서 무엇을 캐싱할 것인가에 대한 재고: 솔버 인식 기반 대상 선택

Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection

확산 트랜스포머(Diffusion Transformer, DiT)는 고품질 이미지와 비디오를 생성할 수 있지만, 각 샘플을 생성하려면 비용이 많이 드는 DiT 순전파(forward pass)를 여러 번 수행해야 합니다. DiT 샘플링을 가속화하는 두 가지 일반적인 방법은 샘플링 스텝 수를 줄이는 스텝 증류(step distillation)와, 이전 스텝에서 계산된 텐서(tensor)를 재사용하여 일부 DiT 연산을 건너뛰는 캐싱(caching)입니다. 대부분의 캐싱 방법은 재사용할 텐서를 사전에 결정합니다. 증류 후에는 인접한 샘플링 스텝 간의 간격이 더 넓어집니다. 이렇게 더 넓어진 간격에 걸쳐 텐서를 재사용하면 더 많은 오차가 발생하므로, 무엇을 캐싱할지 선택하는 것이 특히 중요해집니다. 따라서 본 연구에서는 주어진 모델(model), 솔버(solver), 재사용 스케줄에 맞춰 캐싱할 텐서를 선택하는 방법인 AutoTarget을 소개합니다. AutoTarget은 캐시 재사용이 없는 소수의 실행을 사용하여 각 후보 텐서를 재사용할 때 발생하는 오차를 측정한 다음, 가장 낮은 오차를 보이는 후보를 선택합니다. 또한 단일 재사용 스텝의 오차가 최종 샘플에 어떤 영향을 미치는지 분석합니다. 오일러(Euler) 샘플링의 경우 동일한 궤적을 생성하는 캐시 대상을 식별하고, 저장된 솔버 업데이트가 그렇지 못할 수 있는 이유를 보여줍니다. 증류된 이미지 및 비디오 DiT에 대한 실험을 통해 최적의 캐시 대상이 모델, 이미지 해상도, 솔버에 따라 달라짐을 확인했습니다. AutoTarget은 DiT 연산 횟수와 유지되는 캐시 저장 공간을 줄입니다. 생성 품질은 캐싱을 사용하지 않은 해당 실행과 가깝게 유지됩니다. 테스트된 PixArt-LCM 및 FLUX.1-schnell 설정에서 AutoTarget의 캘리브레이션 순위는 별도로 분리된 캐시 실행의 순위와 일치합니다. 재현을 돕기 위해 핵심 구현체를 GitHub(https://github.com/wali1024-offical/AutoTarget)에 제공합니다.

arXiv:2610.00207v1cs.AR공통 태그 Image Generation, Computational Efficiency

ShatterQuant: 시스톨릭 트랜스포머 하드웨어 가속기에서 블록 단위 혼합 정밀도를 통한 균일 정밀도의 한계 극복

ShatterQuant: Breaking Uniform Precision with Block-Wise Mixed-Precision on a Systolic Transformer Hardware Accelerator

기존 가속기에서 텐서(tensor) 내 이종 정밀도 지원이 제한적이기 때문에, 신경망(neural network) 양자화(quantization)는 주로 텐서별 정밀도 할당에 국한되어 왔다. 본 논문에서는 가중치(weight) 프로젝션 블록에 독립적인 비트 폭을 할당함으로써 각 텐서 내에서 혼합 정밀도(mixed-precision) 양자화를 가능하게 하는 하드웨어-소프트웨어 통합 설계 프레임워크인 ShatterQuant를 제시한다. ShatterQuant는 정밀도 단위와 PE(Processing Element) 구성을 결합하여 각 정밀도가 유효 블록 높이를 결정하도록 한다. 우리는 (1) 블록 수준의 표준편차와 가중치 민감도를 기반으로 텐서 내 정밀도를 할당하는 하드웨어 인식 사후 학습(post-training) 기법, (2) 1/2/4/8비트 가중치 정밀도, 정밀도 의존적 PE 구성, 블록 재스케일링, 통합된 소프트맥스(softmax) 및 구분적 선형 비선형성을 지원하는 ShatterQuant 트랜스포머 가속기, 그리고 (3) 1 GHz로 동작하는 TSMC 16nm PDK 구현을 통해 모델-하드웨어 트레이드오프를 평가하여 1.5 TOPS, 760 GOPS/$mm^2$ 면적 효율, 2.8 TOPS/W 에너지 효율을 달성한 결과를 소개한다. DeiT 및 ImageNet-1K에서 ShatterQuant는 2비트 더 낮은 유효 비트 폭을 사용하면서도 최신 혼합 정밀도 기법 대비 $3.3\%$ 이내의 정확도를 달성하며, PixelDiT에 대해서는 동등한 수준의 생성 품질을 보여준다. ShatterQuant는 하드웨어-소프트웨어 통합 설계를 통해 미세한 텐서 내 혼합 정밀도가 어떻게 실현될 수 있는지를 입증한다.

arXiv:2609.27033v1cs.LG공통 태그 Image Generation, Computational Efficiency

WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습

WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps

보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.