Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter
원문 초록
Conventional CNNs for texture synthesis consist of a sequence of (de)-convolution and up/down-sampling layers, where each layer operates locally and lacks the ability to capture the long-term structural dependency required by texture synthesis. Thus, they often simply enlarge the input texture, rather than perform reasonable synthesis. As a compromise, many recent methods sacrifice generalizability by training and testing on the same single (or fixed set of) texture image(s), resulting in huge re-training time costs for unseen images. In this work, based on the discovery that the assembling/stitching operation in traditional texture synthesis is analogous to a transposed convolution operation, we propose a novel way of using transposed convolution operation. Specifically, we directly treat the whole encoded feature map of the input texture as transposed convolution filters and the features' self-similarity map, which captures the auto-correlation information, as input to the transposed convolution. Such a design allows our framework, once trained, to be generalizable to perform synthesis of unseen textures with a single forward pass in nearly real-time. Our method achieves state-of-the-art texture synthesis quality based on various metrics. While self-similarity helps preserve the input textures' regular structural patterns, our framework can also take random noise maps for irregular input textures instead of self-similarity maps as transposed convolution inputs. It allows to get more diverse results as well as generate arbitrarily large texture outputs by directly sampling large noise maps in a single pass as well.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
특징 매칭과 암묵적 고해상도 사전을 활용한 실세계 블라인드 초고해상도
Real-World Blind Super-Resolution via Feature Matching with Implicit High-Resolution Priors
실세계 이미지 초고해상도(SR)의 핵심 과제는 다운샘플링, 노이즈, 압축 등 복잡하고 알 수 없는 열화가 포함된 저해상도(LR) 이미지에서 손실된 세부 정보를 복원하는 것이다. 대부분의 기존 연구들은 이미지 공간에서 이러한 손실 세부 정보를 복원한다. 자연 이미지의 높은 다양성에 대응하기 위해, 기존 방법들은 훈련이 어렵고 아티팩트가 발생하기 쉬운 불안정한 GAN에 의존하거나, 대개 구하기 어려운 고해상도(HR) 이미지의 명시적 참조에 의존한다. 본 연구에서는 훨씬 더 압축된 특징 공간에서 사실적인 HR 이미지를 복원하는 Feature Matching SR(FeMaSR)을 제안한다. 이미지 공간 방법들과 달리, FeMaSR은 사전학습된 HR 사전(prior) 내에서 왜곡된 LR 이미지 특징을 왜곡 없는 HR 대응 특징에 매칭하고, 매칭된 특징을 디코딩하여 사실적인 HR 이미지를 복원한다. 구체적으로, HR 사전은 이산 특징 코드북과 그에 연결된 디코더로 구성되며, Vector Quantized Generative Adversarial Network(VQGAN)을 통해 HR 이미지로 사전학습된다. 특히, 재구성 이미지 품질을 향상시키기 위해 VQGAN에 새로운 의미론적 정규화를 도입한다. 특징 매칭을 위해, 여러 Swin 트랜스포머 블록으로 구성된 LR 인코더로 LR 특징을 추출한 후, 단순한 최근접 이웃 전략으로 사전학습된 코드북에 매칭한다. 특히, LR 인코더에 디코더로의 잔차 단축 연결을 추가하여 특징 매칭 손실의 최적화에 핵심적인 역할을 하며, 가능한 특징 매칭 오류를 보완하는 데도 도움을 준다. 실험 결과, 본 접근법이 기존 방법들보다 더 사실적인 HR 이미지를 생성함을 보여준다. 코드는 https://github.com/chaofengc/FeMaSR 에서 공개되어 있다.
Hunyuan3D 2.5: Towards High-Fidelity 3D Assets Generation with Ultimate Details
TexTailor: Customized Text-aligned Texturing via Effective Resampling
UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes
TetWeave: Isosurface Extraction using On-The-Fly Delaunay Tetrahedral Grids for Gradient-Based Mesh Optimization
Generative AI for Character Animation: A Comprehensive Survey of Techniques, Applications, and Future Directions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.