GANosaic: Mosaic Creation with Generative Texture Manifolds
원문 초록
This paper presents a novel framework for generating texture mosaics with convolutional neural networks. Our method is called GANosaic and performs optimization in the latent noise space of a generative texture model, which allows the transformation of a content image into a mosaic exhibiting the visual properties of the underlying texture manifold. To represent that manifold, we use a state-of-the-art generative adversarial method for texture synthesis, which can learn expressive texture representations from data and produce mosaic images with very high resolution. This fully convolutional model generates smooth (without any visible borders) mosaic images which morph and blend different textures locally. In addition, we develop a new type of differentiable statistical regularization appropriate for optimization over the prior noise space of the PSGAN model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
특징 매칭과 암묵적 고해상도 사전을 활용한 실세계 블라인드 초고해상도
Real-World Blind Super-Resolution via Feature Matching with Implicit High-Resolution Priors
실세계 이미지 초고해상도(SR)의 핵심 과제는 다운샘플링, 노이즈, 압축 등 복잡하고 알 수 없는 열화가 포함된 저해상도(LR) 이미지에서 손실된 세부 정보를 복원하는 것이다. 대부분의 기존 연구들은 이미지 공간에서 이러한 손실 세부 정보를 복원한다. 자연 이미지의 높은 다양성에 대응하기 위해, 기존 방법들은 훈련이 어렵고 아티팩트가 발생하기 쉬운 불안정한 GAN에 의존하거나, 대개 구하기 어려운 고해상도(HR) 이미지의 명시적 참조에 의존한다. 본 연구에서는 훨씬 더 압축된 특징 공간에서 사실적인 HR 이미지를 복원하는 Feature Matching SR(FeMaSR)을 제안한다. 이미지 공간 방법들과 달리, FeMaSR은 사전학습된 HR 사전(prior) 내에서 왜곡된 LR 이미지 특징을 왜곡 없는 HR 대응 특징에 매칭하고, 매칭된 특징을 디코딩하여 사실적인 HR 이미지를 복원한다. 구체적으로, HR 사전은 이산 특징 코드북과 그에 연결된 디코더로 구성되며, Vector Quantized Generative Adversarial Network(VQGAN)을 통해 HR 이미지로 사전학습된다. 특히, 재구성 이미지 품질을 향상시키기 위해 VQGAN에 새로운 의미론적 정규화를 도입한다. 특징 매칭을 위해, 여러 Swin 트랜스포머 블록으로 구성된 LR 인코더로 LR 특징을 추출한 후, 단순한 최근접 이웃 전략으로 사전학습된 코드북에 매칭한다. 특히, LR 인코더에 디코더로의 잔차 단축 연결을 추가하여 특징 매칭 손실의 최적화에 핵심적인 역할을 하며, 가능한 특징 매칭 오류를 보완하는 데도 도움을 준다. 실험 결과, 본 접근법이 기존 방법들보다 더 사실적인 HR 이미지를 생성함을 보여준다. 코드는 https://github.com/chaofengc/FeMaSR 에서 공개되어 있다.
Hunyuan3D 2.5: Towards High-Fidelity 3D Assets Generation with Ultimate Details
TexTailor: Customized Text-aligned Texturing via Effective Resampling
UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes
TetWeave: Isosurface Extraction using On-The-Fly Delaunay Tetrahedral Grids for Gradient-Based Mesh Optimization
Generative AI for Character Animation: A Comprehensive Survey of Techniques, Applications, and Future Directions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.