arXiv:1703.09784

Perception Driven Texture Generation

Yanhai Gan, Huifang Chi, Ying Gao, Jun Liu, Guoqiang Zhong, Junyu Dong

제출 2017-03-24

원문 초록

This paper investigates a novel task of generating texture images from perceptual descriptions. Previous work on texture generation focused on either synthesis from examples or generation from procedural models. Generating textures from perceptual attributes have not been well studied yet. Meanwhile, perceptual attributes, such as directionality, regularity and roughness are important factors for human observers to describe a texture. In this paper, we propose a joint deep network model that combines adversarial training and perceptual feature regression for texture generation, while only random noise and user-defined perceptual attributes are required as input. In this model, a preliminary trained convolutional neural network is essentially integrated with the adversarial framework, which can drive the generated textures to possess given perceptual attributes. An important aspect of the proposed model is that, if we change one of the input perceptual features, the corresponding appearance of the generated textures will also be changed. We design several experiments to validate the effectiveness of the proposed method. The results show that the proposed method can produce high quality texture images with desired perceptual properties.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2202.13142v3cs.CV공통 태그 Texture Synthesis공식 코드 · Papers with Code

특징 매칭과 암묵적 고해상도 사전을 활용한 실세계 블라인드 초고해상도

Real-World Blind Super-Resolution via Feature Matching with Implicit High-Resolution Priors

실세계 이미지 초고해상도(SR)의 핵심 과제는 다운샘플링, 노이즈, 압축 등 복잡하고 알 수 없는 열화가 포함된 저해상도(LR) 이미지에서 손실된 세부 정보를 복원하는 것이다. 대부분의 기존 연구들은 이미지 공간에서 이러한 손실 세부 정보를 복원한다. 자연 이미지의 높은 다양성에 대응하기 위해, 기존 방법들은 훈련이 어렵고 아티팩트가 발생하기 쉬운 불안정한 GAN에 의존하거나, 대개 구하기 어려운 고해상도(HR) 이미지의 명시적 참조에 의존한다. 본 연구에서는 훨씬 더 압축된 특징 공간에서 사실적인 HR 이미지를 복원하는 Feature Matching SR(FeMaSR)을 제안한다. 이미지 공간 방법들과 달리, FeMaSR은 사전학습된 HR 사전(prior) 내에서 왜곡된 LR 이미지 특징을 왜곡 없는 HR 대응 특징에 매칭하고, 매칭된 특징을 디코딩하여 사실적인 HR 이미지를 복원한다. 구체적으로, HR 사전은 이산 특징 코드북과 그에 연결된 디코더로 구성되며, Vector Quantized Generative Adversarial Network(VQGAN)을 통해 HR 이미지로 사전학습된다. 특히, 재구성 이미지 품질을 향상시키기 위해 VQGAN에 새로운 의미론적 정규화를 도입한다. 특징 매칭을 위해, 여러 Swin 트랜스포머 블록으로 구성된 LR 인코더로 LR 특징을 추출한 후, 단순한 최근접 이웃 전략으로 사전학습된 코드북에 매칭한다. 특히, LR 인코더에 디코더로의 잔차 단축 연결을 추가하여 특징 매칭 손실의 최적화에 핵심적인 역할을 하며, 가능한 특징 매칭 오류를 보완하는 데도 도움을 준다. 실험 결과, 본 접근법이 기존 방법들보다 더 사실적인 HR 이미지를 생성함을 보여준다. 코드는 https://github.com/chaofengc/FeMaSR 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.