On Random Weights for Texture Generation in One Layer Neural Networks
원문 초록
Recent work in the literature has shown experimentally that one can use the lower layers of a trained convolutional neural network (CNN) to model natural textures. More interestingly, it has also been experimentally shown that only one layer with random filters can also model textures although with less variability. In this paper we ask the question as to why one layer CNNs with random filters are so effective in generating textures? We theoretically show that one layer convolutional architectures (without a non-linearity) paired with the an energy function used in previous literature, can in fact preserve and modulate frequency coefficients in a manner so that random weights and pretrained weights will generate the same type of images. Based on the results of this analysis we question whether similar properties hold in the case where one uses one convolution layer with a non-linearity. We show that in the case of ReLu non-linearity there are situations where only one input will give the minimum possible energy whereas in the case of no nonlinearity, there are always infinite solutions that will give the minimum possible energy. Thus we can show that in certain situations adding a ReLu non-linearity generates less variable images.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
특징 매칭과 암묵적 고해상도 사전을 활용한 실세계 블라인드 초고해상도
Real-World Blind Super-Resolution via Feature Matching with Implicit High-Resolution Priors
실세계 이미지 초고해상도(SR)의 핵심 과제는 다운샘플링, 노이즈, 압축 등 복잡하고 알 수 없는 열화가 포함된 저해상도(LR) 이미지에서 손실된 세부 정보를 복원하는 것이다. 대부분의 기존 연구들은 이미지 공간에서 이러한 손실 세부 정보를 복원한다. 자연 이미지의 높은 다양성에 대응하기 위해, 기존 방법들은 훈련이 어렵고 아티팩트가 발생하기 쉬운 불안정한 GAN에 의존하거나, 대개 구하기 어려운 고해상도(HR) 이미지의 명시적 참조에 의존한다. 본 연구에서는 훨씬 더 압축된 특징 공간에서 사실적인 HR 이미지를 복원하는 Feature Matching SR(FeMaSR)을 제안한다. 이미지 공간 방법들과 달리, FeMaSR은 사전학습된 HR 사전(prior) 내에서 왜곡된 LR 이미지 특징을 왜곡 없는 HR 대응 특징에 매칭하고, 매칭된 특징을 디코딩하여 사실적인 HR 이미지를 복원한다. 구체적으로, HR 사전은 이산 특징 코드북과 그에 연결된 디코더로 구성되며, Vector Quantized Generative Adversarial Network(VQGAN)을 통해 HR 이미지로 사전학습된다. 특히, 재구성 이미지 품질을 향상시키기 위해 VQGAN에 새로운 의미론적 정규화를 도입한다. 특징 매칭을 위해, 여러 Swin 트랜스포머 블록으로 구성된 LR 인코더로 LR 특징을 추출한 후, 단순한 최근접 이웃 전략으로 사전학습된 코드북에 매칭한다. 특히, LR 인코더에 디코더로의 잔차 단축 연결을 추가하여 특징 매칭 손실의 최적화에 핵심적인 역할을 하며, 가능한 특징 매칭 오류를 보완하는 데도 도움을 준다. 실험 결과, 본 접근법이 기존 방법들보다 더 사실적인 HR 이미지를 생성함을 보여준다. 코드는 https://github.com/chaofengc/FeMaSR 에서 공개되어 있다.
Hunyuan3D 2.5: Towards High-Fidelity 3D Assets Generation with Ultimate Details
TexTailor: Customized Text-aligned Texturing via Effective Resampling
UniTEX: Universal High Fidelity Generative Texturing for 3D Shapes
TetWeave: Isosurface Extraction using On-The-Fly Delaunay Tetrahedral Grids for Gradient-Based Mesh Optimization
Generative AI for Character Animation: A Comprehensive Survey of Techniques, Applications, and Future Directions
토론
이 논문과 연결된 포럼 글이 아직 없습니다.