High-Fidelity Image Inpainting with GAN Inversion
원문 초록
Image inpainting seeks a semantically consistent way to recover the corrupted image in the light of its unmasked content. Previous approaches usually reuse the well-trained GAN as effective prior to generate realistic patches for missing holes with GAN inversion. Nevertheless, the ignorance of a hard constraint in these algorithms may yield the gap between GAN inversion and image inpainting. Addressing this problem, in this paper, we devise a novel GAN inversion model for image inpainting, dubbed InvertFill, mainly consisting of an encoder with a pre-modulation module and a GAN generator with F&W+ latent space. Within the encoder, the pre-modulation network leverages multi-scale structures to encode more discriminative semantics into style vectors. In order to bridge the gap between GAN inversion and image inpainting, F&W+ latent space is proposed to eliminate glaring color discrepancy and semantic inconsistency. To reconstruct faithful and photorealistic images, a simple yet effective Soft-update Mean Latent module is designed to capture more diverse in-domain patterns that synthesize high-fidelity textures for large corruptions. Comprehensive experiments on four challenging datasets, including Places2, CelebA-HQ, MetFaces, and Scenery, demonstrate that our InvertFill outperforms the advanced approaches qualitatively and quantitatively and supports the completion of out-of-domain images well.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
일반화 최소제곱법 기반 커널화 텐서 분해
Generalized Least Squares Kernelized Tensor Factorization
불완전한 다차원 텐서 구조 데이터를 복원하는 것은 많은 실제 응용에서 근본적인 과제이다. 평활성 제약 저순위 텐서 분해는 전역 및 장거리 상관관계를 효과적으로 포착하지만, 짧은 스케일, 고주파, 또는 국소적으로 변하는 구조를 특성화하는 데 종종 어려움을 겪는다. 본 연구는 다차원 시공간 데이터 완성을 위해 보완적인 일반화 최소제곱법 기반 커널화 텐서 분해(Generalized Least Squares Kernelized Tensor Factorization, GLSKF) 프레임워크를 제안한다. GLSKF는 GLS(Generalized Least Squares) 목적 함수 하에서 공분산 정규화된 저순위 전역 성분과 명시적으로 모델링된 국소 상관 잔차 성분을 가산적으로 통합하여, 전역 의존성과 국소적 변화를 모두 효과적으로 모델링할 수 있게 한다. 공분산 노름 정규화기는 두 성분 모두에서 시공간 의존성을 인코딩한다. 전역 분해에서 평활성을 강제하기 위해 잠재 인자 열에 구조화된 공분산이 부과되며, 반면 잔차의 국소 상관관계를 모델링하기 위해 컴팩트 지지(compactly supported) 희소 커널이 사용된다. 결측 데이터 하에서 공분산 행렬의 크로네커(Kronecker) 구조를 활용하고 빠른 공액 그래디언트(conjugate gradient) 해법을 용이하게 하는 블록 단위 선형계 업데이트를 갖춘 교대 최소제곱법(alternating least squares) 알고리즘을 개발한다. 효율적인 행렬-벡터 곱을 위해 국소 잔차 공분산 행렬의 희소성과 토플리츠(Toeplitz) 구조를 활용함으로써 추가적인 계산 이득을 얻는다. GLSKF를 네 가지 실제 다차원 데이터 완성 과제—교통 속도 대치, 컬러 이미지 완성, 디지털 영상 복원, MRI 데이터 재구성—에서 평가한다. 실험 결과는 GLSKF가 다양한 텐서 완성 과제에서 우수한 재구성 성능과 유리한 확장성을 달성함을 보여주며, 다차원 데이터 완성에 대한 광범위한 적용 가능성을 뒷받침한다.
Unsupervised Raindrop Removal from a Single Image using Conditional Diffusion Models
Leveraging Depth Maps and Attention Mechanisms for Enhanced Image Inpainting
Visibility-Uncertainty-guided 3D Gaussian Inpainting via Scene Conceptional Learning
Autoregressive Image Generation with Randomized Parallel Decoding
VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control
토론
이 논문과 연결된 포럼 글이 아직 없습니다.