SONIC: Spectral Optimization of Noise for Inpainting with Consistency
텍스트-이미지 모델을 별도 학습 없이 인페인팅(inpainting)에 활용할 때 성능이 떨어지는 문제를 해결하기 위해, 디노이징 경로의 선형 근사로 역전파 없이 초기 노이즈 샘플을 최적화하고 Adam 옵티마이저를 활용한 스펙트럼 사전조건화(spectral preconditioning)로 최적화를 안정화하는 SONIC을 제안한다. FFHQ, DIV2K, BrushBench 벤치마크에서 SSIM, LPIPS, FID 지표 모두 기존 최고 성능을 뛰어넘었다.