정제는 본질적으로 편집 가능하다: 생성적 정제 네트워크를 이용한 학습이 필요 없는 프롬프트-투-프롬프트 이미지 편집
Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network
텍스트 기반 이미지 편집은 무관한 원본 콘텐츠를 보존하면서 요청된 변경 사항을 도입해야 한다. 학습이 필요 없는 편집(training-free editing)에서, 확산 모델 기반(diffusion-based) 편집기는 흔히 공간적 제어(spatial control)를 사용하는데, 이러한 제어의 부정확성으로 인해 편집이 불완전하게 남거나 무관한 영역이 변경될 수 있다. 자기회귀 기반(autoregressive-based) 편집기는 추가적인 제약에 직면하는데, 고정된 디코딩 순서로 인해 이전 결정을 수정하는 데 한계가 있다. 생성적 정제 네트워크(Generative Refinement Network, GRN)를 이용한 학습이 필요 없는 이미지 편집을 최초로 탐구한 본 연구에서, 우리는 GRN의 정제(refinement) 과정이 본질적으로 편집에 적합하며 이러한 한계를 해결할 수 있는 유망한 방법을 제공한다는 것을 관찰하였다. 이러한 관찰에 착안하여, 우리는 GRN을 기반으로 구축된 학습이 필요 없는 프롬프트-투-프롬프트(prompt-to-prompt) 이미지 편집 프레임워크인 RefineEdit을 제안한다. 핵심 아이디어는 이진 이미지 코드(binary image code)의 전역적 정제를 통해 편집 위치 지정(edit localization)과 콘텐츠 생성을 결합함으로써, 이미지가 진화함에 따라 편집 근거(editing evidence)를 수정할 수 있도록 하는 것이다. 보다 구체적으로, RefineEdit은 비트 라우팅(bit routing)을 두 가지 안정화 메커니즘, 즉 적응적 공간 동결(adaptive spatial freezing)과 유한 비트 잠금(finite bit locking)과 결합한다. 비트 라우팅은 중간 원본 상태에서 시작하여 두 분기(branch) 간의 부호 있는 확률 차이를 이용해 편집 가능한 위치와 비트를 식별한다. 이는 선택된 비트를 편집 정제 방향으로 유도하는 동시에, 나머지 비트는 진화하는 원본 궤적(source trajectory)에 고정시킨다. 적응적 공간 동결은 편집 영역의 불필요한 확장을 제한하며, 유한 비트 잠금은 지속적인 편집을 지원하기 위해 최근의 비트 활성화를 유지한다. 전체 프레임워크는 추가적인 학습, 외부 마스크, 또는 어텐션 제어를 필요로 하지 않는다. PIE-Bench의 아홉 가지 편집 범주 전반에서, RefineEdit은 PSNR, LPIPS, MSE, SSIM에서 최고의 배경 보존 점수를 달성했으며, 평가된 방법들 중 전체 이미지 및 편집 영역에 대해 가장 높은 CLIP 점수를 기록했다. 코드는 https://github.com/mura1n/RefineEdit 에서 확인할 수 있다.