PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03512v1cs.CV

ProgressNet: 동결된 텍스트-투-이미지 모델을 활용한 스케치 및 프롬프트 기반 점진적 생성

ProgressNet: Sketching and Prompting with a Frozen Text-to-Image Model

사람은 몇 번의 스트로크를 그리고 결과를 살핀 뒤, 스트로크를 지우거나 프롬프트를 수정하며 점진적으로 그림을 그립니다. 하지만 이미지 생성 모델은 이런 방식으로 동작하지 않습니다. 일반적으로 완성된 스케치를 받아 단일 패스로 이미지를 생성하므로 매 편집마다 그림을 처음부터 다시 시작해야 하며, 턴(turn)에 걸쳐 상태를 유지하는 모델들은 텍스트 기반으로만 동작하여 스트로크를 입력받지 못하고 함께 그림을 그리기에는 너무 느립니다. 본 논문에서는 동결된(frozen) 텍스트-투-이미지 모델이 드로잉 세션의 진행 과정(스트로크 추가 및 삭제, 프롬프트 수정)을 따라가며 턴당 약 1초 만에 이미지를 업데이트할 수 있도록 하는 학습(training)이 필요 없는 프레임워크인 ProgressNet을 제안합니다. 동결된 모델은 이전 턴을 기억할 수 있는 경로, 구조를 고정하지 않고도 외형을 전달할 수 있는 층(layer), 미완성된 스케치를 어느 정도 신뢰할지에 대한 내부 신호 등 점진적 생성기에 필요한 요소를 이미 갖추고 있으므로 새로운 파라미터가 필요하지 않습니다. 세 가지 추론(inference) 시점 메커니즘인 Previous-Concept Memory, Layer-Selective K/V Injection, Banded Adaptive Control이 이러한 요소들을 차례로 활용합니다. 스케치가 채워짐에 따라 기존의 모든 방법은 성능이 저하되어, FS-COCO에서 FLUX+ControlNet 기준선(baseline)의 FID는 완성도 10%에서 100% 사이에 두 배로 증가하는 반면, ProgressNet의 수치는 거의 변하지 않습니다. ProgressNet은 세 가지 스케치 도메인 전반에서 강력한 충실도와 점진적 일관성을 유지하며, 5개의 경쟁 방식보다 사용자 선호도가 높았고 특히 스트로크 삭제 작업에서 가장 압도적인 선호를 보였습니다.