arXiv:2611.21865v1 cs.LG

PromptPack: 의도에 맞는 공간적·의미적 제어를 위한 확산 편집기의 학습 불필요 증강

PromptPack: Training-Free Augmentation of Diffusion Editors for Intent-Aligned Spatial and Semantic Control

Sophia Zalewski, Mustafa Munir, Enting Liu, Anjul Patney, David Dynerman

제출 2026-11-18

한국어 초록

많은 이미지 편집 작업은 사용자가 지정한 원본 콘텐츠를 정확히 보존하면서 변경을 의도한 공간 영역으로 한정할 것을 요구한다. 지시문 기반 편집 파이프라인은 이러한 사용자 의도를 불충분하게 명세하는 경우가 많고, 인페인팅 편집기는 명시적으로 정의된 편집 지지 영역에 생성을 조건화하지만 개별 편집 개념의 공간적 할당에는 조건화하지 않는다. PromptPack은 확산 편집기에 두 가지 명시적 '편집 가이드', 즉 편집이 일어날 수 있는 위치를 지정하기 위해 각 픽셀을 'Keep', 'Permit', 'Modify'로 표시하는 편집 역할 분할과, 어떤 개념이 어디에 적용되는지를 지정하기 위해 공간 영역을 텍스트 프롬프트에 대응시키는 영역별 프롬프트 할당을 갖추게 함으로써 두 한계를 모두 해결한다. 이러한 가이드는 수동으로 지정하거나, 원본 객체 편집의 경우 텍스트에 기반한 SAM 3 마스크에서 자동으로 도출할 수 있다. PromptPack은 재학습 없이, 독립적으로 임베딩된 영역별 프롬프트를 편집기의 고정 길이 텍스트 시퀀스에 주입하고, 편집 가이드를 사용하여 어텐션을 공간적으로 마스킹하고, 흐름 갱신을 게이팅하며, 보호된 원본 픽셀을 복원한다. 우리는 PromptPack을 FlowEdit FLUX, FlowEdit SD3, FLUX Kontext에 통합하여, PIE-Bench++에서 세 통합 모두에 걸쳐 요청된 개념의 배치와 보호된 콘텐츠의 보존이 향상됨을 보인다. 쌍별 사용자 연구에서 PromptPack은 FlowEdit FLUX에 대해 87%의 선호율을 달성하여, 의도에 맞는 확산 편집을 위한 실용적이고 학습이 필요 없는 인터페이스로 자리매김한다.

원문 초록

Many image-editing tasks require confining changes to intended spatial regions while exactly preserving user-designated source content. Instruction-driven editing pipelines often leave such user-intent underspecified, while inpainting editors condition generation on explicitly defined edit support but not on the spatial assignment of individual edit concepts. PromptPack addresses both limitations by equipping diffusion editors with two explicit 'Edit Guides': an edit-role partition that labels each pixel as 'Keep,' 'Permit,' or 'Modify' to specify where edits may occur, and a regional-prompt assignment that maps spatial regions to text prompts to specify which concepts apply where. These guides may be manually specified or, for source-object edits, automatically derived from a text-grounded SAM 3 mask. Without retraining, PromptPack injects independently embedded regional prompts into the editor's fixed-length text sequence and uses the Edit Guides to spatially mask attention, gate flow updates, and restore protected source pixels. We integrate PromptPack into FlowEdit FLUX, FlowEdit SD3, and FLUX Kontext and demonstrate improved requested-concept placement and protected-content preservation across all three integrations on PIE-Bench++. In a pairwise user study, PromptPack achieves an 87% preference rate over FlowEdit FLUX, establishing PromptPack as a practical, training-free interface for intent-aligned diffusion editing.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21865v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.