arXiv:2609.20633v2 cs.CV

정제는 본질적으로 편집 가능하다: 생성적 정제 네트워크를 이용한 학습이 필요 없는 프롬프트-투-프롬프트 이미지 편집

Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network

Yulong Chen, Ziqian Zhang, Haoyu Zhang, Ao He, Yaxing Wang, Senmao Li, Kai Wang

제출 2026-09-22

한국어 초록

텍스트 기반 이미지 편집은 무관한 원본 콘텐츠를 보존하면서 요청된 변경 사항을 도입해야 한다. 학습이 필요 없는 편집(training-free editing)에서, 확산 모델 기반(diffusion-based) 편집기는 흔히 공간적 제어(spatial control)를 사용하는데, 이러한 제어의 부정확성으로 인해 편집이 불완전하게 남거나 무관한 영역이 변경될 수 있다. 자기회귀 기반(autoregressive-based) 편집기는 추가적인 제약에 직면하는데, 고정된 디코딩 순서로 인해 이전 결정을 수정하는 데 한계가 있다. 생성적 정제 네트워크(Generative Refinement Network, GRN)를 이용한 학습이 필요 없는 이미지 편집을 최초로 탐구한 본 연구에서, 우리는 GRN의 정제(refinement) 과정이 본질적으로 편집에 적합하며 이러한 한계를 해결할 수 있는 유망한 방법을 제공한다는 것을 관찰하였다. 이러한 관찰에 착안하여, 우리는 GRN을 기반으로 구축된 학습이 필요 없는 프롬프트-투-프롬프트(prompt-to-prompt) 이미지 편집 프레임워크인 RefineEdit을 제안한다. 핵심 아이디어는 이진 이미지 코드(binary image code)의 전역적 정제를 통해 편집 위치 지정(edit localization)과 콘텐츠 생성을 결합함으로써, 이미지가 진화함에 따라 편집 근거(editing evidence)를 수정할 수 있도록 하는 것이다. 보다 구체적으로, RefineEdit은 비트 라우팅(bit routing)을 두 가지 안정화 메커니즘, 즉 적응적 공간 동결(adaptive spatial freezing)과 유한 비트 잠금(finite bit locking)과 결합한다. 비트 라우팅은 중간 원본 상태에서 시작하여 두 분기(branch) 간의 부호 있는 확률 차이를 이용해 편집 가능한 위치와 비트를 식별한다. 이는 선택된 비트를 편집 정제 방향으로 유도하는 동시에, 나머지 비트는 진화하는 원본 궤적(source trajectory)에 고정시킨다. 적응적 공간 동결은 편집 영역의 불필요한 확장을 제한하며, 유한 비트 잠금은 지속적인 편집을 지원하기 위해 최근의 비트 활성화를 유지한다. 전체 프레임워크는 추가적인 학습, 외부 마스크, 또는 어텐션 제어를 필요로 하지 않는다. PIE-Bench의 아홉 가지 편집 범주 전반에서, RefineEdit은 PSNR, LPIPS, MSE, SSIM에서 최고의 배경 보존 점수를 달성했으며, 평가된 방법들 중 전체 이미지 및 편집 영역에 대해 가장 높은 CLIP 점수를 기록했다. 코드는 https://github.com/mura1n/RefineEdit 에서 확인할 수 있다.

원문 초록

Text-guided image editing must introduce the requested changes while preserving unrelated source content. In training-free editing, diffusion-based editors often use spatial controls whose inaccuracies can leave edits incomplete or alter unrelated regions. Autoregressive-based editors face a further constraint: their fixed decoding order limits revision of earlier decisions. As the first to explore training-free image editing with Generative Refinement Networks (GRN), we observe that its refinement process is inherently suitable for editing and offers a promising way to address these limitations. Motivated by this observation, we introduce RefineEdit, a training-free prompt-to-prompt image editing framework built on the GRN. Our key idea is to couple edit localization with content generation through the global refinement of binary image codes, allowing editing evidence to be revised as the image evolves. More specifically, RefineEdit combines bit routing with two stabilization mechanisms: adaptive spatial freezing and finite bit locking. Bit routing starts from an intermediate source state and uses signed probability differences between the two branches to identify editable positions and bits. It directs selected bits toward editing refinement while anchoring the rest to the evolving source trajectory. Adaptive spatial freezing limits unnecessary expansion of the editing region, while finite bit locking maintains recent bit activations to support continued editing. The overall framework requires no additional training, external masks, or attention control. Across nine editing categories of PIE-Bench, RefineEdit achieves the best background-preservation scores in PSNR, LPIPS, MSE, and SSIM, together with the highest whole-image and edited-region CLIP scores among the evaluated methods. Code is available at https://github.com/mura1n/RefineEdit.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.20633v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13675v1eess.IV공통 태그 Benchmarking, Prompt Engineering

멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹

Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets

멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.

arXiv:2610.05671v2cs.AI공통 태그 Benchmarking, Prompt Engineering

프롬프트 옵티마이저는 제한된 예산을 어떻게 사용해야 하는가? 노이즈 적응형 평가를 적용한 BudgetAPO

How Should a Prompt Optimizer Spend a Tight Budget? BudgetAPO with Noise-Adaptive Evaluation

자동 프롬프트 최적화(Automatic Prompt Optimization, APO)는 대규모 언어 모델(LLM)의 가중치를 업데이트하지 않고 적응시키기 위해 널리 사용되어 왔으며 유망한 결과를 보여주었습니다. 그러나 GEPA 및 OPRO와 같은 기존 방식은 대상 모델에 대해 수백에서 수천 번의 호출을 가정하므로, 유료 및 속도 제한이 있는 API 환경에서는 현실적인 수준을 훨씬 뛰어넘습니다. 제한된 예산 하에서 기존 방식은 두 가지 방식으로 실패합니다. 다단계 파이프라인은 예산을 모두 소진하여 시드 프롬프트를 변경 없이 그대로 반환할 수 있으며, 단일 단계 방식은 각 태스크의 노이즈와 무관하게 고정된 크기의 미니배치에서 후보를 비교합니다. 이에 대한 해결책으로, 본 연구에서는 제한된 예산 환경을 위한 단일 단계 옵티마이저인 BudgetAPO를 제안합니다. BudgetAPO는 (1) 짧은 탐색(probe)으로 측정된 각 태스크의 노이즈에 맞춰 평가 슬라이스 크기를 조정하는 노이즈 적응형 규칙, (2) 모든 수락/거절 결정을 대응 비교(paired comparison)로 변환하는 고정 슬라이스, (3) 추론 전략과 출력 형식을 함께 다시 작성하는 성찰적(reflective) 연산자를 포함합니다. 7개 벤치마크와 5개 대상 모델에 걸친 광범위한 실험 결과는 BudgetAPO가 모든 대상 모델에서 1위를 차지하고 홈 보정(Holm-corrected) 대응 검정 하에서 모든 기준선(baseline)을 능가함을 보여줍니다. 또한 250회 호출 시 시드를 그대로 반환하는 비율이 GEPA의 86%에 비해 13%에 불과했습니다. GPT-OSS-20B에서는 GEPA가 본 방법의 100회 호출 점수와 일치하기 위해 5배 더 많은 호출을 필요로 합니다.

arXiv:2610.10628v1cs.SE공통 태그 Benchmarking, Prompt Engineering

Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크

Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking

소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.

arXiv:2610.10760v1cs.CV공통 태그 Text-to-Image Generation, Prompt Engineering

DOGS: 프롬프트 기반 로고 생성을 위한 디자인 공간 샘플링

DOGS: Design-Space Sampling for Prompt-Driven Logo Generation

텍스트-투-이미지(T2I) 생성을 위한 프롬프트(prompt) 최적화는 주로 짧은 사용자 요구 사항을 모델(model)이 선호하는 더 긴 토큰(token) 시퀀스로 확장하는 텍스트 재작성 방식으로 연구되어 왔다. 본 논문에서는 한 줄짜리 요구 사항만으로는 대부분의 디자인 결정 사항이 명시되지 않는 로고 제작과 같은 구조화된 시각적 디자인 작업에 이러한 언어 공간 기반 정식화가 적합하지 않다고 주장한다. 이러한 결정들은 선형적 시퀀스로는 인코딩할 수 없는 관계적 사전 지식에 의존하며, 보호받는 상표가 무단 복제될 수 있는 통제되지 않은 경로를 남긴다. 따라서 본 연구에서는 로고 프롬프팅을 구조화된 디자인 공간 내에서의 샘플링으로 재구성하고, 이를 DOGS(독창성 인식 GFlowNet 샘플러 기반 디자인 공간 프롬프팅)로 구체화한다. 실제 로고로 구성된 대규모 말뭉치로부터 경험적 동시 발생 관계를 엣지로 기록하는 타입화된 그래프 구조의 디자인 문법을 추출한다. 이어 GFlowNet 샘플러는 인지성, 심미성, 그리고 말뭉치 상대적 독창성을 결합한 최종 보상(reward)에 비례하는 확률로 디자인 그래프를 생성한다. 모든 슬롯은 폐쇄된 디자인 수준 어휘만을 사용하며, 침해를 유발하거나 유해한 토큰은 파싱 과정에서 제거된다. 독창성 보상은 기존 로고와의 유사도에 추가적인 페널티를 부여함으로써, 설계 자체로 상표권 침해 방지 기능을 결합한다. 두 개의 오픈소스 렌더러와 9개의 베이스라인을 대상으로 한 평가에서, DOGS는 더 우수한 인지성과 심미성을 지니며 훨씬 더 다양하고 상표권 침해 가능성이 극히 낮은 로고를 생성함을 입증한다.

arXiv:2610.11037v1cs.CV공통 태그 Image-to-Image Translation, Image Editing

이미지 편집기를 비디오 편집기로 변환하기

Transforming Image Editors into Video Editors

최근 이미지 편집 시스템은 뛰어난 의미론적 이해도, 시각적 충실도, 지시어 추종(instruction-following) 능력을 달성했으나, 비디오 편집은 여전히 훨씬 더 어렵고 비용이 많이 듭니다. 본 논문에서는 엔드투엔드(end-to-end) 비디오 편집에 대한 간단한 대안을 제시합니다. 즉, 단일 비디오 편집기를 학습(training)시키는 대신 강력한 이미지 편집기를 앵커 기반 생성을 통해 비디오 편집기로 변환합니다. 우리의 핵심 통찰은 비디오 편집이 희소한 키프레임 세트를 편집하는 것과 이러한 편집 내용을 시간에 걸쳐 전파하는 두 가지 하위 문제로 분해될 수 있다는 점입니다. 이러한 관찰을 바탕으로, 우리는 2단계 프레임워크인 앵커 기반 비디오 편집(Anchor-based Video Editing, AVE)을 제안합니다. 이 프레임워크에서는 먼저 강력한 이미지 편집기가 선택된 키프레임에 대해 합성 편집을 수행하고, 모션 유도 이미지-투-비디오 확산 모델(diffusion model)이 편집된 키프레임을 고정 앵커로 처리하여 최종 비디오를 생성합니다. 이러한 설계는 최신 이미지 편집기의 장점을 직접 계승하는 동시에 비용이 많이 드는 엔드투엔드 비디오 편집 학습을 방지합니다. IVEBench 및 VIE-Bench에 대한 실험 결과는 AVE가 지시어 추종, 시간적 일관성, 콘텐츠 충실도 면에서 우수한 성능을 달성함을 보여줍니다. 추가적인 절제 연구(ablation study)에 따르면 최종 비디오 편집 품질은 이미지 편집기의 품질과 강한 상관관계가 있음이 밝혀졌으며, 이는 향후 비디오 편집의 발전이 더 강력한 이미지 편집 기반과 비디오로의 경량 전이에서 비롯될 수 있음을 시사합니다. 코드는 https://github.com/wangf3014/AVE 에서 이용 가능합니다.

arXiv:2610.11067v1cs.CV공통 태그 Text-to-Image Generation, Prompt Engineering

일반화 가능한 파운데이션 모델 적응을 위한 확산 메타 프롬프팅 및 스티어링

Diffusion Meta-Prompting and Steering for Generalizable Foundation Model Adaptation

프롬프트 학습(Prompt learning)은 파운데이션 모델(foundation model)을 적응시키는 널리 쓰이는 방법이지만, 학습된 프롬프트는 대개 특정 태스크에 국한되어 새로운 클래스, 도메인, 또는 태스크의 조합으로 일반화되지 못합니다. 본 논문에서는 확산 모델(diffusion model)을 사용하여 학습된 프롬프트의 분포를 모델링하는 프레임워크인 확산 메타 프롬프트(Diffusion Meta-Prompt, DMP) 모델을 소개합니다. 기존에 학습된 프롬프트 저장소가 주어지면, DMP는 원본 태스크 예시나 태스크 손실(task loss)에 접근하지 않고도 학습 및 샘플링되며, 자연어 태스크 설명을 조건으로 삼아 새로운 프롬프트를 합성합니다. 샘플링 안정성을 향상하기 위해, 당사는 DMP를 재학습하거나 테스트 클래스에 접근하지 않고도 확산 샘플링 중에 저장소 내 최적의 학습 선택 프롬프트를 잠재 앵커(latent anchor)로 사용하는 DMP용 테스트 타임 스티어링(test-time steering) 전략을 제안합니다. DMP는 분류(classification), 검색, 텍스트-이미지 생성 태스크 전반에서 일반화 성능을 향상시키며, 명시적인 학습 없이도 개념 조합과 네거티브 프롬프팅(negative prompting)을 지원합니다. 또한 프롬프트 검색 방식에 비해 스토리지 및 추론(inference) 비용을 90% 이상 절감합니다. 복합 분류에서 DMP는 55쌍의 데이터셋에 걸쳐 기존 메타러닝(meta-learning) 방식 대비 평균 최대 2.0%의 성능 향상을 달성하며, Eurosat 및 Flowers와 같은 특정 데이터셋 쌍에서는 최대 8.5%의 향상을 보입니다. DMP는 계층적 분류 태스크에서도 약 2~9%의 향상을 보이며 태스크 간 일반화 성능 역시 강화합니다. 나아가 당사는 DMP에서 샘플링된 프롬프트의 기대 태스크 손실을 제한하는 이론적 보장을 제공합니다. 코드는 https://github.com/DeepakSridhar/dmp 에서 제공됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.