arXiv:2606.24844v1 cs.CV

Bridging the Manifold Gap: Riemannian Residual Line Search for One-Step Image Editing

Hongzhu Yi, Zhongtian Luo, Tong Li, Yiyan Fan, Jungang Xu

제출 2026-06-23

원문 초록

One-step diffusion editors are fast because they avoid inversion and iterative optimization, but a single transport update must be aggressive enough to realize the target prompt and conservative enough to preserve the source image--and no fixed update strength satisfies both demands across edit types. We treat this tension as a post-hoc candidate-selection problem on top of energy-field transport rather than as a new editing model. Our proposed method, Riemannian Residual Line Search, first builds a stronger edit by estimating the local time curvature of the prompt-delta field and projecting the corrected direction back onto the update norm of the original first-order energy-field transport estimation. It then forms a small residual path from the source image to this strong edit, retains the original first-order output as one candidate, and picks the final image by maximizing target-prompt CLIP alignment. On a 700-sample PIE-Bench++ evaluation across 10 edit type IDs, our method achieves state-of-the-art (SOTA) performance among current one-step update algorithms.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.24844v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.20816v2cs.CV공통 태그 Image Generation, Image-to-Image Translation, Text-to-Image Generation, Image Editing

Paint-Anything: 이미지 생성 및 편집을 위한 통합 임의 색상 제어

Paint-Anything: Unified Any-Color Control for Image Generation and Editing

전문 디자인에는 임의 색상(any-color) 제어, 즉 이미지 생성 및 편집에서 객체의 목표 색을 임의의 24비트 hex 값으로 지정할 수 있는 능력이 필요하다. 선행 연구는 색 생성, 편집, 컬러화(colorization)를 다루어 왔지만, 종종 전용 색 표현이나 특화된 추론 절차에 의존한다. 대규모 언어 모델(LLM)의 발전은 더 단순한 출발점을 제공한다. 소형 모델조차 hex 값과 색 의미를 연관 지을 수 있다. 본 논문은 Paint-Anything을 제안하며, 객체 수준 색 supervision을 통해 생성과 편집에 공통 hex-프롬프트 인터페이스를 학습한다. 객체 그라운딩(object grounding), 지각적(perceptual) 색 라벨링, 편집 쌍 합성을 거쳐 실제 이미지로부터 Paint-500K를 구축하는 데이터 파이프라인을 개발한다. 그림자 때문에 실제 이미지 라벨은 색이 근사적일 뿐이므로, 픽셀이 짝지어진 hex 값과 정확히 일치하는 순색(pure-color) 앵커로 이 supervision을 보완한다. 이 앵커는 고노이즈 timestep에서만 사용되며, 저노이즈 학습은 자연 이미지에 맡긴다. 또한 ACBench-T2I와 ACBench-Edit로 구성된 Any Color Benchmark(ACBench)를 도입하여 두 과제 모두에서 객체 수준 hex 색 충실도를 측정한다. FLUX.2-4B에서 Paint-Anything은 베이스 모델 대비 ACBench-T2I와 ACBench-Edit 점수를 각각 85.3% 및 28.3% 개선하며, ablation이 학습 레시피를 뒷받침한다. 비교한 방법 중 평균 CompColor 점수도 최고를 달성한다.

arXiv:2607.13125v1cs.CV공통 태그 Image Generation, Image-to-Image Translation, Text-to-Image Generation, Image Editing

Boogu-Image-0.1: 오픈소스 통합 멀티모달 이해 및 생성 성능 향상

Boogu-Image-0.1: Boosting Open-Source Unified Multimodal Understanding and Generation

우리는 Base, Turbo, Edit, Edit-Turbo 변형으로 구성된 오픈소스 통합 멀티모달 이해 및 생성 모델 패밀리인 Boogu-Image-0.1을 소개한다. 이는 고품질 텍스트-이미지 생성, 빠른 추론, 지시 기반 편집, 이중언어(중국어-영어) 텍스트 렌더링에서 경쟁력 있는 성능을 제공한다. Nano-Banana-Pro와 GPT-Image-2와 같은 폐쇄형 멀티모달 시스템은 단일 모델이 아니라 시스템 수준 통합을 통해 강력한 성능을 달성하지만, 그 내부 관행은 대체로 공개되지 않았다. 본 연구에서는 모델 이해, 데이터 품질, 학습 파이프라인의 목표적 개선과 에이전트적 추론 시점 스케일링을 결합하면, 매우 제한된 연산 예산 하에서도 생성 및 편집 성능을 크게 향상시킬 수 있음을 보여준다. 포괄적 평가에 따르면 Boogu-Image-0.1은 표준 벤치마크 전반에서 다른 오픈소스 모델과 지속적으로 동등하거나 이를 능가하며, 선도적인 폐쇄형 시스템에 근접한 결과를 달성한다. 주목할 점은, 이것이 고유 이미지 2억 862만 장만으로 달성되었다는 것이다. 베이스 모델의 이론적 학습 비용은 약 $400K에 불과하다. 우리는 더 넓은 연구 커뮤니티에 가치가 있다고 믿는 실용적 논의를 공유하고, 통합 멀티모달 이해 및 생성을 위한 오픈 생태계를 발전시키기 위해 Apache 2.0 하에 가중치, 코드, 레시피를 공개한다. 코드는 여기에서 이용할 수 있다: https://github.com/Boogu-Project/Boogu-Image.

arXiv:2610.00805v1eess.IV공통 태그 Image Generation, Image-to-Image Translation, Image Editing

국소적 반사실적 흉부 방사선 사진 편집을 위한 공간 게이팅 확산 모델

Spatially Gated Diffusion for Localized Counterfactual Chest Radiograph Editing

흉부 방사선 사진(chest radiograph)을 편집하려면 관련 없는 내용을 보존하면서 요청된 변경 사항을 완성해야 합니다. 본 연구에서는 지시문과 무관한 소스 궤적과 지시문 조건부 편집 궤적을 갖춘 잠재 확산(latent diffusion) 편집기를 다룹니다. 학습된 게이트는 실행되는 각 단계에서 샘플러 이후 후보들을 혼합하며, 별도의 이미지 공간 마스크가 디코딩된 제안과 소스를 합성합니다. MIMIC 기반 2,400건의 요청 중 2,244건의 결과물이 목표, 보존, 품질 및 커버리지에 대한 공동 루브릭을 충족했으며(93.5%), 목표 달성률은 97.4%였습니다. 공동 유효성(joint validity)은 매칭된 합성 전용 대조군보다 1.7%p 높았습니다(대응 환자 클러스터 95% 신뢰구간, 0.6--2.8). 고정된 학습 마스크 조건에서 학습된 게이트 제안은 공동 유효성을 1.6%p 향상시켰으며(0.8--2.4), 고정된 학습 제안 조건에서 학습된 마스크는 이를 2.6%p 향상시켰습니다(1.7--3.5). 3개의 학습 시드에 걸친 평균 공동 유효성은 93.5%였으며 표본 표준편차는 0.3%p였습니다. 240건의 요청에 대한 블라인드 평가 결과, 전체 편집기는 93.3%, 합성 전용은 91.7%의 판정된 공동 유효성을 보였습니다. 보호 영역의 평균 절대 오차(MAE)는 원본 제안의 0.0190에서 합성 후 0.0075로 감소했습니다. 이러한 결과는 평가 코호트에서 제안에 미치는 순환 게이팅 효과와 최종 합성을 통한 보존 효과를 명확히 구분해 줍니다.

arXiv:2610.01681v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, Image Editing

텍스트-이미지 생성이 편집에 도움이 되는 순간: 디노이징 과정에서의 조건화 효과

When Text-to-Image Helps Editing: The Effects of Conditioning During Denoising

통합 모델(unified model)은 지시 기반(instruction-based) 이미지 편집과 텍스트-이미지(T2I) 생성을 모두 수행하도록 학습되지만, 표준 편집 파이프라인은 디노이징(denoising) 전 과정에 걸쳐 원본 이미지 조건화(conditioning)를 유지합니다. 본 논문에서는 편집이 T2I로부터 이점을 얻을 수 있는지 질문을 던지고, 조건화의 효과가 다양한 편집 유형 및 디노이징 단계에 따라 어떻게 달라지는지 연구합니다. 순수 편집(pure editing)에서는 샘플링 궤적을 거치는 동안 일부 편집에 대해 원본 어텐션(attention)이 감소합니다. 이러한 관찰을 바탕으로 모델이 자신의 T2I 역량을 활용할 수 있도록 하는 작업 전환(task switching) 방식을 제안합니다. 세 가지 통합 편집 모델과 네 가지 벤치마크에 걸친 실험 결과, 제한된 구간 동안 T2I 작업으로 전환하는 것이 편집 품질을 향상시키는 동시에 세 모델 모두에서 평균 지각적 보존(perceptual preservation) 수준이 순수 편집과 유사하게 유지됨을 확인했습니다. 따라서 통합 편집 모델은 학습된 두 가지 조건화 모드를 모두 활용함으로써 이점을 얻으며, 전환 시점을 통해 품질과 보존 사이의 균형을 조절할 수 있습니다.

arXiv:2609.20633v2cs.CV공통 태그 Image-to-Image Translation, Text-to-Image Generation, Image Editing

정제는 본질적으로 편집 가능하다: 생성적 정제 네트워크를 이용한 학습이 필요 없는 프롬프트-투-프롬프트 이미지 편집

Refinement Is Inherently Editable: Training-Free Prompt-to-Prompt Image Editing with Generative Refinement Network

텍스트 기반 이미지 편집은 무관한 원본 콘텐츠를 보존하면서 요청된 변경 사항을 도입해야 한다. 학습이 필요 없는 편집(training-free editing)에서, 확산 모델 기반(diffusion-based) 편집기는 흔히 공간적 제어(spatial control)를 사용하는데, 이러한 제어의 부정확성으로 인해 편집이 불완전하게 남거나 무관한 영역이 변경될 수 있다. 자기회귀 기반(autoregressive-based) 편집기는 추가적인 제약에 직면하는데, 고정된 디코딩 순서로 인해 이전 결정을 수정하는 데 한계가 있다. 생성적 정제 네트워크(Generative Refinement Network, GRN)를 이용한 학습이 필요 없는 이미지 편집을 최초로 탐구한 본 연구에서, 우리는 GRN의 정제(refinement) 과정이 본질적으로 편집에 적합하며 이러한 한계를 해결할 수 있는 유망한 방법을 제공한다는 것을 관찰하였다. 이러한 관찰에 착안하여, 우리는 GRN을 기반으로 구축된 학습이 필요 없는 프롬프트-투-프롬프트(prompt-to-prompt) 이미지 편집 프레임워크인 RefineEdit을 제안한다. 핵심 아이디어는 이진 이미지 코드(binary image code)의 전역적 정제를 통해 편집 위치 지정(edit localization)과 콘텐츠 생성을 결합함으로써, 이미지가 진화함에 따라 편집 근거(editing evidence)를 수정할 수 있도록 하는 것이다. 보다 구체적으로, RefineEdit은 비트 라우팅(bit routing)을 두 가지 안정화 메커니즘, 즉 적응적 공간 동결(adaptive spatial freezing)과 유한 비트 잠금(finite bit locking)과 결합한다. 비트 라우팅은 중간 원본 상태에서 시작하여 두 분기(branch) 간의 부호 있는 확률 차이를 이용해 편집 가능한 위치와 비트를 식별한다. 이는 선택된 비트를 편집 정제 방향으로 유도하는 동시에, 나머지 비트는 진화하는 원본 궤적(source trajectory)에 고정시킨다. 적응적 공간 동결은 편집 영역의 불필요한 확장을 제한하며, 유한 비트 잠금은 지속적인 편집을 지원하기 위해 최근의 비트 활성화를 유지한다. 전체 프레임워크는 추가적인 학습, 외부 마스크, 또는 어텐션 제어를 필요로 하지 않는다. PIE-Bench의 아홉 가지 편집 범주 전반에서, RefineEdit은 PSNR, LPIPS, MSE, SSIM에서 최고의 배경 보존 점수를 달성했으며, 평가된 방법들 중 전체 이미지 및 편집 영역에 대해 가장 높은 CLIP 점수를 기록했다. 코드는 https://github.com/mura1n/RefineEdit 에서 확인할 수 있다.

arXiv:2607.20883v1cs.CV공통 태그 Image Generation, Text-to-Image Generation, Image Editing

WhereEdit: 원스텝 이미지 편집을 위한 마스크 인식 로컬 잠재 편집

WhereEdit: Mask-aware Local Latent Editing for One-Step Image Editing

최근 원스텝 텍스트-투-이미지(T2I) 모델은 효율적인 이미지 합성을 가능하게 하며 실시간 이미지 편집에 새로운 기회를 제공한다. 그러나 기존 원스텝 편집 방법은 주로 의미 변환을 위해 텍스트 조건화(text conditioning)에 의존하여, 편집할 위치(where)에 대한 명시적 공간 제어가 부족하다. 더 중요한 것은, 공간적 제약이 도입되더라도 이러한 방법들은 대상 영역 내에서 강력하고 안정적인 의미 수정을 달성하는 데 종종 어려움을 겪는다는 점이다. 본 연구에서는 공간적으로 제어된 관점에서 원스텝 이미지 편집을 재검토하고 두 가지 핵심 과제를 확인한다: 편집 가능한 영역을 발견하는 것과 효과적인 국소화된 의미 변환을 달성하는 것. 기존 방법들이 전역적 의미 전송(global semantic transport)을 수행하며, 이는 원스텝 설정에서 고강도 국소 편집을 제한한다는 점을 밝힌다. 이 문제를 해결하기 위해, 원스텝 편집을 국소화 적응형 편집(localized adaptive editing)으로 재공식화하는 프레임워크 WhereEdit을 제안한다. WhereEdit은 내부 모델 특징에서 의미적으로 관련된 영역을 자동으로 식별하고, 적응형 국소 변조(adaptive local modulation)를 적용하여 대상 영역 편집을 강화하는 동시에 비대상 영역과 구조적 일관성을 보존한다. PIE-Bench 벤치마크에서의 실험은 WhereEdit이 기존 원스텝 이미지 편집 방법들을 일관되게 능가하며, 원스텝 생성의 효율성을 유지하면서 우수한 편집 품질을 달성함을 보여준다. 영역 수준 감독(region-level supervision)을 활용한 추가 실험은 고품질 원스텝 이미지 편집을 위해 명시적 공간 추론(spatial reasoning)의 중요성을 더욱 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.