Text-guided diffusion inversion is central to image editing, where an image is mapped to an initial latent and then edited by replaying the denoising process under a modified prompt. In practice, however, inversion is often performed with a lower classifier-free guidance(CFG) scale than the one used for generation or editing. This mismatch is empirically useful but leaves a basic question unresolved: when a target image is generated by a high-CFG trajectory, when can that trajectory actually be inverted? We study this question in a controlled generation--inversion--reconstruction setting, where the true initial latent and denoising trajectory are known. Using prompts taken from an existing diffusion-editing benchmark, we generate images under high CFG and reconstruct them with fixed-point inversion using the same prompt and guidance setting. The results reveal three types of prompt-level reconstruction behavior: easy prompts that reconstruct for most initial latents, hard prompts that fail for most initial latents, and intermediate prompts whose success depends on the prompt--latent pairing. To analyze the generation side, we define prompt pressure, a step-wise measure of how strongly CFG moves the denoising update away from the unconditional trajectory. Total pressure correlates with reconstruction quality and separates easy from hard prompts, but it does not explain the success or failure of intermediate prompt--latent pairs. Text-side analyses further show that the main visual subject and wording can change inversion difficulty. Finally, we evaluate a compact trajectory-consistency intervention that relaxes guidance only at locally unstable inverse steps. This diagnostic check improves reconstruction and Prompt-to-Prompt editing in our controlled setting, supporting the view that high-CFG inversion failure requires local, trajectory-aware analysis.
사전학습된 텍스트-이미지 플로우 모델을 이용한 이미지 편집은 일반적으로 원하는 프롬프트에 대한 목표 정렬(target alignment)과 원본 이미지에 대한 소스 일관성(source consistency) 사이의 균형을 신중하게 맞출 것을 요구합니다. 기존 접근법들은 역변환(inversion) 기반 파이프라인이나 경험적(heuristic) 소스-목표 궤적 구성에 의존하는데, 이는 흔히 아키텍처 특화 설계에 의존하거나 하이퍼파라미터에 민감합니다. 본 논문에서 우리는 학습이 필요 없고 이론적으로 근거를 갖춘 플로우 기반 편집 프레임워크인 h-Flow를 제안합니다. Doob의 $h$-변환에서 영감을 받아, 우리는 이미지 편집을 소스 일관성과 목표 정렬에 해당하는 다중 종단 이벤트(terminal events) 하의 조건부 생성으로 재정식화합니다. 우리는 먼저 동일한 주변 분포(marginals)를 갖는 동등한 SDE를 구성함으로써 고전적인 $h$-변환을 SDE 기반 모델에서 결정론적 RF 프레임워크로 확장합니다. 이 정식화 내에서, 소스 일관성과 목표 정렬을 위한 전용 $h$-함수를 설계하여 닫힌 형식(closed-form)의 재구성 가이던스와 속도 기반(velocity-based) 의미론적 편집 신호를 도출합니다. 나아가 재구성 방향과 편집 방향을 분리하기 위한 속도 직교 분해(velocity orthogonal decomposition)를 도입하여 두 목표 사이의 제어 가능한 트레이드오프를 가능하게 합니다. 광범위한 실험을 통해 h-Flow가 다양한 시나리오에서 효과적이고 강건하며 유연한 편집을 달성함을 입증합니다. 코드는 곧 공개될 예정입니다.
실제 이미지 확산 역변환(diffusion inversion)은 엄격한 품질-비용 트레이드오프에 의해 결정되며, 비용은 연산, 저장, 또는 이미지별 최적화에서 발생한다. 우리는 확산 궤적을 정의하는 순방향 가우시안 노이즈 앵커(Gaussian noise anchor)를 통해 이 트레이드오프를 연구하고, 효과적인 저장 노이즈 역변환 이면에 있는 두 가지 메커니즘을 분리한다. 첫째, 확산 노이즈는 요소별(element-wise) 압축 비대칭성을 보인다: int8 전차원 앵커는 재구성을 보존하는 반면, 저차원 부분공간(subspace) 요약은 신뢰도가 훨씬 낮으며, 비슷하거나 더 작은 페이로드에서도 종종 붕괴된다; 요소별 대 부분공간 순서는 다섯 가지 저장 노이즈 역변환 방법 전반에 걸쳐 일관되게 유지된다. 둘째, 역변환은 궤적 종속적이며 스코어 사전(score prior)과 결합되어 있다: 매칭된 순방향 앵커와 학습된 스코어 네트워크가 모두 필요하며, 이는 순수한 대수적 항등식 설명에 반하는 주장이다. 이러한 발견들은 함께 무엇을 저장하고 어떻게 사용할지를 명시한다. 이는 Noise-Anchored Reverse Correction(NARC)으로 이어지는데, 이는 단일 int8 잠재 앵커(latent anchor)를 저장하고 고정된 노이즈 수준 의존적 앵커-가중치(anchor-weight) 스케줄로 재사용하는 학습이 필요 없는 역변환 기본 연산이다: 역방향 궤적이 노이즈 지배적일 때는 강한 앵커링을, 이미지 세부 사항이 나타남에 따라 완화된 앵커링을 적용한다. Stable Diffusion 1.5를 사용한 PIE-Bench++에서 NARC는 다섯 가지 현대적인 비정확 기준 모델을 능가하며, PnP DirectInv 대비 PSNR을 +3.24 dB 향상시키면서 PnP DirectInv보다 약 400배 적은 역변환 저장 공간을 사용한다. 압축 비대칭성, 앵커 특이성(anchor specificity), 그리고 편집 플러그인은 SDXL 1024²에도 전이된다.
텍스트 기반 디퓨전 모델은 실제 이미지의 시각적 편집을 위한 효과적인 도구로 자리잡았으며, 편집된 이미지는 목표 지시를 따르면서 편집과 무관한 구조를 보존해야 한다. 학습이 필요 없는 대부분의 편집기는 인버전(inversion)에 의존한다. 즉, 소스 이미지를 잡음이 있는 잠재 궤적(latent trajectory)에 매핑하고, 말단 잠재 값을 목표 프롬프트 디노이징에 재사용한다. 이러한 재사용은 구조 보존에 유용하지만, 소스 재구성과 목표 편집을 결합시키는 문제도 초래한다. 그 결과로 발생하는 궤적 불일치는 배경·레이아웃 세부 사항을 손상시키거나 의도된 편집을 과도하게 제약할 수 있다. 본 논문은 구조 보존 시각적 편집을 위한 학습이 필요 없는 역방향 일관성 가이던스 프레임워크인 Consistent-Inversion을 제안한다. 인버팅된 소스 잠재 값을 고정된 초기화로 취급하는 대신, Consistent-Inversion은 소스 프롬프트 하에서 중간 목표 궤적을 소스 인버전 궤적 방향으로 역전시킬 수 있는지 확인한다. 이 확인을 명확히 정의하기 위해 보조적인 목표 측 노이즈 표현을 구성하고, 소스 기반 역방향 디노이징을 수행하며, 결과로 얻어진 역방향 일관성 불일치를 선택된 초기 목표 디노이징 단계의 보정 신호로 활용한다. 이 방법은 모델 파라미터를 업데이트하지 않으며, 인버전 기반 편집기와 호환되고, 희소하게 적용할 때 추론 오버헤드를 최소화한다. PIE-Bench에서의 실험은 Consistent-Inversion이 통합된 SD3.5 프로토콜 하에서 배경 및 구조적 충실도를 향상시키면서 목표 프롬프트 정렬을 유지함을 보여주며, 호환성 실험을 통해 동일한 보정 원리가 고전적인 Stable Diffusion 인버전 파이프라인에서도 검증된다.