arXiv:2608.03135v1 cs.CV

수정 후 확산: 노이즈 제거 궤적이 전개되기 전 개념 분리하기

Rectify Then Diffuse: Disentangling Concepts Before Denoising Trajectory Unfolds

Ning Zhu, An Chen, Mengfei Zhao, Juntao Xu, Jingze Liang, Boyuan Gu, Liang-Jian Deng

제출 2026-08-04

한국어 초록

텍스트-이미지 확산 모델(Text-to-image diffusion models)은 단일 개념을 잘 생성하지만, 여러 개념이 주어질 경우 개념을 누락하거나 잘못 병합하는 경우가 많습니다. 본 논문에서는 이러한 실패의 원인을 초기 조정 병목 현상(early coordination bottleneck)에서 찾았습니다. 즉, 노이즈 제거(denoising)가 시작되기 전에 프롬프트 조건부 어텐션(prompt-conditioned attention)이 서로 다른 개념들을 강하게 겹치는 공간적 지지 영역에 할당할 수 있으며, 이는 노이즈 제거가 진행됨에 따라 이들의 어텐션이 결합된 상태를 유지하게 만들 수 있습니다. 이러한 관찰은 조합형 생성(compositional generation)을 지속적으로 진화하는 궤적을 제어하는 방식 대신 경계 조건 문제(boundary-condition problem)로 다루도록 동기를 부여합니다. 이를 위해, 표준 노이즈 제거 이전에 초기 할당을 한 번 수정하는 학습 불필요(training-free) 프레임워크인 Rectify-then-Diffuse(RTD)를 제안합니다. 첫째로, 파일럿 개념 맵 간의 정규화된 중첩을 미분 가능하고 레이아웃에 구애받지 않는 분리 목적으로 변환하는 Soft-Overlap Disentanglement(SOD)를 제안합니다. 둘째로, SOD 그래디언트를 정규화하고 프롬프트 및 초기화 전반에 걸쳐 일관된 스케일로 유계 잠재 변위(bounded latent displacement)를 적용하는 Isotropic Gradient Rectification(IGR)을 도입합니다. 광범위한 실험을 통해 RTD가 최고 수준의 조합 충실도(compositional fidelity)와 강건한 성능 향상을 달성함을 보여줍니다. AE-Bench 객체 쌍 서브셋에서 RTD는 CO3 대비 2.3배 더 빠르게 실행되면서도 BLIP-VQA를 45.8%, ImageReward를 19.6% 향상시킵니다. 코드는 https://github.com/Z-yiwei/rectify-then-diffuse 에서 공개될 예정입니다.

원문 초록

Text-to-image diffusion models can generate individual concepts well, but they often omit or merge concepts incorrectly with multiple concepts. We trace these failures to an early coordination bottleneck: before denoising begins, prompt-conditioned attention may allocate different concepts to strongly overlapping spatial support, which can keep their attention coupled as denoising proceeds. This observation motivates treating compositional generation as a boundary-condition problem rather than repeatedly controlling the evolving trajectory. To this end, we propose Rectify-then-Diffuse (RTD), a training-free framework that rectifies the initial allocation once before standard denoising. Firstly, we propose Soft-Overlap Disentanglement (SOD), which converts normalized overlap between pilot concept maps into a differentiable and layout-agnostic separation objective. Secondly, we introduce Isotropic Gradient Rectification (IGR), which normalizes the SOD gradient and applies a bounded latent displacement with a consistent scale across prompts and initializations. Extensive experiments show that RTD achieves state-of-the-art compositional fidelity and robust gains. On the AE-Bench object pair subset, RTD improves BLIP-VQA by 45.8% and ImageReward by 19.6% over CO3 while running 2.3$\times$ faster. Code will be released at https://github.com/Z-yiwei/rectify-then-diffuse

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.03135v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.