arXiv:2602.13585v3 cs.CV

Diff-Aid: 정류 텍스트-이미지 생성을 위한 추론 시점 적응형 상호작용 디노이징

Diff-Aid: Inference-time Adaptive Interaction Denoising for Rectified Text-to-Image Generation

Binglei Li, Mengping Yang, Zhiyu Tan, Qiang Xiang, Junping Zhang, Hao Li

제출 2026-11-13

한국어 초록

최근 텍스트-이미지(T2I) 확산 모델은 놀라운 발전을 이루었으나, 텍스트와 시각 특징 간의 상호작용이 부족하여 복잡한 텍스트 설명을 충실히 따르는 것은 여전히 어렵다. 기존 접근법은 구조 설계나 수작업 텍스트 조건 가중치로 이러한 상호작용을 강화하지만, 유연성이 부족하고 서로 다른 블록과 디노이징 단계에 걸친 동적 상호작용을 간과한다. 이 문제에 대한 더 유연하고 효율적인 해법을 제공하기 위해, 우리는 트랜스포머 블록과 디노이징 시간 단계에 걸쳐 토큰별 텍스트-이미지 상호작용을 적응적으로 조정하는 경량 추론 시점 방법인 Diff-Aid를 제안한다. 생성 품질을 개선하는 것을 넘어, Diff-Aid는 디노이징 중에 서로 다른 블록, 시간 단계, 텍스트 토큰이 의미 정렬에 어떻게 기여하는지를 보여 주는 해석 가능한 변조 패턴을 제공한다. 플러그 앤 플레이 모듈로서 Diff-Aid는 스타일 LoRA, 제어 가능한 생성, 제로샷 편집을 비롯한 하위 응용에 원활하게 통합되어 추가적인 개선을 가져올 수 있다. 강력한 베이스라인(SD 3.5 및 FLUX)에 대한 실험에서 다양한 지표에 걸쳐 프롬프트 충실도, 시각 품질, 인간 선호도가 일관되게 향상됨을 확인하였다. 코드와 모델은 공개될 예정이다.

원문 초록

Recent text-to-image (T2I) diffusion models have achieved remarkable advancement, yet faithfully following complex textual descriptions remains challenging due to insufficient interactions between textual and visual features. Prior approaches enhance such interactions via architectural design or handcrafted textual condition weighting, but lack flexibility and overlook the dynamic interactions across different blocks and denoising stages. To provide a more flexible and efficient solution to this problem, we propose Diff-Aid, a lightweight inference-time method that adaptively adjusts per-token text and image interactions across transformer blocks and denoising timesteps. Beyond improving generation quality, Diff-Aid yields interpretable modulation patterns that reveal how different blocks, timesteps, and textual tokens contribute to semantic alignment during denoising. As a plug-and-play module, Diff-Aid can be seamlessly integrated into downstream applications for further improvement, including style LoRAs, controllable generation, and zero-shot editing. Experiments on strong baselines (SD 3.5 and FLUX) demonstrate consistent improvements in prompt adherence, visual quality, and human preference across various metrics. Our code and models will be released.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.13585v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.