텍스트-이미지 확산 모델에서 객체 의존적 개념 취약성 해석
Interpreting Object-Dependent Concept Brittleness in Text-to-Image Diffusion Models
한국어 초록
텍스트-이미지 확산 모델(text-to-image diffusion model)은 일반적으로 강력한 프롬프트 수행 능력을 보이지만, 객체만 다른 소수의 프롬프트가 동일한 생성 설정에서도 동일한 목표 개념을 일관되게 구현하지 못하는, 지속적이면서도 그동안 충분히 탐구되지 않은 실패 패턴을 확인하였다. 우리는 이 현상을 객체 의존적 개념 취약성(object-dependent concept brittleness)이라 명명한다. 이러한 사례는 무작위 샘플링 노이즈가 아니라 모델 내부의 체계적인 사각지대가 존재함을 시사한다. 본 논문에서는 이러한 실패를 감사(audit)하고 최소한으로 교정하기 위한 해석 가능성 중심의 프레임워크를 제시한다. 핵심 아이디어는 단계별 희소 오토인코더(sparse autoencoder, SAE) 공간에서 디노이징 궤적을 분석하는 것으로, 이 공간에서는 추상적인 스타일 및 속성 개념이 원래의 디노이징 표현에서보다 더 잘 분리된다. 이 희소 공간을 통해 성공한 생성과 실패한 생성을 비교하고, 근거가 누락되었거나 약해졌거나 시간적으로 지연된 개념 차원을 식별하며, 신뢰할 수 있고 클래스 일관성이 있는 샘플로부터 클래스 수준의 개념 프로토타입을 구성할 수 있다. 이러한 감사 과정을 바탕으로, SAE 공간에서 디노이징 특징을 해당 프로토타입 쪽으로 보간하는 경량의 추론 시점 교정 전략을 도입한다. 이 개입은 특정 과제를 위한 재학습 방법이 아니라, 진단된 개념 결핍에 대한 검증 역할을 한다. 우리는 여러 확산 백본에 걸친 스타일 및 속성 실패 사례에서 제안한 프레임워크를 평가하였으며, 개념 일관성, 텍스트 충실도, 교정 성공률이 크게 향상되었다. 추가 분석 결과, 더 깊은 디노이징 표현일수록 더 명확한 개념 구조를 제공하고, 초기 단계의 개입이 가장 강력한 교정 효과를 낸다는 점이 나타났다. 코드는 https://github.com/Metecade/Object-Dependent-Concept-Brittleness 에서 확인할 수 있다.
원문 초록
Although text-to-image diffusion models generally exhibit strong prompt-following ability, we identify a persistent and previously underexplored failure pattern in which a small subset of prompts differing only in the object consistently fails to realize the same target concept under identical generation settings. We term this phenomenon object-dependent concept brittleness. Such cases suggest systematic internal blind spots rather than random sampling noise. In this paper, we present an interpretability-oriented framework to audit and minimally correct these failures. Our key idea is to analyze denoising trajectories in a step-wise sparse autoencoder (SAE) space, where abstract style and attribute concepts become more separable than in the raw denoising representation. This sparse space enables us to compare successful and failed generations, identify concept dimensions whose evidence is missing, weakened, or temporally delayed, and construct class-level concept prototypes from reliable class-consistent samples. Based on this audit process, we introduce a lightweight inference-time correction strategy that interpolates denoising features toward the corresponding prototype in SAE space. Rather than serving as a task-specific retraining method, this intervention acts as a validation of the diagnosed concept deficiency. We evaluate the proposed framework on style and attribute failure cases across multiple diffusion backbones, with significant improvements in concept consistency, text fidelity, and repair success. Further analyses show that deeper denoising representations provide clearer concept structure, while early-stage intervention offers the strongest correction leverage. Code is available at https://github.com/Metecade/Object-Dependent-Concept-Brittleness.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.09909v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.