정보 병목을 통한 분류기 없는 가이던스의 블랙박스 열어보기
Opening the Black Box of Classifier-Free Guidance via Information Bottleneck
한국어 초록
분류기 없는 가이던스(classifier-free guidance, CFG)는 디퓨전 모델(diffusion model)에서 조건부 생성을 개선하는 표준 기법이지만, 그 활성화 스케줄은 보통 경험적으로 선택된다. 실제로 대부분의 기존 CFG 기반 방법은 추론 전 과정에서 사전에 정의된 활성화 정책에 의존하며, 최근의 동적 변형들도 조건 정보가 언제 가장 유용한지에 대한 원칙적인 이론적 설명 없이 수작업으로 설계된 스케줄에 의존하는 경우가 많다. 조건 입력과 점수 함수(score function) 간의 정보적 관련성이 생성 과정에서 어떻게 변화하는지 이해하기 위해, 우리는 정보이론적 관점에서 가이던스가 언제 활성화되어야 하는지를 탐구한다. 본 연구에서는 디퓨전 궤적을 시간에 따라 변화하는 정보 병목(information bottleneck)으로 formalize하고, 조건 정보의 효과성이 샘플링 전 과정에서 균일하지 않으며, 피셔 정보(Fisher-information) 균형 조건으로 특징지어지는 임계 단계 이후에 상당히 강해짐을 보인다. 이러한 통찰에 기반하여, 우리는 추론 시점에 적용 가능한 학습이 필요 없는(training-free) 동적 CFG 전략을 제안한다. 사전에 고정된 스케줄을 지정하는 대신, 우리의 방법은 조건부 및 비조건부 점수 통계로부터 확률 과정(stochastic process)을 구성하고, 추정된 가이던스 이득(guidance gain)이 지정된 임계값을 넘을 때 가이던스를 활성화한다. 이는 조건 주입을 근본적인 생성 동역학과 일치시키는 적응형 활성화 규칙을 만들어내며, 동시에 구간 기반 가이던스를 극한의 특수 사례로 복원한다. 다양한 아키텍처와 과제에 걸친 광범위한 실험은 우리의 방법이 효과적이고 견고하며 널리 적용 가능함을 보여준다. 실증적 개선을 넘어, 우리의 프레임워크는 동적 가이던스 방법에 대한 해석과 조건부 디퓨전 모델에서의 추론 시점 제어를 위한 원칙적인 토대를 제공한다.
원문 초록
Classifier-free guidance (CFG) is a standard technique for improving conditional generation in diffusion models, yet its activation schedule is usually selected heuristically. In practice, most existing CFG-based methods rely on a pre-defined activation policy throughout inference, while recent dynamic variants often depend on hand-designed schedules without a principled theoretical explanation of when conditional information is most useful. In order to understand how the informational relevance between conditioning inputs and the score function evolves over the course of generation, we explore when guidance should be activated from an information-theoretic perspective. In this work, we formulate the diffusion trajectory as a time-dependent information bottleneck and show that the effectiveness of conditional information is not uniform throughout sampling, but becomes significantly stronger after a critical stage characterized by a Fisher-information balance condition. Motivated by this insight, we propose a training-free dynamic CFG strategy for inference. Rather than prescribing a fixed schedule in advance, our method constructs a stochastic process from conditional and unconditional score statistics and activates guidance when the estimated guidance gain crosses a prescribed threshold. This yields an adaptive activation rule that aligns condition injection with the underlying generation dynamics, while also recovering interval-based guidance as a limiting special case. Extensive experiments across diverse architectures and tasks, demonstrate that our method is effective, robust, and broadly applicable. Beyond empirical improvements, our framework provides an interpretation of dynamic guidance methods and a principled foundation for inference-time control in conditional diffusion models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
IB-Flow: 소수 단계 텍스트-이미지 생성을 위한 정보 병목(IB) 가이드 CFG 증류
IB-Flow: Information Bottleneck-Guided CFG Distillation for Few-Step Text-to-Image Generation
대규모 텍스트-이미지 생성 모델이 전례 없는 시각적 성능을 달성했음에도, 다중 단계 반복 솔버에 대한 내재적 의존은 심각한 추론 지연을 초래한다. Classifier-Free Guidance(CFG) 궤적을 대상으로 하는 소수 단계 증류(distillation)는 널리 쓰이는 이중 차원 압축 패러다임으로 부상했다. 그러나 기존 프레임워크는 전역적으로 고정된 가이던스 강도를 끊임없이 강제하면서 감독 타임스텝을 무차별적으로 샘플링하는 거친 블라인드 주입 패러다임에 여전히 매이고 있다. 이러한 상태 비인식(state-agnostic) 설계는 점진적 엔트로피 감소로 특징지어지는 동적 진화 과정이라는 이미지 생성의 본질을 완전히 무시하며, 소수 단계 압축의 성능 한계를 가로막을 뿐 아니라 심각한 CFG 과잉 조건화(over-conditioning) 아티팩트를 촉발한다. 이러한 한계를 넘어서기 위해, 우리는 정보 이론의 관점에서 증류 절차를 재검토하고, 이를 정보 병목(Information Bottleneck, IB) 원리로 제약된 동적 상호정보(mutual information) 게임으로 형식화한다. 구체적으로, 이중 트랙 적응형 프레임워크로 기존의 블라인드 가정을 해체한다. 주입 대상을 정하기 위해, 다루기 어려운 KL 발산 제약을 국소 벡터 필드 노름에 기반한 오버헤드 없는 폐쇄형 해로 바꾸는 인스턴스 인식(instance-aware) 선택 메커니즘을 제안한다. 주입 강도를 조절하기 위해 SNR에 맞춰 동적으로 감쇠하는 엔트로피 인식 스케줄을 도입하여, 초기 구조 앵커링에는 최대 추진력을 가하고 이후 자연 매니폴드(manifold)로 부드럽게 되돌아가 미세 디테일을 정제한다. 광범위한 실증 평가는 본 프레임워크가 과잉 조건화 아티팩트를 근본적으로 제거하고, 극도로 엄격한 2단계 구성에서도 SOTA 생성 충실도(fidelity)를 달성하며 성능 상한을 깨뜨림을 뒷받침한다.
GuidanceNFT: 가이디드 확산 모델의 NFT 기반 보상 미세조정
GuidanceNFT: NFT-Based Reward Fine-Tuning of Guided Diffusion Models
DiffusionNFT(NFT)는 작업별 보상에 맞춰 확산 모델(diffusion model)을 미세조정하지만, 이러한 보상을 최적화한다고 해서 전체 프롬프트에 대한 충실도가 보장되는 것은 아닙니다. 분류기 없는 가이던스(CFG)가 프롬프트 정렬을 강화함에도 불구하고, NFT는 CFG가 없는 방식으로 정식화되어 있어 미세조정된 속도장(velocity field)에 CFG를 적용하면 최적화된 보상이 감소할 수 있습니다. 이는 프롬프트 정렬을 유지하면서도 가이던스가 적용된 출력 분포에 대해 보상을 최적화해야 할 필요성을 제기합니다. 그러나 가이디드 샘플에 표준 NFT를 직접 적용하면 보상 저하나 학습 붕괴가 발생할 수 있습니다. 본 연구에서는 이러한 실패의 원인이 NFT 손실에 사용된 참조 속도와 가이디드 샘플 분포의 스코어 간의 불일치에 있으며, 이것이 개선 방향을 편향시킨다는 점을 밝혀냈습니다. 이에 가이디드 샘플에 대한 온라인 플로우 매칭(online flow matching)을 통해 일치하는 참조 속도를 추정하고, 이를 활용해 두 회귀 항을 보정하는 GuidanceNFT를 제안합니다. 정확한 참조가 주어지면 보정된 목적 함수는 NFT의 본래 의도된 업데이트를 회복합니다. 실험에서 학습된 보정은 명시적 가이던스와 내장형 가이던스 모두에서 보상 개선을 지속적으로 유지합니다. SD3.5-M에서 GuidanceNFT는 GenEval, 텍스트 렌더링, 다중 보상 목적 함수 전반에 걸쳐 CFG 적용 유무와 관계없이 NFT보다 더 높은 최적화 보상을 달성했으며, 도메인 외 평가 지표로 측정한 전반적인 프롬프트 정렬도 개선되었습니다. Model Guidance 및 ELF를 포함한 내장형 가이던스 모델에 대한 실험을 통해서도 ImageNet 생성 품질 향상, OpenWebText에서의 개선된 펄플렉서티(perplexity)-엔트로피 트레이드오프, 그리고 GSM8K에서의 더 높은 정확도를 추가로 입증했습니다.
스펙트럼 정렬을 통한 가이디드 확산 궤적의 보정
Correcting Guided Diffusion Trajectories with Spectral Alignment
조건부 이미지 생성의 실질적인 성공은 조건 정렬(condition alignment)과 시각적 충실도(visual fidelity)의 미세한 차이에 달려 있습니다. 분류기 없는 가이던스(CFG)는 이러한 성공의 핵심이지만, 명시적인 기준이 결여되어 있어 유도된 궤적이 의도한 대로 진행되고 있는지 평가하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 스펙트럼 정렬(spectral alignment)이 가이던스 동작을 이해하고 적응형 보정을 통해 가이디드 확산(diffusion) 샘플링을 개선할 수 있는 원리적 기준을 제공함을 보입니다. 분석 결과, 중간 상태의 스펙트럼이 순방향 과정(forward process)의 예상 스펙트럼 변화와의 일관성을 나타내는 지표임을 확인했습니다. 이러한 관찰을 바탕으로, 샘플링 중 해석적 참조 스펙트럼으로부터의 편차를 보정하는 방법인 스펙트럼 보정 가이던스(Spectral Correction Guidance)를 소개합니다. 제안된 방법은 학습(training)이 필요하지 않으며(training-free), 기본 모델을 수정하지 않고도 다양한 확산 백본 및 조건부 생성 태스크에 적용할 수 있습니다. 실험을 통해 텍스트-투-이미지 생성에서 기준선 가이던스 방법 대비 선호도 기반 지표에서 일관된 성능 향상을 보였으며, ImageNet에서 CFG 대비 생성 품질이 향상됨을 입증했습니다. 이러한 개선은 다양한 가이던스 스케일 전반과 더 적은 노이즈 제거(denoising) 스텝에서도 유지됩니다. 분석 및 절제 연구(ablation)는 가이던스 동작과 제안된 방법이 생성 품질에 미치는 영향에 대한 통찰을 제공합니다.
분류기 없는 유도를 활용한 디퓨전 활성화 양자화를 위한 결합 브랜치 공간 변환 부호화
Joint Branch-Space Transform Coding for Diffusion Activation Quantization with Classifier-Free Guidance
디퓨전 모델을 위한 사후 학습 양자화(PTQ)는 타임스텝, 특징(feature) 및 층(layer) 구조를 점점 더 적극적으로 활용하고 있습니다. 최근 연구에서 디퓨전 양자화에 분류기 없는 유도(CFG) 구조를 통합하기 시작했으나, 활성화(activation) 양자화는 여전히 조건부 및 무조건부 좌표에 걸쳐 독립적으로 작동하여 교차 활성화 구조를 활용하지 못하고 있습니다. 본 연구에서는 매칭된 CFG 활성화가 강하게 상관된 2차원 소스를 형성하며, 고정된 비트 예산 하에서 브랜치 부호화 기저의 선택이 양자화 충실도에 실질적인 영향을 미침을 보여줍니다. 이러한 관찰에 착안하여, 오프라인에서 유도된 2x2 직교 행렬을 통해 매칭된 CFG 브랜치를 회전시켜 모델 파라미터나 양자화 파이프라인의 수정을 최소화하는 브랜치 공간 변환 부호화(branch-space transform coding)를 소개합니다. 나아가 CFG 유도 방향과 브랜치 간 2차 모멘트를 결합하여 반영하는 유도-상관 브랜치 변환(GCBT)을 도출합니다. 동일 비율 양자화 노이즈 대리 지표 하에서 GCBT는 그래디언트(gradient) 최적화나 각도 탐색 없이 층별 닫힌 형태 해(closed-form solution)를 제공합니다. 기존 디퓨전 PTQ 방법론 위에 적용했을 때, GCBT는 기반이 되는 호스트 양자화 파이프라인을 변경하지 않으면서도 통계적으로 유의미한 성능 저하 없이 대부분의 평가 비교에서 통계적으로 유의미한 충실도 향상을 달성합니다.
확산 모델에서 정보의 분리 가능성
On the Separability of Information in Diffusion Models
확산 모델은 학습 단계에서 신경망에 포착된 정보를 주입하여 노이즈를 데이터로 변환한다. 본 논문에서는 이 정보가 무엇인지 묻는다. 픽셀 공간 확산 모델에서, (1) 신경망의 총 정보 중 상당 부분이 이미지의 소규모 지각적 세부 사항을 재구성하는 데 할당되어 있으며, (2) 이미지와 클래스 레이블 간의 상관관계는 이미지의 의미적 내용에 의해 형성되고 저수준 세부 사항에는 대체로 무관하다는 것을 밝힌다. 이러한 특성은 데이터 자체의 매니폴드 구조와 본질적으로 연결되어 있다고 주장한다. 마지막으로, 이러한 사실들이 classifier-free guidance의 효과를 설명함을 보인다: 가이던스 벡터는 생성 과정 초기에 이미지와 조건화 신호 간의 상호 정보를 증폭하여 의미적 구조에 영향을 미치지만, 지각적 세부 사항이 채워짐에 따라 점차 약해진다.
영공간 해소: 분류기-프리 확산을 위한 가이던스-인식 양자화
Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion
실세계 컴퓨팅 예산 하에 분류기-프리 가이던스(CFG) 확산 모델을 배포하려면 양자화가 필요하지만, 기존의 사후 학습 양자화(PTQ) 방법들은 CFG 모델을 단일 브랜치 네트워크로 취급하여 CFG 추론이 근본적으로 의존하는 조건부/비조건부 쌍 구조를 무시한다. 이 구조적 맹점은 두 가지 결과를 초래한다. 시스템 수준에서, 이중 패스 CFG 실행 패턴은 매개변수 수 및 비트 연산 지표가 완전히 감추는 지연 오버헤드를 부과하며, 범용 INT8 추론 스택은 BOPs 계산이 약속하는 이론적 효율 이득을 실현하지 못한다. 알고리즘 수준에서, 가이던스 격차만을 기준으로 보정하면 정확한 영공간이 허용된다: 양자화된 모델은 비조건부 브랜치가 임의로 표류하는 동안에도 완벽한 격차 충실도 진단을 달성할 수 있으며, 추론 시 모든 가이던스 예측을 오염시킨다. 본 논문은 이를 브랜치 드리프트 함정이라 명명하고, 그 존재를 해석적으로 증명하며, 표준 진단 기준으로 가장 잘 보정된 모델이 동시에 최악의 샘플 품질을 생성하는 위양성 결과를 통해 실험적으로 확인한다. 이 함정을 해소하기 위해 가이던스-인식 혼합 정밀도(GAMP)를 제안한다. GAMP는 가이던스된 예측을 직접 보정하고, 가이던스 출력 저하로부터 층별 활성화 비트 민감도를 도출하며, 탐욕적 배낭 알고리즘을 통해 비트를 할당함으로써 구조적으로 비조건부 브랜치 드리프트를 방지함이 증명 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to NeurIPS 2026