Unveil Conditional Diffusion Models with Classifier-free Guidance: A Sharp Statistical Theory
원문 초록
Conditional diffusion models serve as the foundation of modern image synthesis and find extensive application in fields like computational biology and reinforcement learning. In these applications, conditional diffusion models incorporate various conditional information, such as prompt input, to guide the sample generation towards desired properties. Despite the empirical success, theory of conditional diffusion models is largely missing. This paper bridges this gap by presenting a sharp statistical theory of distribution estimation using conditional diffusion models. Our analysis yields a sample complexity bound that adapts to the smoothness of the data distribution and matches the minimax lower bound. The key to our theoretical development lies in an approximation result for the conditional score function, which relies on a novel diffused Taylor approximation technique. Moreover, we demonstrate the utility of our statistical theory in elucidating the performance of conditional diffusion models across diverse applications, including model-based transition kernel estimation in reinforcement learning, solving inverse problems, and reward conditioned sample generation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DOHF: 둡의 $h$-변환 가이던스를 활용한 온라인 확산 모델 미세조정
DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance
보상(reward) 기반 확산 모델 미세조정(diffusion fine-tuning)은 바람직한 결과가 드물게 발생하거나 조건부 보정(conditioning correction)을 추정하는 데 많은 비용이 들 때 실질적인 한계에 직면합니다. 본 연구에서는 둡의 $h$-변환(Doob's $h$-transform)을 실용적인 온라인 학습 알고리즘으로 전환한 DOHF(Diffusion Online $h$-guidance Fine-tuning)를 제안합니다. DOHF는 생성된 샘플에 최적성 가중치를 부여하고, 현재 롤아웃(rollout) 정책 하에서 정규화된 국소 보정치 $\nabla\log h$를 추정한 후, 이를 생성 모델(generative model)에 직접 증류(distill)합니다. 이론적으로는 통일된 $h$-변환 관점을 통해 모집단 최적 DiffusionNFT 업데이트와 다양한 분류기 없는 가이던스(classifier-free guidance) 기법들을 규명합니다. 방법론적으로 본 프레임워크는 추가적인 네트워크 평가 없이도 블랙박스 및 미분 불가능한 보상을 수용할 수 있습니다. 나아가 세 가지 실험적 시나리오에서 향상된 정렬(alignment) 성능을 입증합니다. 본 연구는 저비용 추정과 반복적 증류를 통한 확률적 조건화의 적용이 통계적 샘플링 및 시각적 생성 전반에서 생성 학습을 어떻게 개선할 수 있는지를 보여줍니다.
WTF?! Wasserstein-Tilted Flow Maps를 이용한 시뮬레이션 없는 강화학습
WTF?! Simulation-Free Reinforcement Learning with Wasserstein-Tilted Flow Maps
보상 미세조정은 사전학습된 플로 기반 생성 모델을 갱신하여 생성 샘플의 하류 보상을 높이는 것을 목표로 한다. 기존 방법들은 대개 이 문제를 보상 기울임(reward-tilted) 분포에서의 샘플링, 즉 KL 정규화된 보상 최대화 문제의 해로 공식화한다. 본 연구에서는 사전학습된 drift로부터 직접 구성한 최적 수송(optimal transport) 정규화 항을 도입한다. KL 보상 기울임과 달리, 이렇게 얻은 목적 함수는 기본 분포를 재가중하는 대신 개별 샘플을 더 높은 보상 쪽으로 수송한다. 우리는 이 문제가 플로 상의 결정론적 최적 제어 문제와 동등함을 보인다. 사전학습된 플로 맵이 주어지면, 이 동등성은 생성 플로 미세조정을 위한 시뮬레이션 없는(simulation-free) 강화학습 알고리즘을 제공한다. 이 프레임워크를 Wasserstein-Tilted Flow Maps(WTF)라 부르며, 이는 플로 맵에 고유한 최초의 end-to-end 미세조정 레시피이다. 그 결과로 얻는 것은 사후 증류(post-hoc distillation) 없이도 적은 스텝 추론 예산에서 강한 보상 정렬 성능을 유지하는 미세조정된 플로 맵이다. ImageNet-256 및 text-to-image 실험에서 WTF는 기준선과 비교해 동등하거나 더 높은 다양성을 유지하면서 더 높은 보상을 달성하며, 학습 연산량은 최대 $280\times$만큼 적게 든다. 더 넓게, 플로 맵과 같은 가속 샘플러는 효율적인 사후 학습을 위한 필수 인프라이며, 지배적인 KL 정규화 공식화는 재검토할 가치가 있는 여러 선택지 중 하나에 불과하다고 주장한다.
Reasoning on a Budget: Miniaturizing DeepSeek R1 with SFT-GRPO Alignment for Instruction-Tuned LLMs
Meta Reinforcement Learning for Multi-Task Offloading in Vehicular Edge Computing
Investigating the Performance and Reliability, of the Q-Learning Algorithm in Various Unknown Environments
Margin Trader: A Reinforcement Learning Framework for Portfolio Management with Margin and Constraints
토론
이 논문과 연결된 포럼 글이 아직 없습니다.