arXiv:2511.05940v3 math.OC

생성형 확산 모델에 대한 편미분방정식 관점

A PDE Perspective on Generative Diffusion Models

Kang Liu, Enrique Zuazua

제출 2025-11-08

저자 비고

arXiv Comments

39 pages, 4 figures

한국어 초록

점수 기반 확산 모델(score-based diffusion models)은 다양한 영역에 성공적으로 적용되며 강력한 생성 기법의 한 분류로 부상했습니다. 이러한 경험적 성공에도 불구하고, 그 역학의 기초가 되는 확률미분방정식 및 편미분방정식(PDE)의 안정성과 일관성에 대한 수학적 토대는 여전히 부분적으로만 이해되고 있습니다. 본 연구에서는 콤팩트 지지(compactly supported)를 갖는 데이터 측도의 열류(heat flow)와 연계된 점수 기반 확산 과정을 위한 편미분방정식 프레임워크를 개발합니다. 양의 시간 구간에서 약한 적합성(weak well-posedness)을 확립한 후, 스코어에 대한 날카로운 일측 발산 한계(sharp one-sided divergence bound)를 유도하고 이를 사용하여 생성 포커-플랑크(Fokker--Planck) 방정식에 대한 엄밀한 균일 $L^p$-안정성 추정치를 도출합니다. 이 한계는 리-야우(Li--Yau) 미분 부등식의 유클리드 형태입니다. 엔트로피 안정성 기법을 통해, 유한한 절대 엔트로피와 2차 모멘트를 갖는 양의 종단 밀도에 대해 $t\to0^+$일 때 생성된 법칙들이 데이터 지지집합(data support) 상에 지지되는 확률 측도로 2-바서슈타인(Wasserstein) 거리에서 $\sqrt t$ 속도로 수렴함을 증명합니다. 이는 결정론적 생성과 확률적 생성 모두에 적용됩니다. 결정론적 경우에서는 거의 모든 궤적이 데이터 지지집합의 한 점으로 수렴하며, 경험적 데이터에 대해서는 궤적별 제곱근 속도(trajectory-wise square-root rate)를 추가로 도출합니다. 이러한 결과는 정확한 스코어 역학이 데이터 분포를 반드시 복원하지 않고도 어떻게 데이터 지지집합으로 집중되는지를 명확히 보여줍니다. 명시적으로 해석 가능한 사례를 통해 극한 가중치와 이것이 가우시안 초기화(initialization)에 의존함을 규명하며, 상대 엔트로피 추정치를 통해 스코어 근사의 영향을 정량화합니다. 종합적으로, 이러한 결과들은 안정성 및 집중 메커니즘을 스코어 학습 및 조기 종료(early stopping)와 연결하여 모방 충실도와 생성 다양성 간의 균형에 대한 수학적 관점을 제공합니다.

원문 초록

Score-based diffusion models have emerged as a powerful class of generative methods, with successful applications across diverse domains. Despite their empirical success, their mathematical foundations remain only partially understood, particularly regarding the stability and consistency of the stochastic and partial differential equations underlying their dynamics. In this work, we develop a partial differential equation (PDE) framework for score-based diffusion processes associated with the heat flow of a compactly supported data measure. After establishing weak well-posedness on positive-time intervals, we derive a sharp one-sided divergence bound for the score and use it to obtain sharp uniform $L^p$-stability estimates for the generative Fokker--Planck equation. This bound is the Euclidean form of the Li--Yau differential inequality. Through entropy stability methods, we prove that the generated laws converge in the $2$-Wasserstein distance at rate $\sqrt t$ as $t\to0^+$ to a probability measure supported on the data support. This holds for both deterministic and stochastic generation, for positive terminal densities with finite absolute entropy and second moment. In the deterministic case, almost every trajectory converges to a point of the data support; for empirical data, we further obtain a trajectory-wise square-root rate. These results clarify how exact-score dynamics concentrate on the data support without necessarily recovering the data distribution. An explicitly solvable case identifies the limiting weights and their dependence on Gaussian initialization, while a relative-entropy estimate quantifies the effect of score approximation. Together, these findings connect the stability and concentration mechanisms with score learning and early stopping, providing a mathematical perspective on the balance between imitation fidelity and generative diversity.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.05940v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.27954v1stat.ML공통 태그 Density Estimation, diffusion models, score-based generative models

점수 추정을 위한 국소 Fokker-Planck 기하학: 열 구(heat-ball) 평균값 표현과 정확한 고차원 샘플링

Local Fokker--Planck Geometry for Score Estimation: Heat-Ball Mean-Value Representations and Exact High-Dimensional Sampling

점수 기반 생성 모델(score-based generative models)과 Langevin 샘pler는 전방 확산(forward diffusion)의 점수 함수 $\nabla_x\log p_t(x)$ 추정에 의존한다. 고전적으로 drift가 선형일 때는 이 문제가 다루기 쉽다: 한계 밀도(marginal density)는 가우시안이며 점수는 전역 조건부 기대값(global conditional expectation)이다. 일반적인 비선형, 상태 의존(state-dependent) drift의 경우 한계 밀도는 폐형(closed form)이 없으며, 기존 방법—디노이징 점수 매칭(denoising score matching)과 전역 Fokker-Planck 잔차(residual) 페널티—는 저밀도(low-density) 영역, 즉 정확도가 가장 중요한 바로 그 영역에서 추정 오차를 키우는 전역 평균화(global averaging)에 의존한다. 이를 해결하기 위해 전역 조건화(global conditioning)를 국소 포물형(parabolic) 평균화로 대체하는 국소 Fokker-Planck 기하학적 프레임워크를 개발한다. 본 접근법은 세 가지 기여에 기반한다. 첫째, 누적 분산(cumulative-variance) 좌표로의 시간 변환(time change)을 통해 변수 계수(variable-coefficient) Fokker-Planck 방정식을 표준 비균질(inhomogeneous) 열 방정식으로 축소하고, Evans의 고전적 열 구(heat-ball) 단조성(monotonicity) 방법을 확장하여 점수 $\nabla_x\log p$와 밀도, 로그 밀도, 엔트로피 밀도에 대한 정확한 국소 평균값 표현(local mean-value representations)을 유도한다; 명시적 차원 의존 drift 예산(drift budget) 하에서 국소 적절성(local well-posedness)을 확립한다. 둘째, 이로부터 얻어지는 열 구 적분의 고차원 Monte Carlo 평가를 위해 $κ$-measure를 도입하고, 표본당 단위 가중치(unit per-sample weight)와 $χ^2_2$ 방사형 집중(radial concentration)을 갖는 정확한 인수분해 샘pler(factorized sampler)를 유도한다. 셋째, 열 구 잔차(heat-ball residual)의 $r\to0$ 극한은 점별(pointwise) Fokker-Planck 잔차를 복원하며, 국소 프레임워크가 전역 FP-잔차 방법의 일매개변수(one-parameter) 일반화임을, 그리고 DSM 모집단 최소화자(population minimizer)가 모든 스케일에서 열 구 제약(heat-ball constraint)에 대해 실행 가능(feasible)함을 보인다. 2D 구조화 데이터와 256차원 MNIST에서 프레임워크를 검증하고, 집중 법칙(concentration laws)을 확인하는 전용 샘pler 연구를 수행한다.

arXiv:2610.13851v1stat.ML공통 태그 Density Estimation, diffusion models

완전 이산 조건부 확산 모델에 대한 유한 표본 보장

Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models

본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.

arXiv:2610.10875v1cs.LG공통 태그 Density Estimation, diffusion models

Barron 최적 수송 I: 생성 모델링

Barron Optimal Transport I: Generative Modeling

생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.

arXiv:2609.27546v1math.ST공통 태그 Density Estimation, diffusion models

분포 변화 하에서 확산 모델의 강건성

Robustness of Diffusion Models under Distribution Shift

스코어 기반 확산 모델(score-based diffusion models)은 기저 데이터 분포가 학습(training) 분포와 다를 수 있는 환경에서 점차 많이 고려되고 있으나, 기존의 이론적 보장은 주로 분포 변화가 없는 환경에 초점을 맞추고 있습니다. 본 연구에서는 기준 분포의 바서슈타인 섭동(Wasserstein perturbations) 하에서 강건한 스코어 추정을 연구합니다. 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 확산에 대해, 강건한 추정이 두 가지 핵심 요소, 즉 기준 분포를 학습하는 데 따르는 통계적 비용과 분포 변화 자체의 본질적 비용으로 분해됨을 보입니다. 후자는 바서슈타인 반경에 대해 2차(quadratically)로 스케일링되며, 이러한 의존성은 미니맥스 최적(minimax optimal)입니다. 우리는 변화 반경을 알지 못하더라도 도출된 강건한 미니맥스 속도를 달성하는 명시적인 유한 표본 추정기를 구성합니다. 기준 분포가 미지의 저차원 부분공간에 놓여 있을 때, 통계적 항은 본질적 차원에 적응하는 반면 변화 비용은 변하지 않은 채 유지됩니다. 마지막으로, 우리는 동일한 분해가 양의 시간 역방향 샘플링(positive-time reverse sampling)에도 적용됨을 보이고 KL 발산에서 일치하는 미니맥스 보장을 도출합니다. 종합적으로, 이러한 결과들은 유한한 데이터, 본질적 차원, 그리고 분포 변화가 스코어 기반 확산 모델의 강건성에 미치는 영향을 규명합니다.

arXiv:2609.13047v2cs.AI공통 태그 Density Estimation, diffusion models

확산 모델과 개념 형성

Diffusion Models and Concept Formation

인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.