Score-based diffusion models are typically trained by minimizing the $L^2$ score matching error, and standard theoretical analyses rely on this quantity to bound the sampling discrepancy between the learned and target distributions. Recent work has shown that the score admits an orthogonal decomposition into gradient and solenoidal components in which only the gradient part matters for exact sampling. We apply this decomposition to the score error of trained models and study its quantitative consequences. Since only the gradient component of the error enters the marginal Fokker-Planck dynamics, a model can incur arbitrarily large $L^2$ score error while perfectly matching the target. Starting from this observation, we present three results. First, we derive an upper bound on the Kullback-Leibler divergence that depends only on the observable gradient component of the error. It tightens the standard Girsanov bound for generic score networks and identifies that bound's looseness as the cost of working with path-space rather than marginal-space dynamics. Second, we prove that no non-trivial function of the $L^2$ score error can uniformly lower bound any divergence between the learned and target distributions. Third, we give an estimator of the gradient component, computable from denoising score matching residuals via a dual Sobolev identity, which empirically correlates substantially better with sample quality than the full $L^2$ error.
점수 기반 확산 모델(score-based diffusion models)은 다양한 영역에 성공적으로 적용되며 강력한 생성 기법의 한 분류로 부상했습니다. 이러한 경험적 성공에도 불구하고, 그 역학의 기초가 되는 확률미분방정식 및 편미분방정식(PDE)의 안정성과 일관성에 대한 수학적 토대는 여전히 부분적으로만 이해되고 있습니다. 본 연구에서는 콤팩트 지지(compactly supported)를 갖는 데이터 측도의 열류(heat flow)와 연계된 점수 기반 확산 과정을 위한 편미분방정식 프레임워크를 개발합니다. 양의 시간 구간에서 약한 적합성(weak well-posedness)을 확립한 후, 스코어에 대한 날카로운 일측 발산 한계(sharp one-sided divergence bound)를 유도하고 이를 사용하여 생성 포커-플랑크(Fokker--Planck) 방정식에 대한 엄밀한 균일 $L^p$-안정성 추정치를 도출합니다. 이 한계는 리-야우(Li--Yau) 미분 부등식의 유클리드 형태입니다. 엔트로피 안정성 기법을 통해, 유한한 절대 엔트로피와 2차 모멘트를 갖는 양의 종단 밀도에 대해 $t\to0^+$일 때 생성된 법칙들이 데이터 지지집합(data support) 상에 지지되는 확률 측도로 2-바서슈타인(Wasserstein) 거리에서 $\sqrt t$ 속도로 수렴함을 증명합니다. 이는 결정론적 생성과 확률적 생성 모두에 적용됩니다. 결정론적 경우에서는 거의 모든 궤적이 데이터 지지집합의 한 점으로 수렴하며, 경험적 데이터에 대해서는 궤적별 제곱근 속도(trajectory-wise square-root rate)를 추가로 도출합니다. 이러한 결과는 정확한 스코어 역학이 데이터 분포를 반드시 복원하지 않고도 어떻게 데이터 지지집합으로 집중되는지를 명확히 보여줍니다. 명시적으로 해석 가능한 사례를 통해 극한 가중치와 이것이 가우시안 초기화(initialization)에 의존함을 규명하며, 상대 엔트로피 추정치를 통해 스코어 근사의 영향을 정량화합니다. 종합적으로, 이러한 결과들은 안정성 및 집중 메커니즘을 스코어 학습 및 조기 종료(early stopping)와 연결하여 모방 충실도와 생성 다양성 간의 균형에 대한 수학적 관점을 제공합니다.
점수 기반 생성 모델(Score-based Generative Models, SGM)은 광범위한 응용 분야에서 데이터 생성에 있어 인상적인 성능을 달성해 왔습니다. 샘플링 절차의 통계적 특성은 점차 잘 이해되고 있는 반면, 학습의 기초가 되는 최적화 역학(optimization dynamics)에 대한 탐구는 여전히 상대적으로 미흡합니다. SGM은 일반적으로 가중치 적용 잡음 제거 점수 매칭(weighted denoising score-matching) 목적 함수를 최소화하여 학습되지만, 확률적 그래디언트를 이용한 최적화 보장은 여전히 제한적입니다. 본 연구에서는 SGM을 위한 확률적 경사하강법(SGD)을 연구하고 상호보완적인 두 가지 영역에서 결과를 도출합니다. 일반적인 점수 매개변수화에 대해 가중치 적용 잡음 제거 점수 매칭 목적 함수에 대한 SGD의 비볼록(non-convex) 분석을 도출하여, 결과로 얻어지는 최적화 경계(optimization bound)가 손실 가중치 및 시간 샘플링 분포에 어떻게 의존하는지 명확히 규명합니다. 이어서 과매개변수화된 2개 층 렐루(ReLU) 네트워크를 고려하고 확률적 그래디언트를 사용한 확산 학습에 맞춘 신경 탄젠트 커널(Neural Tangent Kernel) 분석을 개발하여, SGD 궤적을 따른 점수 근사 오차 경계를 제시합니다. 본 분석은 이러한 경계에서 재가중 인자(reweighting factor)의 역할을 정량화하여, 실제로 사용되는 가중치 선택에 대한 이론적 특성을 규명합니다.
우리는 스코어 기반 생성 모델(SGM)의 비평형 구동 프로토콜이 로컬 학습 규칙을 통해 학습될 수 있음을 보인다. 구동 프로토콜의 파라미터에 대한 그래디언트는 힘 측정값 또는 관측된 시스템 동역학으로부터 직접 계산된다. 이를 실증하기 위해, 열적 배스(thermal bath)에 결합된 구동되는 비선형 과감쇠 진동자 네트워크에 SGM을 구현한다. 먼저 2D에서 두 가우시안의 혼합으로부터 샘플링하는 문제에 적용한다. 최종적으로 MNIST 데이터셋에서 진동자 네트워크를 학습시켜 손으로 쓴 숫자 0과 1의 이미지를 생성한다.
점수 기반 생성 모델(score-based generative models)에서 비선형 drift를 가진 전방 확산의 점수 함수를 추정할 때 기존 전역 평균화 방식이 저밀도 영역에서 오차를 키우는 문제를 해결하기 위해, 누적 분산 좌표로의 시간 변환을 통해 Fokker-Planck 방정식을 표준 열 방정식으로 변환하고 열 구(heat-ball) 평균값 표현을 이용한 국소 포물형 평균화 프레임워크를 제안한다. 이와 함께 고차원 Monte Carlo 평가를 위한 $\kappa$-measure 기반 정확한 인수분해 샘플러(Algorithm 1)를 도입하여 균등 중요도 샘플링 대비 $\Omega(\sqrt{d})$의 분산 이점을 이론적으로 증명하고, 2D 구조화 데이터 및 256차원 MNIST에서 저밀도 영역의 강인성을 실험적으로 검증한다.