Score-based diffusion models are typically trained by minimizing the $L^2$ score matching error, and standard theoretical analyses rely on this quantity to bound the sampling discrepancy between the learned and target distributions. Recent work has shown that the score admits an orthogonal decomposition into gradient and solenoidal components in which only the gradient part matters for exact sampling. We apply this decomposition to the score error of trained models and study its quantitative consequences. Since only the gradient component of the error enters the marginal Fokker-Planck dynamics, a model can incur arbitrarily large $L^2$ score error while perfectly matching the target. Starting from this observation, we present three results. First, we derive an upper bound on the Kullback-Leibler divergence that depends only on the observable gradient component of the error. It tightens the standard Girsanov bound for generic score networks and identifies that bound's looseness as the cost of working with path-space rather than marginal-space dynamics. Second, we prove that no non-trivial function of the $L^2$ score error can uniformly lower bound any divergence between the learned and target distributions. Third, we give an estimator of the gradient component, computable from denoising score matching residuals via a dual Sobolev identity, which empirically correlates substantially better with sample quality than the full $L^2$ error.
We introduce sticky jump diffusions (SJDs), continuous-time Markov processes on $\mathbb{R}^d$ whose discrete anchors are token embeddings. In forward time, anchors release their mass at a hazard rate and the released mass diffuses in the continuous ambient space; time reversal couples a score-driven SDE with a sticky jump kernel whose rate and destination are fixed by flux balance with the forward law. We estimate the score and the per-anchor reverse hazards from a single denoising classifier via denoising hazard matching, the hazard analogue of denoising score matching, with simulation-free cross-entropy training. SJD recovers masked diffusion, continuous diffusion, and hybrid diffusion as limits. Its reversal explains features that each family treats as given: the mask of masked diffusion carries no evidence about the source token because the unsticking kernel of every anchor collapses to the same absorbing point; the terminal projection of continuous diffusion is required due to the absence of atoms in its forward marginal, without which flux balance yields no reverse jumps; and the update rules of hybrid diffusion (commit rate, destination, and drift) all follow from flux balance rather than from separate design. Beyond these limits, the unsticking kernel becomes a design space: a cross-position blending corrupts each position toward a blend of its neighbors' clean values or embeddings, turning dependency structure such as spatial locality or a constraint graph into an inductive bias of the corruption itself, and improves over the identity-kernel hybrid on CIFAR-10, Text8, and Sudoku.
확산 모델(Diffusion model)은 일반적으로 단일 목표 분포나 학습(training) 중에 고정된 조건부 변수로 색인화된 분포 계열의 생성 동역학을 학습합니다. 이는 소수의 예제만으로 이전에 보지 못한 새로운 분포에 적응하는 능력을 제한합니다. 본 연구에서는 각 목표 분포를 메타 분포에서 추출된 태스크로 취급하고 추론(inference) 시점에 경험적 문맥 집합(context set)으로 지정하는, 확산 모델을 위한 문맥 내 솔루션 연산자 학습(in-context solution operator learning) 프레임워크를 소개합니다. 제안하는 방법은 문맥 샘플, 노이즈가 추가된 쿼리 포인트, 확산 시간을 태스크 종속적인 스코어로 매핑하는 문맥 내 스코어 연산자를 학습하여, 재학습이나 매개변수(parameter) 업데이트 없이도 보지 못한 태스크에서 역확산 샘플링을 가능하게 합니다. 핵심 관찰 사항은 태스크 종속적 스코어가 가우시안 커널(Gaussian kernel) 조건부 평균 표현을 허용한다는 점입니다. 이의 경험적 Nadaraya--Watson 근사는 우리가 구성한 트랜스포머(transformer) 클래스의 모델을 통해 정확하게 표현될 수 있으며, 이는 제안된 쿼리 종속적 어텐션(attention) 아키텍처에 대한 원리적 토대를 제공합니다. 이 연산자는 여러 태스크 분포에 걸친 분할 상환 노이즈 제거 스코어 매칭(amortized denoising score matching)을 통해 학습됩니다. 또한 문맥 크기, 학습 태스크 수 및 태스크 내 샘플 수, 모델 복잡도, 고유 차원 및 주변 차원의 영향을 정량화하는 일반화 오차 경계를 확립합니다. 수치적으로는 Navier-Stokes, ERA5 기후 데이터, QuickDraw 스케치, Food-101을 포함한 다양한 과학 및 시각 데이터셋에서 본 방법을 평가합니다. 실험 결과는 제안된 방법이 비교적 단순한 태스크 계열에서는 우수한 성능을 보이는 반면, 태스크 복잡도가 증가함에 따라 성능이 저하됨을 보여줌으로써 확산 모델을 위한 문맥 내 학습(ICL)의 가능성과 한계를 모두 보여줍니다.
확률적 프로세스 모델을 위한 신경망 가능도 대체 모델(neural likelihood surrogate, 예: 신경망 비율 추정(Neural Ratio Estimation))은 일반적으로 시뮬레이션된 데이터에 대한 확률적 분류(probabilistic classification)를 통해 학습되며, 이는 대체 모델 품질과 학습 비용 간의 트레이드오프를 강제한다. 정확한 점수(score) $\nabla_θ\log p(x \mid θ)$를 구할 수 있는 구조화된 모델의 경우, 교차 엔트로피 손실에 점수 매칭(score-matching) 항을 추가하여 이 정보를 학습에 반영할 수 있다. 그러나 두 손실 간의 최적 가중치는 사전에 알 수 없으며, 이를 수동으로 선택하려면 비용이 많이 드는 튜닝이 필요해 계산 비용 절감 효과를 상쇄한다. 우리는 손실 기울기(loss gradient)를 기반으로 학습 중에 점수 손실 가중치를 설정하는 적응형, 튜닝이 필요 없는 알고리즘을 제안하며, 이는 표준 분류기 학습에 최소한의 오버헤드만을 추가한다. 우리는 네트워크 동역학과 공간적 프로세스를 다루는 사례 연구를 통해 이 접근법을 평가하였으며, 더 많은 학습 데이터를 생성하는 것보다 훨씬 낮은 계산 비용으로 대체 모델 품질을 향상시킨다는 것을 보였다. 특히, 일부 경우에는 본 접근법이 학습 시간을 1.1배 미만으로 증가시키면서도 학습 데이터를 10배 늘린 것과 동등한 다운스트림 추론(inference) 성능을 달성한다.
점수 매칭(score matching)은 최대가능도 추정(maximum-likelihood estimation)에서 요구하는 정규화 상수 계산을 회피합니다. 제약이 있는 영역(constrained domains)에서는 일반화된 점수 매칭 변형들이 경계 조건 항이 사라지도록 피셔 발산(Fisher divergence)에 가중치를 부여합니다. 본 연구에서는 이웃 영역의 기하학적 구조가 가중치를 결정하는 최소 확률 흐름(minimum probability flow)의 작은 이웃 극한(small-neighbourhood limit)으로서 $\mathbb{R}^{d}$의 열린 볼록 부분집합(open convex subsets)에 대한 일반화된 점수 매칭을 유도합니다. $\mathbb{R}^{d}$에서의 고전적 점수 매칭 및 $\mathbb{R}_{+}^{d}$의 음이 아닌 데이터에 대한 변형들의 가중치를 포함하여, 모든 $C^{2}$ 양의 정부호(positive definite) 가중치가 이러한 방식으로 발생합니다. 지수족(exponential families)에 대해, 우리는 표준적인 볼록성(convexity), 일치성(consistency) 및 점근적 정규성(asymptotic normality) 결과를 이러한 모든 가중치로 확장하고, 특정 경계 조건 하에서 추정량이 참 매개변수로 수렴함을 보여줍니다. 다포체(polytope) 상의 절단 정규분포(truncated Gaussian)와 심플렉스(simplex) 상의 디리클레 분포(Dirichlet distribution)에 대해, 제안된 추정량들은 50개의 실측(ground-truth) 설정 중 최소 42개에서 비교된 모든 방법 중 가장 낮은 중앙값 오차를 달성합니다.
점수 기반 생성 모델(Score-based Generative Models, SGM)은 광범위한 응용 분야에서 데이터 생성에 있어 인상적인 성능을 달성해 왔습니다. 샘플링 절차의 통계적 특성은 점차 잘 이해되고 있는 반면, 학습의 기초가 되는 최적화 역학(optimization dynamics)에 대한 탐구는 여전히 상대적으로 미흡합니다. SGM은 일반적으로 가중치 적용 잡음 제거 점수 매칭(weighted denoising score-matching) 목적 함수를 최소화하여 학습되지만, 확률적 그래디언트를 이용한 최적화 보장은 여전히 제한적입니다. 본 연구에서는 SGM을 위한 확률적 경사하강법(SGD)을 연구하고 상호보완적인 두 가지 영역에서 결과를 도출합니다. 일반적인 점수 매개변수화에 대해 가중치 적용 잡음 제거 점수 매칭 목적 함수에 대한 SGD의 비볼록(non-convex) 분석을 도출하여, 결과로 얻어지는 최적화 경계(optimization bound)가 손실 가중치 및 시간 샘플링 분포에 어떻게 의존하는지 명확히 규명합니다. 이어서 과매개변수화된 2개 층 렐루(ReLU) 네트워크를 고려하고 확률적 그래디언트를 사용한 확산 학습에 맞춘 신경 탄젠트 커널(Neural Tangent Kernel) 분석을 개발하여, SGD 궤적을 따른 점수 근사 오차 경계를 제시합니다. 본 분석은 이러한 경계에서 재가중 인자(reweighting factor)의 역할을 정량화하여, 실제로 사용되는 가중치 선택에 대한 이론적 특성을 규명합니다.
스코어 매칭(score matching)은 계산이 불가능한 정규화(normalization) 상수, 즉 분배 함수(partition function)를 평가하지 않고도 데이터로부터 모델을 학습할 수 있게 함으로써 고전 생성 학습 분야에서 큰 진전을 이끌어 왔다. 그러나 양자 상태는 스칼라 확률이 아니라 비가환(noncommuting) 밀도 연산자로 기술되므로, 이 원리를 양자 학습으로 확장하려면 그 토대를 다시 생각해야 한다. 비가환성은 양자 스코어를 정의하는 데에서뿐만 아니라, 효율적인 회로 구현과 엄밀한 이론적 보장을 갖춘 학습(training) 프레임워크를 개발하는 데에서도 근본적인 어려움을 야기한다. 본 연구에서는 종단 간(end-to-end) 이론적 보장을 갖춘 일반적인 양자 스코어 매칭 프레임워크를 정립하여 이러한 간극을 메운다. 깁스 상태(Gibbs-state) 학습에 적용했을 때, 제안한 접근법은 추가적인 열적 상태(thermal-state) 준비를 필요로 하지 않으며, 국소성(locality)과 상호작용 차수(interaction degree)가 유계인 해밀토니안에 대해 고온 영역에서 정보이론적으로 최적인 샘플 복잡도를 달성한다. 이는 스코어 매칭을 양자 깁스 상태 학습에서 최고 수준의 성능을 얻는 새로운 경로로 자리매김하게 한다. 이러한 이론적 결과에 더하여, 수치 시뮬레이션 결과 제한된 측정 예산 하에서 그래디언트가 부정확하게 추정되더라도 제안한 방법이 여전히 효과적임을 보인다. 또한 IBM 양자 하드웨어에서의 실험은 양자 스코어 매칭이 NISQ 친화적임을 추가로 보여 준다. 즉, 어떠한 오류 완화나 정정 없이도 해밀토니안 매개변수(parameter)의 상대 오차를 64%에서 약 10%로 줄인다. 이러한 결과를 종합하면, 스코어 매칭을 양자 상태 학습을 위한 실험적으로 구현 가능한 패러다임으로 확장한 것이다.
디퓨전 모델(diffusion model)은 다양한 생성 작업에서 최고 수준의 성능을 보이는 도구입니다. 그러나 이러한 모델의 학습은 고차원 스코어 함수(score function)를 추정하는 과정을 수반하며, 이는 원리상 차원의 저주(curse of dimensionality)를 겪게 됩니다. 따라서 타깃 분포 내의 저차원 구조를 이러한 모델에서 어떻게 활용할 수 있는지 이해하는 것이 중요합니다. 본 연구에서는 타깃 확률 변수들 간의 특정 희소 조건부 종속성을 설명하는 국소성 구조(locality structure)를 고려합니다. 국소성 구조가 주어지면 스코어 함수는 실질적으로 저차원이 되므로, 국소화된 신경망(localized neural network)을 통해 표본 복잡도(sample complexity)를 크게 줄이면서 이를 추정할 수 있습니다. 이러한 관찰을 바탕으로 국소화된 가설 공간 내에서 스코어 함수를 학습하기 위해 국소화된 스코어 매칭 손실(localized score matching loss)을 사용하는 국소화된 디퓨전 모델(localized diffusion model)을 제안합니다. 우리는 이러한 국소화를 통해 추가적인 국소화 오차를 대가로 차원에 독립적인 오차 한계를 확보하여 디퓨전 모델이 차원의 저주를 피할 수 있음을 증명합니다. 나아가 현실적인 표본 크기 스케일링 하에서 적절한 국소화 반경(localization radius)이 통계적 오차와 국소화 오차 간의 균형을 이루어 전반적으로 더 우수한 성능을 낸다는 것을 이론적 및 수치적으로 입증합니다. 또한 국소성 구조는 병렬 학습을 용이하게 하여, 대규모 응용 분야에서 국소화된 디퓨전 모델이 잠재적으로 더욱 효율적이도록 만듭니다.
우리는 시퀀스 공간에서 환자 특이적 에너지 모델링에 기반한 종단 다중 매개변수 MRI 분석을 위한 기하학적 프레임워크를 제안한다. 공간 네트워크로 영상을 직접 처리하는 대신, 각 복셀(voxel)은 다중 시퀀스 강도 벡터($T1$, $T1c$, $T2$, FLAIR, ADC)로 표현되며, 단일 기준선 스캔으로부터 $\mathbb{R}^d$ 위의 에너지 함수 $E_θ(\mathbf{u})$를 학습하기 위해 denoising score matching을 통해 컴팩트한 암시적 신경 표현(implicit neural representation)이 학습된다. 학습된 에너지 경관(landscape)은 분할(segmentation) 레이블 없이 조직 체제(regime)에 대한 미분기하학적(differential-geometric) 기술을 제공한다. 국소 최소값은 조직 분지(basin)를 정의하고, 그래디언트 크기는 체제 경계에 대한 근접성을 반영하며, 라플라시안(Laplacian) 곡률은 국소 제약 구조를 특성화한다. 중요하게도, 이 기준선 에너지 매니폴드는 고정된 기하학적 기준으로 취급된다: 진단 시 관찰된 대조(contrast) 조합의 집합을 인코딩하며 추적 관찰(follow-up) 시 재학습되지 않는다. 따라서 종단 평가는 이 기준선 기하학에 상대적인 후속 스캔의 평가로 공식화된다. 해부학적 분할을 비교하는 대신, 기준선 에너지 함수 하에서 MRI 시퀀스 벡터의 분포가 어떻게 진화하는지를 분석한다. 후기 재발이 있는 소아 사례에서, 추적 스캔은 명확한 방사선학적 재출현 전에 에너지의 점진적 편차와 시퀀스 공간에서 기준선 종양 관련 체제를 향한 방향적 변위를 보여준다. 질병이 안정적인 사례에서는, 복셀 분포가 체계적 표류(drift) 없이 확립된 저에너지 분지에 머무른다. 제시된 사례들은 환자 특이적 에너지 매니폴드가 명시적 분할이나 지도 분류(supervised classification) 없이 종단 mpMRI 분석을 위한 기하학적 기준 시스템으로 기능할 수 있음을 개념 증명(proof-of-concept)으로 보여주며, 신경종양학(neuro-oncology)에서 매니폴드 기반 위험 조직(tissue-at-risk) 추적에 대한 추가 연구를 위한 토대를 제공한다.
본 논문에서는 확산 모델 학습을 위한 가능도 매칭(Likelihood Matching) 접근법을 제안한다. 이를 위해 먼저 목표 데이터 분포의 가능도와 역방향 확산의 샘플 경로를 따르는 가능도 간의 동치 관계를 확립한다. 역방향 샘플 가능도를 효율적으로 계산하기 위해, 각 역방향 전이 밀도를 조건부 평균과 공분산이 매칭된 가우시안 분포로 근사하는 준가능도(quasi-likelihood)를 고려한다. 확산 생성에 필요한 스코어 함수와 헤시안 함수는 준가능도를 최대화함으로써 추정되며, 이를 통해 매 두 시간 지점 사이의 처음 두 전이 모멘트가 일관되게 매칭됨을 보장한다. 추정된 스코어 및 헤시안 정보를 모두 활용하여 계산을 용이하게 하는 확률적 샘플러를 도입한다. 준최대가능도 추정의 일치성을 확립하고, 제안된 샘플러에 대한 비점근적 수렴 보장을 제공하며, 스코어 및 헤시안 추정, 차원, 확산 단계 수에 기인하는 근사 오차의 수렴 속도를 정량화한다. 실증 및 시뮬레이션 평가를 통해 제안된 가능도 매칭의 효과성을 입증하고 이론적 결과를 검증한다.
스코어 매칭(score matching)의 순방향 주변 오차가 작아도 오일러-마루야마(Euler-Maruyama) 이산화 샘플러의 수치적 안정성이 보장되지 않음을 반례 구성을 통해 엄밀히 증명하며, 약한 수렴(weak convergence)이 성립하더라도 모든 Wasserstein 거리 $W_p$가 발산할 수 있음을 보인다. 컴팩트 지지 데이터의 경우 학습된 디노이저(denoiser)를 볼록 집합에 투영하면 모멘트 경계와 Wasserstein 수렴을 복원할 수 있으며, 이는 이미지 diffusion 모델에서 사용되는 클리핑 휴리스틱의 이론적 근거를 제공한다.
베이지안 실험 설계(BED)에서 기대 정보 이득(EIG)의 이중 난해성을 정책 학습과 분리하는 ScoreBED를 제안하며, 스코어 매칭(score matching)으로 사전 학습된 스코어 네트워크를 활용해 정책 학습 시 곱셈적 중첩 샘플링 비용을 덧셈적 비용으로 전환한다. 이를 통해 아키텍처 탐색이나 하이퍼파라미터 튜닝 없이도 여러 경쟁력 있는 정책을 효율적으로 학습할 수 있음을 실험으로 입증했다.
이산 확산 모델이 노이즈 제거기(denoiser), 스코어 비율(score ratio), 브릿지 플러그인 예측기(bridge plug-in predictor) 중 무엇을 학습하는지에 대해, 연속시간 마르코프 체인(CTMC) ELBO의 엄밀한 유도를 통해 음의 ELBO가 단순한 하한이 아니라 데이터 엔트로피와 오라클 역방향 프로세스까지의 경로 KL 발산의 정확한 합임을 증명하는 Oracle Distance 정리를 제시한다. 이 프레임워크는 세 가지 파라미터화 좌표 간의 폐형식 변환을 도출하여 MDM, UDM, SEDD, GIDD를 특수 사례로 통합하고, 마스크드 확산에서는 노이즈 제거기와 캐비티(cavity)가 일치하지만 균일 확산(uniform diffusion)에서는 그렇지 않은 이유를 규명한다.
확산 모델(Diffusion Models)의 학습 목표인 스코어 매칭 손실과 실제 샘플 품질 간의 격차, 즉 스코어 매칭 간격(score matching gap)에 대한 이론적 분석을 제공하며, 역방향 프로세스의 수축 특성과 로그 소볼레프 부등식(logarithmic Sobolev inequalities)을 활용해 KL 발산, 역방향 KL 발산, 와서스타인 거리(Wasserstein distance)에 대한 더 타이트한 바운드를 도출한다. 특히 낮은 노이즈 스케일에서 스코어 근사 품질이 간격 축소에 더 큰 영향을 미침을 이론적으로 규명하고, 시간 감쇠 가중치를 통해 기존 수렴 바운드보다 개선된 샘플 품질 추정을 가능하게 함을 실험적으로 확인한다.
확산 모델(diffusion model)이 표준 딥러닝과 유사한 구조를 공유함에도 불구하고, 양성 과적합(benign overfitting)과 이중 강하(double descent)는 확산 모델에서 발생하지 않으며, 샘플 크기가 데이터 차원에 대해 지수적으로 증가하지 않는 한 과적합과 좋은 일반화가 동시에 나타날 수 없음을 이론적으로 증명한다. 스코어 매칭(score matching)은 회귀와 달리 목표와 경험적 공분산 간의 정렬이 불가능해 과적합이 본질적으로 유해하며, 스코어의 시간적 평활성과 조기 종료가 이를 방지하는 암묵적 정규화 메커니즘으로 작용함을 고차원 이미지 생성 실험으로 검증한다.
가능도 함수가 계산 불가능한 시뮬레이터 기반 모델에서의 베이즈 추론을 위해, 스코어 매칭(score matching)과 Langevin dynamics를 결합하고 로그 가능도의 통계적 구조(관측치 간 가산성, Fisher information 항등식)를 구조화된 스코어 네트워크에 내재한 새로운 시뮬레이션 기반 추론(SBI) 방법을 제안한다. 사후 분포 고밀도 영역에 계산을 집중하는 국소화 기법을 추가로 결합하여, 대규모 표본 및 중간 차원 매개변수 공간에서 기존 SBI 방법 대비 통계적 효율성과 계산 확장성 모두에서 동등하거나 우수한 성능을 달성함을 이론적·실증적으로 입증한다.
우리는 데이터 분포가 저차원 매니폴드(manifold) 위에 지지되고 스코어(score)가 랜덤 특징 신경망(random feature neural network)으로 매개변수화될 때, 확산 모델(diffusion model)의 학습 과제인 노이즈 제거 스코어 매칭(denoising score matching)의 이론적 동작을 연구한다. 우리는 고차원 극한에서 테스트 오차, 훈련 오차, 스코어 오차에 대한 점근적으로 정확한 표현식을 유도한다. 분석 결과, 선형 매니폴드의 경우 스코어 함수를 학습하는 데 필요한 샘플 복잡도(sample complexity)가 주변 차원(ambient dimension)이 아닌 매니폴드의 내재적 차원(intrinsic dimension)에 선형적으로 비례하여 증가함을 밝힌다. 다소 놀랍게도, 비선형 매니폴드에서는 저차원 구조의 이점이 감소하기 시작한다. 이러한 결과는 확산 모델이 구조화된 데이터로부터 이점을 얻을 수 있음을 나타내지만, 구조의 구체적인 유형에 대한 의존성은 미묘하고 복잡하다.
스코어 기반 디퓨전 모델의 놀라운 성공은 이론적 기초를 확립하려는 상당한 노력을 촉진했습니다. 그러나 스코어 근사에 대한 기존 복잡도 경계는 립시츠 연속 밀도나 매끄러운 다양체 지지 집합과 같은 제한적인 가정에 크게 의존하는데, 이는 실세계 지각 데이터에 내재된 특이점, 뚜렷한 경계, 분리된 군집에 의해 빈번하게 위배됩니다. 본 연구는 상 민코프스키 차원 $d$를 갖는 임의의 컴팩트 집합에서 지지되는 모든 분포에 대해 작동하는 보편적 스코어 근사 정리를 확립합니다. 새로운 이산 혼합 공식을 사용하여, 스코어 함수는 복잡도가 $d$에 대해서만 지수적으로 증가하는 렐루 네트워크로 근사될 수 있음을 증명하며, 이를 통해 주변 차원의 지수적 저주를 극복합니다. 임의의 컴팩트 분포에 대해 역방향 디퓨전 확률 미분 방정식(SDE)을 정확하게 푸는 기존 이론과 결합하여, 본 연구는 디퓨전 모델이 불규칙하고 비매끄러운 데이터 구조에 쉽게 적응할 수 있음을 보여주며, 이는 실세계 생성 작업에서의 능력을 설명합니다.
스코어 매칭 문제는 현대 생성 모델링, 디퓨전 모델, 정규화되지 않은 통계 모델 피팅, 역문제에서 중심적인 학습 목적 함수입니다. 표준적인 접근 방식은 교사 분포에 대해 기댓값을 취하는 순방향 피셔 발산(forward Fisher divergence)을 최소화하는 것입니다. 그러나 최근 연구 결과에 따르면, 단순한 가우시안 혼합 모델 설정에서도 이 목적 함수는 바람직하지 않고 초기화에 의존적인 수렴 거동을 초래할 수 있습니다. 본 논문에서는 학생 분포에 대해 기댓값을 취하는 대안적인 목적 함수인 역 피셔 발산(reverse Fisher divergence)을 연구합니다. 가우시안 혼합 모델을 피팅하기 위한 경사하강법(GD)을 분석하고, 목적 함수의 이러한 변화가 훨씬 더 우수한 최적화 성질로 이어진다는 것을 보여줍니다. 첫째, 교사 분포가 단일 가우시안이고 학생 모델이 고정된 가중치와 단위 공분산을 갖는 가우시안 혼합 모델인 경우, 임의의 초기화로부터의 GD의 전역 수렴을 증명합니다. 둘째, 분석을 교사 분포 또한 가우시안 혼합 모델인 경우로 확장하고, 전역 무작위 초기화 방식과 타겟 평균에 대한 $\widetildeΩ(1)$-분리 가정 하에서 전역 수렴 보장을 증명합니다. 특히, 높은 확률로 각 학생 구성 요소는 가장 가까운 교사 구성 요소 근처로 수렴하며, 학생 분포가 총 변동 거리(total variation distance)로 수렴하는 조건을 제공합니다. 우리의 증명은 경사하강법 역학에 대한 새로운 리아푸노프 기반 분석에 의존하며, 이를 통해 역 피셔 발산이 순방향 피셔 발산보다 훨씬 더 유리한 최적화 지형을 가짐을 보여줍니다.
우리는 경험적 위험 최소화를 통한 스코어 함수 추정 문제를 다룹니다. 우리는 먼저 평탄 토러스(flat torus) 상에 밀도를 갖는 확률 측도 $μ$의 표본으로부터 해당 확률 측도의 스코어 함수를 추론하는 문제부터 시작합니다. 가설 공간을 소볼레프 공(Sobolev ball)으로 제한하는 것이 과적합을 방지하고 미니맥스 추정 속도를 얻기에 충분하다는 것을 보여줍니다. 그 다음으로, 스코어 기반 생성 모델링(score-based generative modeling) 맥락에서의 스코어 함수 추정 문제를 고려합니다. 마찬가지로, 스코어 추정 속도를 스코어 기반 생성 모델의 출력 품질과 연결하는 추측 하에서, 가설 클래스를 소볼레프 공으로 제한하여 획득한 스코어 함수 추정기를 사용하여 해당 접근 방식에 대한 미니맥스 속도를 얻습니다.