arXiv:2606.17465v1 cs.LG

생성 모델링을 위한 페룬-프로베니우스 연산자 매칭

Perron--Frobenius Operator Matching for Generative Modeling

Shiqi Zhang, Wuwei Wu, Jaemin Oh, Jie Chen, Xiaoning Qian

제출 2026-06-16

한국어 초록

우리는 적분 PF 연산자를 통해 밀도 진화(density evolution)를 매칭하여 플로우(flow), 확산(diffusion), 및 점프(jump) 모델을 아우르는 생성 프레임워크인 페룬-프로베니우스 연산자 매칭(PFOM)을 소개합니다. 우리는 브레그만 발산(Bregman divergence) 중에서 쿨백-라이블러 발산(Kullback--Leibler divergence)만이 밀도 수준(density-level)과 샘플 조건부(sample-conditioned) 목적 함수 사이의 동등성을 보존함을 증명하며, 이는 쿠프만 경로 매칭(Koopman path matching)과 동등한 실용적인 손실(loss)을 제공합니다. 또한, 우리는 이산화(discretization)를 안정화하고 수렴(convergence)을 가속화하는 네스테로프 가속 학습(training) 및 샘플링 방법을 개발했습니다. 가우시안 혼합(Gaussian mixtures) 및 투문(two-moons) 데이터셋에서 PFOM은 경험적 검증(validation)을 통해 더 빠른 KL/$W_2$/MMD 감소와 개선된 실시간 효율성(wall-clock efficiency)을 달성했습니다. PFOM은 연산자 이론적 식별(operator-theoretic identification)과 현대적 생성 모델링을 통합하며, 적응형 사전(adaptive dictionaries) 및 고차원 응용으로 가는 길을 엽니다.

원문 초록

We introduce Perron--Frobenius Operator Matching (PFOM), a generative framework that matches density evolution via the integral PF operator, subsuming flow, diffusion, and jump models. We prove that among Bregman divergences, only Kullback--Leibler divergence preserves equality between density-level and sample-conditioned objectives, yielding a practical loss equivalent to Koopman path matching. We further develop Nesterov-accelerated training and sampling that stabilize discretization and accelerate convergence. %On Gaussian mixtures and two-moons, PFOM achieves faster KL/$W_2$/MMD decrease and improved wall-clock efficiency with empirical validation. PFOM unifies operator-theoretic identification with modern generative modeling and opens paths to adaptive dictionaries and high-dimensional applications.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17465v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13851v1stat.ML공통 태그 Density Estimation, diffusion models, generative modeling

완전 이산 조건부 확산 모델에 대한 유한 표본 보장

Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models

본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.

arXiv:2610.10875v1cs.LG공통 태그 Density Estimation, diffusion models, generative modeling

Barron 최적 수송 I: 생성 모델링

Barron Optimal Transport I: Generative Modeling

생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.

arXiv:2607.10067v1cs.LG공통 태그 Density Estimation, diffusion models, generative modeling

확산 모델을 위한 보존 법칙

Conservation Laws for Diffusion Models

자기회귀 모델은 연쇄 법칙을 통해 정확한 데이터 가능도를 최적화하는 반면, 확산 모델은 일반적으로 노이즈 제거 목적 함수로 학습된다. 본 연구에서는 광범위한 무기억 노이즈 프로세스에 대해 일반화된 외재적 정보 전달(GEXIT) 함수를 기반으로 한 보존 법칙을 개발하고, 데이터-모델 교차 엔트로피(CE)가 노이즈 경로를 따른 국소 정보 이론적 도함수의 적분으로 정확하게 특성화될 수 있음을 보인다. 이로써 이산 및 연속 확산에 대한 가능도의 통합적 특성화를 제공하며, 가우시안 경우는 잘 알려진 상호 정보-최소 평균 제곱 오차(I-MMSE) 관계로 귀결된다. 즉각적인 함의로는 국소성(locality) 특성이 있으며, 이를 통해 노이즈 경로를 따른 주변 사후 분포만을 사용하여 정보 이론적 도함수를 계산할 수 있다. 결과적으로, 학습은 음의 로그 가능도를 최소화함으로써 주변 사후 분포를 학습하는 것으로 귀결된다. 보존 법칙은 엔트로피가 노이즈 경로에 의존하지 않음을 시사하지만, 유한 용량 노이즈 제거기는 노이즈 유형에 따라 다양한 정확도로 사후 분포를 근사하여 성능 차이를 초래한다. 본 연구는 합성 마르코프 소스와 text8 및 CIFAR-10을 포함한 표준 벤치마크에서 이러한 예측을 검증한다.

arXiv:2609.27546v1math.ST공통 태그 Density Estimation, diffusion models

분포 변화 하에서 확산 모델의 강건성

Robustness of Diffusion Models under Distribution Shift

스코어 기반 확산 모델(score-based diffusion models)은 기저 데이터 분포가 학습(training) 분포와 다를 수 있는 환경에서 점차 많이 고려되고 있으나, 기존의 이론적 보장은 주로 분포 변화가 없는 환경에 초점을 맞추고 있습니다. 본 연구에서는 기준 분포의 바서슈타인 섭동(Wasserstein perturbations) 하에서 강건한 스코어 추정을 연구합니다. 오룬슈타인-울렌벡(Ornstein-Uhlenbeck) 확산에 대해, 강건한 추정이 두 가지 핵심 요소, 즉 기준 분포를 학습하는 데 따르는 통계적 비용과 분포 변화 자체의 본질적 비용으로 분해됨을 보입니다. 후자는 바서슈타인 반경에 대해 2차(quadratically)로 스케일링되며, 이러한 의존성은 미니맥스 최적(minimax optimal)입니다. 우리는 변화 반경을 알지 못하더라도 도출된 강건한 미니맥스 속도를 달성하는 명시적인 유한 표본 추정기를 구성합니다. 기준 분포가 미지의 저차원 부분공간에 놓여 있을 때, 통계적 항은 본질적 차원에 적응하는 반면 변화 비용은 변하지 않은 채 유지됩니다. 마지막으로, 우리는 동일한 분해가 양의 시간 역방향 샘플링(positive-time reverse sampling)에도 적용됨을 보이고 KL 발산에서 일치하는 미니맥스 보장을 도출합니다. 종합적으로, 이러한 결과들은 유한한 데이터, 본질적 차원, 그리고 분포 변화가 스코어 기반 확산 모델의 강건성에 미치는 영향을 규명합니다.

arXiv:2609.13047v2cs.AI공통 태그 Density Estimation, diffusion models

확산 모델과 개념 형성

Diffusion Models and Concept Formation

인간은 중첩된 추상화 수준과 사람들이 최소한의 인지적 노력으로 사물을 인식하고 이름을 붙이는 \emph{기본 수준}(basic level)을 가진 개념 분류 체계로 지식을 구조화합니다. Cobweb은 범주 효용(category utility)을 극대화하여 확률적 개념 계층을 구축하는 점진적 학습자로서 이러한 능력에 대한 고전적인 인지적 설명을 제공합니다. 본 논문에서는 확산 모델(diffusion model)이 이미지 합성을 위해 설계되었음에도 불구하고 암묵적으로 동일한 계산을 수행한다고 주장합니다. 확산 모델의 노이즈 주변 확률 분포(noisy marginals)는 데이터 분포의 가우시안 평활화(Gaussian smoothing)이며, 이러한 주변 확률 분포의 모드(mode)들은 네 가지 측면에서 확률적 프로토타입의 Cobweb 트리와 일치하는 계층을 형성합니다. 두 모델 모두 계층적 밀도 모델이고, 가우시안 프로토타입을 갖는 계층적 베이지안(hierarchical-Bayesian) 모델이며, 범주화를 불확실성을 줄이는 점수 추적(score-following)으로 취급하고, 두 모델 모두에서 기본 수준이 창발적(emergent)으로 나타납니다. 우리는 확산 모델의 이러한 기본 수준을 중간 노이즈 수준에 위치시키며, 최근 분석에 따르면 역과정(reverse process)이 샘플의 클래스 정체성을 확정하는 지점임을 보여줍니다. 두 모델은 주로 분류 체계를 표현하고 학습(training)하는 방식에서 차이를 보입니다. Cobweb은 이산 트리를 점진적으로 학습하는 반면, 확산 모델은 데이터 분포에 적합화된 단일 학습 스코어 필드(score field) 내에 연속적이고 보간 가능한 계층을 인코딩합니다. 우리는 모드 탐색(mode-finding)을 통해 확산 계층을 복원하고 두 모델의 기본 수준을 비교함으로써 MNIST와 Fashion-MNIST에서 이러한 대응 관계를 검증합니다. 이는 확산 모델을 개념 형성의 인지 모델로 재구성하고 Cobweb에 연속적이고 확장 가능한(scalable) 구현체를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.