한국어 초록
생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.
원문 초록
Motivated by recent applications in generative modeling and sampling, we introduce a framework for optimal measure transport where cost captures the notion of neural network complexity. In transport-based generative models, samples from a reference distribution (e.g. Gaussian) are mapped to samples of a target distribution along ordinary or stochastic differential equations. These are implemented as deep residual networks when discretized in time, where each hidden layer approximates the associated instantaneous velocity. Thus, given a pair of target and reference measures, a natural question is to search for the most efficient neural representation that implements this transport. Our starting point is the kinetic formulation of OT, due to Benamou and Brenier. We replace the average kinetic $L^2$ energy by the \emph{Barron} energy \cite{bach2017breaking, ma2022barron}, a natural norm which measures the complexity of representing a given vector field with a neural hidden layer, and which captures the adaptive properties of feature learning. This defines a metric on the space of probability measures, complementing existing Wasserstein and Stein geometries. In this work we examine the properties of this metric in the context of generative modeling. As a first application, we quantify the suboptimality of diffusion generative modeling in the Barron geometry by establishing super-polynomial score approximation lower bounds for data generated by neural network pushforwards of the Gaussian. We then investigate the benefit of adaptivity as a way to study alternative generative models. In a companion paper \cite{companionpaper} we leverage the Barron transport geometry for sampling applications, extending the scope of Stein variational gradient methods via feature adaptation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
완전 이산 조건부 확산 모델에 대한 유한 표본 보장
Finite-Sample Guarantees for Fully Discrete Conditional Diffusion Models
본 연구에서는 데이터로부터 학습(training)되고 유한한 수의 노이즈 제거 단계를 통해 구현되는 조건부 확산 모델(conditional diffusion models)에 대한 유한 표본 보장(finite-sample guarantees)을 정립합니다. 제안하는 접근법은 스코어 학습 목적식을 샘플링 그리드와 일치시켜 통계적 추정 오차와 수치적 이산화 오차를 함께 분석할 수 있도록 합니다. 매끄러운 조건부 밀도 모델 하에서 생성된 분포의 오차에 대한 높은 확률의 한계(high-probability bounds)를 도출하고 필요한 스코어 평가 횟수를 정량화합니다. 모든 매끄러움 지수 $β>0$에 대해, 적절한 그리드는 조기 종료(early stopping) 여부와 관계없이 원래 타깃 대비 $\widetilde O_p(n^{-2β/(d_x+d_y+2β)})$의 평균 조건부 쿨백-라이블러(KL) 발산을 산출합니다. 전체 샘플러와 조기 종료 샘플러 모두 $\widetilde O_p(n^{-β/(d_x+d_y+2β)})$의 평균 타깃 총변동(TV) 오차를 달성합니다. 여기서 $n$은 표본 크기이고, $d_x, d_y$는 데이터 및 조건부 변수의 차원이며, 오차는 조건부 변수에 대해 평균화됩니다. 이 총변동 한계는 로그 인자를 제외하면 기존 조건부 분포 추정 이론에서 확립된 수렴율과 일치합니다.
확산 모델을 위한 보존 법칙
Conservation Laws for Diffusion Models
자기회귀 모델은 연쇄 법칙을 통해 정확한 데이터 가능도를 최적화하는 반면, 확산 모델은 일반적으로 노이즈 제거 목적 함수로 학습된다. 본 연구에서는 광범위한 무기억 노이즈 프로세스에 대해 일반화된 외재적 정보 전달(GEXIT) 함수를 기반으로 한 보존 법칙을 개발하고, 데이터-모델 교차 엔트로피(CE)가 노이즈 경로를 따른 국소 정보 이론적 도함수의 적분으로 정확하게 특성화될 수 있음을 보인다. 이로써 이산 및 연속 확산에 대한 가능도의 통합적 특성화를 제공하며, 가우시안 경우는 잘 알려진 상호 정보-최소 평균 제곱 오차(I-MMSE) 관계로 귀결된다. 즉각적인 함의로는 국소성(locality) 특성이 있으며, 이를 통해 노이즈 경로를 따른 주변 사후 분포만을 사용하여 정보 이론적 도함수를 계산할 수 있다. 결과적으로, 학습은 음의 로그 가능도를 최소화함으로써 주변 사후 분포를 학습하는 것으로 귀결된다. 보존 법칙은 엔트로피가 노이즈 경로에 의존하지 않음을 시사하지만, 유한 용량 노이즈 제거기는 노이즈 유형에 따라 다양한 정확도로 사후 분포를 근사하여 성능 차이를 초래한다. 본 연구는 합성 마르코프 소스와 text8 및 CIFAR-10을 포함한 표준 벤치마크에서 이러한 예측을 검증한다.
Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge
유효 전송 맵 추정의 근본적 한계
The Fundamental Limits of Valid Transport Map Estimation
확산 모델, 정규화 흐름(normalizing flows), 플로우 매칭(flow matching) 등 많은 현대 생성 모델링 방법들은 최적 전송(OT) 맵을 명시적으로 목표로 삼지 않으면서 분포 간 전송 맵 또는 플랜을 추정한다. 생성 모델링과 같은 응용에서 전송 비용 자체는 무관하며, 이로 인해 통계적 또는 계산적 관점에서 더 다루기 쉬운 맵을 목표로 삼는 것이 자연스러워진다. 본 단문에서는 유효한 전송 맵을 추정하는 과제를 엄밀한 미니맥스 프레임워크로 형식화한다. 이 프레임워크의 한 가지 귀결은, 플로우 매칭 및 확산 기반 생성 모델을 포함하여 학습된 객체가 전송 맵 또는 플랜으로 평가되는 모든 방법에 대해 샘플 복잡도 하한(sample complexity lower bounds)을 제공한다는 점이며, 이는 방법 자체의 분석적 복잡성과 목표 맵의 특성으로 인해 직접 분석이 어려운 환경에서도 적용된다. 우리는 OT 문헌의 표준적이나 강한 안정성 가정(stability assumptions) 하에서, 유효한 전송 맵을 추정하는 것이 통계적으로 OT 맵을 추정하는 것만큼 어렵다는 것을 확인한다. 이 결과를 보완하여, 해당 안정성 가정이 성립하지 않을 때 대안적 전송 맵이 OT 맵보다 실질적으로 훨씬 정확하게 학습될 수 있음을 보여주는 몇 가지 예시를 제시한다. 우리의 미니맥스 프레임워크는 현대 전송 기반 생성 방법의 통계적 한계를 이해하기 위한 엄밀한 토대를 제공하며, 최적이 아닌 맵을 목표로 삼는 것이 실질적인 통계적 이점을 가져올 수 있는 조건을 명확히 한다.
Sticky Jump Diffusions: A Unifying View of Masked, Continuous, and Hybrid Diffusion
생성형 확산과 최적 수송 간의 연결성에 관한 고찰
Some remarks on the connection between generative diffusion and optimal transport
본 논문에서는 생성형 확산(generative diffusion)과 최적 수송(optimal transport) 사이의 세 가지 단순한 연결성에 대해 논의한다. 첫째, 데이터와 데이터의 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 노이즈화 간의 결합 법칙은 모든 시점에서 노이즈 수준에 의해 설정된 온도에서의 엔트로피 최적 수송 문제의 해가 된다. 결과적으로 역방향 확산은 엔트로피 정규화(regularization)를 점진적으로 감소시키는 어닐링(annealing) 과정으로 해석될 수 있다. 둘째, 생성 과정에서 데이터 분포의 모드(mode)가 어떻게 출현하는지를 나타내는 분화 전이(speciation transition)를 연구하고, 확산 및 플로우 매칭(flow matching)에서 이러한 현상이 최적 수송과 비교하여 어떻게 일어나는지 비교한다. 고차원 예시로 가우시안 혼합(Gaussian mixture)을 활용하여, 확산과 플로우 매칭이 모드를 분리하는 동적 불안정성이 최적 수송에서는 생성 시작 시점의 지수적으로 얇은 경계층(boundary layer)이 되며, 이는 엔트로피 정규화에 의해 완화됨을 보인다. 셋째, 일반적인 구속 포텐셜(confining potential)을 갖는 일반 순방향 동역학을 고려할 때, 스코어(score)에 의해 구동되는 역방향 프로세스 또한 최소 비용이 초기 및 최종 분포 간의 엔트로피 차이가 되는 드리프트 기반 변분 원리를 만족함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.