생성형 확산과 최적 수송 간의 연결성에 관한 고찰
Some remarks on the connection between generative diffusion and optimal transport
한국어 초록
본 논문에서는 생성형 확산(generative diffusion)과 최적 수송(optimal transport) 사이의 세 가지 단순한 연결성에 대해 논의한다. 첫째, 데이터와 데이터의 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 노이즈화 간의 결합 법칙은 모든 시점에서 노이즈 수준에 의해 설정된 온도에서의 엔트로피 최적 수송 문제의 해가 된다. 결과적으로 역방향 확산은 엔트로피 정규화(regularization)를 점진적으로 감소시키는 어닐링(annealing) 과정으로 해석될 수 있다. 둘째, 생성 과정에서 데이터 분포의 모드(mode)가 어떻게 출현하는지를 나타내는 분화 전이(speciation transition)를 연구하고, 확산 및 플로우 매칭(flow matching)에서 이러한 현상이 최적 수송과 비교하여 어떻게 일어나는지 비교한다. 고차원 예시로 가우시안 혼합(Gaussian mixture)을 활용하여, 확산과 플로우 매칭이 모드를 분리하는 동적 불안정성이 최적 수송에서는 생성 시작 시점의 지수적으로 얇은 경계층(boundary layer)이 되며, 이는 엔트로피 정규화에 의해 완화됨을 보인다. 셋째, 일반적인 구속 포텐셜(confining potential)을 갖는 일반 순방향 동역학을 고려할 때, 스코어(score)에 의해 구동되는 역방향 프로세스 또한 최소 비용이 초기 및 최종 분포 간의 엔트로피 차이가 되는 드리프트 기반 변분 원리를 만족함을 보인다.
원문 초록
We discuss three simple connections between generative diffusion and optimal transport. First, the joint law of the data and of their Ornstein-Uhlenbeck noising is, at every time, the solution of an entropic optimal-transport problem, at a temperature set by the noise level. Backward diffusion can consequently be read as an annealing which gradually decreases the entropic regularization. Second, we study the speciation transition--how the modes of the data distribution emerge during generation--and compare how it happens in diffusion and flow matching with respect to optimal transport. Using Gaussian mixtures as high-dimensional example, we show that the dynamical instability through which diffusion and flow matching separate the modes becomes, for optimal transport, an exponentially thin boundary layer at the beginning of generation, which is rounded by entropic regularization. Third, considering a generic forward dynamics with a general confining potential, we show that the backward process driven by the score also satisfies a drift-based variational principle whose minimal cost is the entropy difference between initial and final distributions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge
유효 전송 맵 추정의 근본적 한계
The Fundamental Limits of Valid Transport Map Estimation
확산 모델, 정규화 흐름(normalizing flows), 플로우 매칭(flow matching) 등 많은 현대 생성 모델링 방법들은 최적 전송(OT) 맵을 명시적으로 목표로 삼지 않으면서 분포 간 전송 맵 또는 플랜을 추정한다. 생성 모델링과 같은 응용에서 전송 비용 자체는 무관하며, 이로 인해 통계적 또는 계산적 관점에서 더 다루기 쉬운 맵을 목표로 삼는 것이 자연스러워진다. 본 단문에서는 유효한 전송 맵을 추정하는 과제를 엄밀한 미니맥스 프레임워크로 형식화한다. 이 프레임워크의 한 가지 귀결은, 플로우 매칭 및 확산 기반 생성 모델을 포함하여 학습된 객체가 전송 맵 또는 플랜으로 평가되는 모든 방법에 대해 샘플 복잡도 하한(sample complexity lower bounds)을 제공한다는 점이며, 이는 방법 자체의 분석적 복잡성과 목표 맵의 특성으로 인해 직접 분석이 어려운 환경에서도 적용된다. 우리는 OT 문헌의 표준적이나 강한 안정성 가정(stability assumptions) 하에서, 유효한 전송 맵을 추정하는 것이 통계적으로 OT 맵을 추정하는 것만큼 어렵다는 것을 확인한다. 이 결과를 보완하여, 해당 안정성 가정이 성립하지 않을 때 대안적 전송 맵이 OT 맵보다 실질적으로 훨씬 정확하게 학습될 수 있음을 보여주는 몇 가지 예시를 제시한다. 우리의 미니맥스 프레임워크는 현대 전송 기반 생성 방법의 통계적 한계를 이해하기 위한 엄밀한 토대를 제공하며, 최적이 아닌 맵을 목표로 삼는 것이 실질적인 통계적 이점을 가져올 수 있는 조건을 명확히 한다.
The Geometry Behind Diffusion and Flow Matching: Gradient Flows and Geodesics in Wasserstein Space
정확한 가우시안 조건화를 통한 확산 및 흐름 기반 사후 샘플링 포괄
Spanning Diffusion and Flow-based Posterior Sampling via Exact Gaussian Conditioning
흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.
Barron 최적 수송 I: 생성 모델링
Barron Optimal Transport I: Generative Modeling
생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.
VTV-FM: 변분 종단 속도 종결을 통한 플로우 매칭
VTV-FM: Flow Matching through Variational Terminal-Velocity Closure
플로우 매칭(Flow Matching, FM)은 단순한 소스 분포에서 데이터 분포로 향하는 연속 시간 움직임을 피팅하여 생성적 수송을 학습합니다. 기존 방식의 대부분은 1차 브릿지(first-order bridge)를 사용합니다. 즉, 소스와 타깃 샘플이 쌍을 이루면 경로는 일정한 속도를 갖는 직선 운동이 됩니다. 최적 수송(Optimal Transport, OT) 기반의 플로우 매칭은 페어링을 개선하지만 브릿지 자체는 선형으로 유지되므로 곡선 운동, 가속도 및 방향 변화를 모델링하는 데 한계가 있습니다. 자연스러운 해결책은 2차 위상 공간 역학(second-order phase-space dynamics)을 사용하는 것이지만, 브릿지를 학습하려면 정적 데이터셋에서는 제공되지 않는 타깃 측 종단 속도(terminal-velocity) 정보가 필요합니다. 본 논문에서는 가속도 에너지를 최소화하여 누락된 속도를 도출하고 정적 데이터에 대한 닫힌 형태의 종결(closed-form closure)을 제공하는 2차 FM 프레임워크인 변분 종단 속도 플로우 매칭(Variational Terminal-Velocity Flow Matching, VTV-FM)을 제안합니다. 동일한 최소 가속도 변분 구성은 학습에 사용되는 가속도 타깃과 OT 페어링 비용도 정의합니다. 저차원 데이터셋, 편미분 방정식(PDE) 지배 물리장, CIFAR-10에 대한 실험 결과, VTV-FM이 기존 1차 및 고차 FM 베이스라인 대비 수송 기하학(transport geometry)과 생성 품질을 개선함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.