arXiv:2606.30053v1 stat.ML

Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge

Titouan Vayer

제출 2026-06-29

원문 초록

These notes recapitulate the high level mathematical principles behind different techniques for generative modeling. I show the connections between optimal transport and standard techniques such as Schr{ö}dinger bridge and flow matching.

요약

연속 방정식(continuity equation)과 최적 수송(optimal transport)을 출발점으로 삼아 flow matching, 확산 모델, Schrödinger bridge 간의 수학적 연결 관계를 체계적으로 정리한 강의 노트로, Benamou–Brenier 공식, 엔트로픽 OT(entropic OT), Fokker-Planck 방정식을 거쳐 각 생성 모델링 기법의 통일된 이론적 토대를 설명한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.30053v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13614v1stat.ML공통 태그 optimal transport, diffusion models, flow matching

생성형 확산과 최적 수송 간의 연결성에 관한 고찰

Some remarks on the connection between generative diffusion and optimal transport

본 논문에서는 생성형 확산(generative diffusion)과 최적 수송(optimal transport) 사이의 세 가지 단순한 연결성에 대해 논의한다. 첫째, 데이터와 데이터의 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 노이즈화 간의 결합 법칙은 모든 시점에서 노이즈 수준에 의해 설정된 온도에서의 엔트로피 최적 수송 문제의 해가 된다. 결과적으로 역방향 확산은 엔트로피 정규화(regularization)를 점진적으로 감소시키는 어닐링(annealing) 과정으로 해석될 수 있다. 둘째, 생성 과정에서 데이터 분포의 모드(mode)가 어떻게 출현하는지를 나타내는 분화 전이(speciation transition)를 연구하고, 확산 및 플로우 매칭(flow matching)에서 이러한 현상이 최적 수송과 비교하여 어떻게 일어나는지 비교한다. 고차원 예시로 가우시안 혼합(Gaussian mixture)을 활용하여, 확산과 플로우 매칭이 모드를 분리하는 동적 불안정성이 최적 수송에서는 생성 시작 시점의 지수적으로 얇은 경계층(boundary layer)이 되며, 이는 엔트로피 정규화에 의해 완화됨을 보인다. 셋째, 일반적인 구속 포텐셜(confining potential)을 갖는 일반 순방향 동역학을 고려할 때, 스코어(score)에 의해 구동되는 역방향 프로세스 또한 최소 비용이 초기 및 최종 분포 간의 엔트로피 차이가 되는 드리프트 기반 변분 원리를 만족함을 보인다.

arXiv:2610.10875v1cs.LG공통 태그 Density Estimation, optimal transport, diffusion models

Barron 최적 수송 I: 생성 모델링

Barron Optimal Transport I: Generative Modeling

생성 모델링과 샘플링 분야의 최근 응용에 동기를 받아, 비용이 신경망(neural network) 복잡도의 개념을 반영하는 최적 측도 운송(optimal measure transport) 프레임워크를 소개한다. 운송 기반 생성 모델에서는 기준 분포(예: 가우시안)의 샘플이 상미분방정식 또는 확률미분방정식을 따라 목표 분포의 샘플로 매핑된다. 이는 시간에 대해 이산화되면 심층 잔차 신경망(deep residual network)으로 구현되며, 각 은닉층(hidden layer)은 그에 대응하는 순시 속도(instantaneous velocity)를 근사한다. 따라서 목표 측도와 기준 측도의 쌍이 주어졌을 때, 자연스러운 질문은 이 운송을 구현하는 가장 효율적인 신경망 표현을 찾는 것이다. 우리의 출발점은 Benamou와 Brenier에 의한 OT(최적 수송)의 운동론적 공식화(kinetic formulation)이다. 우리는 평균 운동 $L^2$ 에너지를 \emph{Barron} 에너지 \cite{bach2017breaking, ma2022barron}로 대체하는데, 이는 주어진 벡터장을 신경망 은닉층(hidden layer)으로 표현하는 복잡도를 측정하는 자연스러운 노름(norm)으로, 특징(feature) 학습의 적응적 특성을 포착한다. 이는 확률 측도 공간 위에 하나의 거리(metric)를 정의하며, 기존의 Wasserstein 및 Stein 기하학을 보완한다. 본 연구에서는 생성 모델링의 맥락에서 이 거리의 성질을 살펴본다. 첫 번째 응용으로서, 우리는 가우시안의 신경망 푸시포워드(pushforward)로 생성된 데이터에 대해 초다항식적(super-polynomial) 점수(score) 근사 하한을 수립함으로써 Barron 기하학에서 디퓨전(diffusion) 생성 모델링의 준최적성(suboptimality)을 정량화한다. 이어서 우리는 대안적인 생성 모델을 연구하는 방법으로서 적응성(adaptivity)의 이점을 조사한다. 동반 논문 \cite{companionpaper}에서는 특징(feature) 적응을 통해 Stein 변분 그래디언트(gradient) 방법의 적용 범위를 확장함으로써, 샘플링 응용을 위해 Barron 운송 기하학을 활용한다.

arXiv:2607.11631v2stat.CO공통 태그 Variational Inference, Density Estimation, diffusion models

확산 경로를 이용한 마르코프 연쇄 몬테카를로

Markov Chain Monte Carlo with Diffusion Paths

다중 모드 분포(multimodal distribution)로부터의 샘플링은 고전적인 로컬 마르코프 연쇄 몬테카를로(MCMC) 방법에서 오랜 난제였다. 널리 쓰이는 해결책은 목표 분포와 더 단순한 참조 분포 사이를 보간하는 중간 분포 시퀀스를 도입하는 것이다. 고전적인 방법인 템퍼링(tempering)은 밀도를 거듭제곱으로 올리지만, 비대칭 모드들의 상대적 가중치를 왜곡하고 혼합 성능을 저하시킬 수 있다. 이에 대한 대안으로, 우리는 목표 분포를 가우시안으로 이끄는 노이징 확산 과정의 주변 분포인 확산 경로(diffusion path)를 따라 보간하는 방법을 제안한다. 이 경로는 모드들의 상대적 가중치를 보존하며 유리한 혼합 특성을 지니는데, 이를 대응하는 이상적인 전이 커널의 스펙트럴 갭(spectral-gap) 분석을 통해 엄밀히 밝힌다. 경로를 따른 샘플링에는 중간 스코어(intermediate score)가 필요하며, 이는 비정규화 목표 분포로부터 변분적(variational) 접근법을 통해 추정할 수 있어 근사 샘플러만 얻어진다. 이로 인한 바이어스를 제거하기 위해, 우리는 메트로폴리스-보정 확산 경로(MAD-Path) 샘플러를 도입한다. 이 샘플러는 증강된 경로 공간(augmented path space)에서 확산 경로 제안을 보정하며, 학습된 스코어의 정확도나 이산화 오류와 무관하게 목표 분포를 불변으로 유지한다. 또한 이 두 오류가 수락 확률에 미치는 영향을 정량화하여 실용적인 튜닝을 위한 지침을 제공한다. 다양한 베이지안 사후 분포(Bayesian posterior)에 대한 실험에서 MAD-Path는 템퍼링 기반 MCMC 방법 및 비보정 확산 샘플러에 비해 전역 탐험과 모드 가중치 추정을 개선함을 보여준다.

arXiv:2610.02260v2cs.AI공통 태그 Density Estimation, flow matching

MintFlow: 제약 조건 기반 플로우 매칭을 위한 최소 궤적 개입

MintFlow: Minimal Trajectory Intervention for Constrained Flow Matching

플로우 매칭(Flow matching) 모델은 생성 모델링에서 뛰어난 성능을 보이며, 수많은 다운스트림 응용 분야에서는 생성된 샘플이 관측된 측정값이나 물리 법칙과 같은 규정된 제약 조건을 만족하도록 요구합니다. 그러나 기존의 제약 조건 기반 샘플러는 흔히 상충 관계(trade-off)에 직면합니다. 즉, 제약 조건을 강제하면 사전학습된 데이터 분포로부터 샘플이 크게 벗어날 수 있습니다. 이러한 상충 관계를 해결하기 위해, 본 논문에서는 사전학습된 플로우 궤적에 대한 최소한의 개입으로 제약 조건 강제를 공식화하는 학습 불필요(training-free) 제약 조건 기반 샘플링 프레임워크인 MintFlow를 제안합니다. MintFlow는 사전학습된 플로우 필드 하에서 이후의 상태 변화가 목표 제약 조건을 만족하도록 중간 플로우 상태의 최소 섭동(perturbation)을 탐색합니다. 사전학습된 플로우 필드를 변경하지 않고 유지하면서 플로우 상태를 최소한으로 섭동시킴으로써, MintFlow는 사전학습된 분포로부터의 불필요한 이탈을 최소화하면서 제약 조건을 강제합니다. 또한 수반 공식화(adjoint formulation)를 통해 이 섭동에 대한 닫힌 형식 표현(closed-form expression)을 도출하여 비용이 많이 드는 반복적 최적화를 배제합니다. 나아가 MintFlow는 필요한 섭동 크기와 잔여 플로우에 의한 증폭 사이의 균형을 맞추기 위해 개입 시점을 적응적으로 선택합니다. 생성형 비전 및 물리 시스템 모델링의 다양한 태스크 전반에 걸쳐, MintFlow는 경쟁력 있는 수준으로 제약 조건을 만족하는 동시에 최신 제약 조건 기반 기법들보다 사전학습된 생성 분포를 훨씬 더 잘 보존합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.