기댓값 배치 최적 수송 플랜과 플로우 매칭에 미치는 영향
Expected Batch Optimal Transport Plans and Consequences for Flow Matching
한국어 초록
무작위 미니배치(minibatch)에서 최적 수송(OT)을 푸는 것은 대규모 학습에서 정확한 OT를 대체하는 일반적인 대용물(surrogate)입니다. 플로우 매칭(Flow Matching, FM)에서는 이 대용물을 사용하여 확률 경로를 직선화하고 수치 적분 비용을 줄일 수 있는 OT 유사 결합(coupling)을 얻습니다. 그러나 반복된 미니배치 OT에 의해 유도되는 모집단 수준(population-level)의 결합은 여전히 부분적으로만 이해되고 있습니다. 본 연구에서는 이를 크기 $k$의 독립적인 미니배치들에 대한 경험적 OT 플랜을 평균하여 얻어지는 기댓값 배치 OT 플랜 $\overlineπ_{k}$로 공식화합니다. 그런 다음 이 플랜의 대규모 배치 일관성을 확립하고, 생성 모델링과 관련된 준이산(semidiscrete) 환경에서 수송 비용 바이어스 및 $\overlineπ_{k}$가 OT 플랜으로 수렴하는 속도를 모두 도출합니다. FM의 경우, 이는 유도된 속도장(velocity field)이 소스에서 이산적인 타깃으로 향하는 고유한 플로우를 정의할 만큼 충분히 정규적(regular)인 모집단 결합을 제공합니다. 마지막으로 다루기 쉬운 2-원자 모델(two-atom model)과 합성 데이터 및 이미지 실험에서 OT 배치 크기가 수치 적분과 어떻게 상호작용하는지 정량화합니다.
원문 초록
Solving optimal transport (OT) on random minibatches is a common surrogate for exact OT in large-scale learning. In flow matching (FM), this surrogate is used to obtain OT-like couplings that can straighten probability paths and reduce numerical integration cost. Yet, the population-level coupling induced by repeated minibatch OT remains only partially understood. We formalize this coupling as the expected batch OT plan $\overlineπ_{k}$, obtained by averaging empirical OT plans over independent minibatches of size $k$. We then establish its large-batch consistency and, in the semidiscrete case relevant to generative modeling, derive rates for both the transport-cost bias and the convergence of $\overlineπ_{k}$ to the OT plan. For FM, this yields a population coupling whose induced velocity field is regular enough to define a unique flow from the source to the discrete target. We finally quantify how OT batch size interacts with numerical integration in a tractable two-atom model and in synthetic and image experiments.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
생성형 확산과 최적 수송 간의 연결성에 관한 고찰
Some remarks on the connection between generative diffusion and optimal transport
본 논문에서는 생성형 확산(generative diffusion)과 최적 수송(optimal transport) 사이의 세 가지 단순한 연결성에 대해 논의한다. 첫째, 데이터와 데이터의 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 노이즈화 간의 결합 법칙은 모든 시점에서 노이즈 수준에 의해 설정된 온도에서의 엔트로피 최적 수송 문제의 해가 된다. 결과적으로 역방향 확산은 엔트로피 정규화(regularization)를 점진적으로 감소시키는 어닐링(annealing) 과정으로 해석될 수 있다. 둘째, 생성 과정에서 데이터 분포의 모드(mode)가 어떻게 출현하는지를 나타내는 분화 전이(speciation transition)를 연구하고, 확산 및 플로우 매칭(flow matching)에서 이러한 현상이 최적 수송과 비교하여 어떻게 일어나는지 비교한다. 고차원 예시로 가우시안 혼합(Gaussian mixture)을 활용하여, 확산과 플로우 매칭이 모드를 분리하는 동적 불안정성이 최적 수송에서는 생성 시작 시점의 지수적으로 얇은 경계층(boundary layer)이 되며, 이는 엔트로피 정규화에 의해 완화됨을 보인다. 셋째, 일반적인 구속 포텐셜(confining potential)을 갖는 일반 순방향 동역학을 고려할 때, 스코어(score)에 의해 구동되는 역방향 프로세스 또한 최소 비용이 초기 및 최종 분포 간의 엔트로피 차이가 되는 드리프트 기반 변분 원리를 만족함을 보인다.
VTV-FM: 변분 종단 속도 종결을 통한 플로우 매칭
VTV-FM: Flow Matching through Variational Terminal-Velocity Closure
플로우 매칭(Flow Matching, FM)은 단순한 소스 분포에서 데이터 분포로 향하는 연속 시간 움직임을 피팅하여 생성적 수송을 학습합니다. 기존 방식의 대부분은 1차 브릿지(first-order bridge)를 사용합니다. 즉, 소스와 타깃 샘플이 쌍을 이루면 경로는 일정한 속도를 갖는 직선 운동이 됩니다. 최적 수송(Optimal Transport, OT) 기반의 플로우 매칭은 페어링을 개선하지만 브릿지 자체는 선형으로 유지되므로 곡선 운동, 가속도 및 방향 변화를 모델링하는 데 한계가 있습니다. 자연스러운 해결책은 2차 위상 공간 역학(second-order phase-space dynamics)을 사용하는 것이지만, 브릿지를 학습하려면 정적 데이터셋에서는 제공되지 않는 타깃 측 종단 속도(terminal-velocity) 정보가 필요합니다. 본 논문에서는 가속도 에너지를 최소화하여 누락된 속도를 도출하고 정적 데이터에 대한 닫힌 형태의 종결(closed-form closure)을 제공하는 2차 FM 프레임워크인 변분 종단 속도 플로우 매칭(Variational Terminal-Velocity Flow Matching, VTV-FM)을 제안합니다. 동일한 최소 가속도 변분 구성은 학습에 사용되는 가속도 타깃과 OT 페어링 비용도 정의합니다. 저차원 데이터셋, 편미분 방정식(PDE) 지배 물리장, CIFAR-10에 대한 실험 결과, VTV-FM이 기존 1차 및 고차 FM 베이스라인 대비 수송 기하학(transport geometry)과 생성 품질을 개선함을 보여줍니다.
보상 전송: 노이즈 공간 정렬을 통한 플로우 매칭에서의 속성 제어
Reward Transport: Property Control in Flow Matching via Noise-Space Alignment
플로우 매칭에서의 커플링(coupling)—노이즈 벡터와 데이터 포인트를 짝짓는 규칙—은 일반적으로 계산상의 선택으로 다루어진다. 본 논문에서는 이 커플링이 정렬 인터페이스로 기능할 수 있음을 보인다. 목표 분자 속성에 따라 노이즈와 데이터를 매칭함으로써, 제어 가능한 구조를 학습된 플로우 필드에 직접 내재시킬 수 있다. 이러한 관점에 기반하여, 우리는 Reward Transport를 소개한다. 이 방법은 학습 시 최적 전송 커플링(optimal transport coupling)을 사용해 스칼라 노이즈 공간 좌표를 분자 보상과 정렬하며, 추론 시에는 이 좌표를 변화시킴으로써 오라클, 보상 모델, 그래디언트 가이던스, 혹은 추가 연산 없이 생성 분포를 조종한다. 커플링 보존 극한(coupling-preserving limit)에서, 이 좌표에 임계값을 적용하면 교차 엔트로피 방법(Cross-Entropy Method)의 절단된 보상 분포가 복원되어, 원칙에 기반한 연속적으로 조정 가능한 분포 수준의 제어 노브를 제공한다. 실험적으로, ZINC-250K와 GuacaMol에서 스칼라를 스위핑하면 logP의 단조 제어와 동작 범위 내에서의 일관된 QED 제어가 유도된다. 가장 주목할 점은, 동일한 노브가 서로 다른 목표에 대해 반대 방향의 구조적 반응을 생성한다는 것이다—logP에 대해서는 분자가 커지고 QED에 대해서는 작아짐—이는 일반적인 크기 바이어스를 배제한다. 이 인터페이스는 분류자 없는 가이던스(classifier-free guidance) 및 조건부 플로우 매칭과 상호 보완적이며, epsilon-예측 확산 모델에서의 부정적 결과는 커플링 수준의 정렬이 구조적으로 부재한 경우를 명확히 한다. 코드: https://github.com/KehanGuo2/reward-transport
Entropy-Controlled Flow Matching
Notes on generative modeling: flow matching, diffusion, optimal transport and Schr{ö}dinger bridge
유효 전송 맵 추정의 근본적 한계
The Fundamental Limits of Valid Transport Map Estimation
확산 모델, 정규화 흐름(normalizing flows), 플로우 매칭(flow matching) 등 많은 현대 생성 모델링 방법들은 최적 전송(OT) 맵을 명시적으로 목표로 삼지 않으면서 분포 간 전송 맵 또는 플랜을 추정한다. 생성 모델링과 같은 응용에서 전송 비용 자체는 무관하며, 이로 인해 통계적 또는 계산적 관점에서 더 다루기 쉬운 맵을 목표로 삼는 것이 자연스러워진다. 본 단문에서는 유효한 전송 맵을 추정하는 과제를 엄밀한 미니맥스 프레임워크로 형식화한다. 이 프레임워크의 한 가지 귀결은, 플로우 매칭 및 확산 기반 생성 모델을 포함하여 학습된 객체가 전송 맵 또는 플랜으로 평가되는 모든 방법에 대해 샘플 복잡도 하한(sample complexity lower bounds)을 제공한다는 점이며, 이는 방법 자체의 분석적 복잡성과 목표 맵의 특성으로 인해 직접 분석이 어려운 환경에서도 적용된다. 우리는 OT 문헌의 표준적이나 강한 안정성 가정(stability assumptions) 하에서, 유효한 전송 맵을 추정하는 것이 통계적으로 OT 맵을 추정하는 것만큼 어렵다는 것을 확인한다. 이 결과를 보완하여, 해당 안정성 가정이 성립하지 않을 때 대안적 전송 맵이 OT 맵보다 실질적으로 훨씬 정확하게 학습될 수 있음을 보여주는 몇 가지 예시를 제시한다. 우리의 미니맥스 프레임워크는 현대 전송 기반 생성 방법의 통계적 한계를 이해하기 위한 엄밀한 토대를 제공하며, 최적이 아닌 맵을 목표로 삼는 것이 실질적인 통계적 이점을 가져올 수 있는 조건을 명확히 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS 2026