arXiv:2611.19587v1 cs.LG

플로 매칭을 위한 명시적 정규화

Explicit Regularization for Flow Matching

Lars Ruthotto, Eran Treister

제출 2026-11-17

한국어 초록

표본에서 그 바탕이 되는 확률분포를 학습하는 일은 통계학과 응용수학의 핵심 문제다. 확산 및 플로 매칭에 기반한 생성 모델은 알려진 분포를 데이터 분포로 수송하는 흐름의 속도장을 학습한다. 이 모델은 새롭고 사실적인 표본을 생성하지만, 데이터 분포 근처에서는 경험적 학습 문제가 적정하지 않다. 경험적 목적 함수의 최소화 해는 표본을 학습 데이터 지점으로 옮긴다. 데이터에 작은 교란을 주어도 흐름의 끝에 가까워지면 속도장이 크게 바뀐다. 관측되는 일반화는 흔히 신경망의 매개변수화, 학습의 조기 종료, 표본 추출 과정의 시간 적분이 제공하는 암묵적 정규화에 기인한다고 설명한다. 명시적 정규화는 여러 역문제의 이론과 계산 기법을 발전시켰으며, 최근 생성 모델에서 암기를 막는 데에도 제안됐다. 그러나 속도의 크기에 정규화 항을 두면, 정규화 매개변수가 충분히 빠르게 무한대로 커지지 않는 한 속도장이 학습 지점을 그대로 암기하는 속도장으로 접근한다. 매개변수가 충분히 빠르게 커지면 속도장은 상수로 제한되지만, 그 상수가 작아지려면 매개변수 값이 커야 한다. 본 연구는 속도의 $k$차 미분에 페널티를 부과하면, $2k > D$이고 학습 지점이 일반 위치에 있을 때 $D$차원 경험적 문제가 시간 전 구간에서 균일하게 적정해짐을 보인다. 1차원과 2차원 실험에서는 속도를 스플라인으로 이산화하고 정규화 최소제곱 문제를 직접 풀어 최적화 오차를 배제했다. 공간과 시간의 이산화를 더 촘촘하게 해도 헤시안 정규화를 적용한 흐름의 오차는 거의 변하지 않았다. 정규화 항이 없으면 오차는 학습 데이터를 암기할 때의 오차에 가까워졌다. 이 흐름들은 일반화했으며, 오차는 잘 조정한 커널 밀도 추정의 오차와 비슷하거나 더 작았다.

원문 초록

Learning the underlying probability distribution from samples is a core problem in statistics and applied mathematics. Generative models based on diffusion and flow matching learn a velocity field whose flow transports a known distribution to the data distribution. They produce novel, realistic samples, although the empirical learning problem is ill posed near the data distribution. Its minimizer transports the samples onto the training data, and small perturbations of the data change the velocity field strongly near the end of the flow. The observed generalization is often attributed to implicit regularization by the network parameterization, early stopping of the training, and the time integration during sampling. Explicit regularization has advanced the theory and computation of many inverse problems and has recently been proposed to prevent memorization in generative models. With a regularizer on the magnitude of the velocity, however, the field approaches the memorizing velocity unless the regularization parameter grows to infinity fast enough, and it then stays bounded by a constant that is small only for large parameters. We show that penalizing the derivatives of order $k$ of the velocity renders the $D$-dimensional empirical problem well posed uniformly in time if $2k > D$ and the training points are in general position. Our experiments in one and two dimensions discretize the velocity with splines and use direct solvers for the regularized least-squares problems to exclude optimization error. Refining the discretization in space and time changes the error of the Hessian-regularized flows only marginally, whereas without the regularizer the error tends to that of memorization. These flows generalize, with errors comparable to or lower than those of well-tuned kernel density estimates.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19587v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.