arXiv:2611.21119v1 stat.ML

적은 단계로 생성할 때 닫힌 형태의 결합이 갖는 한계

The Limits of Closed-Form Couplings for Few-Step Generation

Tobias H\"oppe, Stefan Bauer, Qiang Liu, Andrea Dittadi, Kirill Neklyudov

제출 2026-11-16

한국어 초록

흐름 모델로 적은 단계의 생성기를 만들려면 사전학습 흐름 모델이나 일관성 손실 등 복잡한 기술이 필요하다. 정류 흐름은 적은 단계로 샘플링하는 데 성공해 널리 쓰인다. 다만 모델을 사전학습해야 하고 데이터셋마다 많은 결합을 샘플링해야 한다. 유한한 데이터셋과 가우스 확률 경로에서는 경험분포의 확률 흐름 벡터장을 닫힌 형태로 구할 수 있다. 따라서 이 벡터장을 교사로 사용하면 사전학습을 아예 생략할 수 있을 듯하다. 그러나 본 연구는 실제로 관심 있는 문제에는 이 접근법을 적용할 수 없음을 보인다. 특히 고차원에서 확산 과정의 해석해는 거의 선형 변환이 된다. 적분하면 초기화에서 뽑은 잡음 벡터와 드리프트의 합을 얻는다. 실험에서 드리프트는 데이터 점을 작게 축소한 것과 비슷하고 잡음과는 거의 독립적이었다. 따라서 이 결합은 드리프트에서만 독립적으로 짝을 지은 경우와 다르다. 이 결합으로 학습하는 것은 잡음과 데이터를 독립적으로 표본 추출해 학습하는 것과 거의 같으므로 유용한 교사 신호를 제공하지 못한다. 이는 데이터가 고차원인 데서 직접 비롯되는 결과다. 차원이 충분히 낮거나 데이터셋이 충분히 크면 해석적 결합은 더 효과적인 교사가 된다. 드리프트가 차지하는 종점 에너지의 비율로 이 효과를 정량화했다. $d$차원 공간에서 크기 $N$의 데이터셋을 사용하면 이 비율은 $\frac{\log N}{d}$에 비례해 변한다. 실험으로 논문에서 제시한 이론적 결과를 모두 확인했다.

원문 초록

Few-step generators via flow models require complicated technical solutions such as a pretrained flow model or a consistency loss. While rectified flows have gained popularity for their success in few-step sampling, they pay a cost of needing a pre-trained model and sampling a large number of couplings per dataset. Yet for a finite dataset and a Gaussian probability path, the probability-flow vector field of the empirical distribution is available in closed form, so one could use this field as the teacher and skip pretraining altogether. We demonstrate that, surprisingly, this approach is impossible for problems of practical relevance. In particular, the analytic solution of the diffusion process in high dimensions becomes almost a linear transformation. The integration returns the noise vector drawn at initialisation, plus a drift that is empirically a faint copy of the data point, almost independent of the noise. The coupling therefore differs from an independent pairing only through this drift. As a result, training a model on these couplings is almost equivalent to training the model on the independent draws of the noise and the data, which does not provide a useful teacher. We highlight that this is the direct consequence of the high-dimensionality of the data, and that for low enough dimensions or large enough datasets, analytic couplings become more efficient teachers. We quantify this effect by the fraction of endpoint energy carried by the drift, which scales as $\frac{\log N}{d}$ for a dataset of size $N$ in a $d$-dimensional space. Finally, we provide an empirical study confirming all the theoretical results presented in the paper.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.21119v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.