arXiv:2610.05490v2 cs.LG

생성 플로우의 보편성과 수렴

Universality and Convergence of Generative Flows

Leo Brunswic

제출 2026-10-04

저자 비고

arXiv Comments

pending corporate approval

한국어 초록

생성 플로우(generative flow)는 플로우가 균형을 이루도록 학습(training)함으로써 정규화되지 않은 타깃으로부터 샘플링하며, 연구자는 신호로서 학습 손실(loss)을 관찰합니다. 본 논문에서는 이 신호가 어떤 가치를 지니는지, 즉 작은 손실이 정확한 샘플러를 보장하는지, 손실을 0으로 만들 수 있는지, 그리고 경사하강법(gradient descent)이 얼마나 빠르게 이를 수행하는지 질문을 던집니다. 첫 번째 질문은 손실이 결정합니다. 균형의 양변을 차이로 비교하는 손실은 플로우가 유도하는 샘플러의 오차를 전변동(total variation) 측면에서 유계(bound)하며, 정책(policy)을 포함하지 않는 명시적 상수를 가집니다. 반면 비율을 통해 비교하는 플로우 매칭 손실은 생성자가 균형에서 연속적일 때마다 단일 사이클 상에서도 그러한 경계를 허용하지 않습니다. 그래프 상에서는 역방향 정책(backward policy)이 나머지 두 가지를 결정합니다. 역방향 정책이 고정되면 균형은 역방향 체인 하에서의 불변성이 되므로 유한 그래프에서 존재성은 자연스럽게 주어지며, 역 스펙트럼 갭(inverse spectral gap) 역할을 하는 해당 체인의 그린 연산자(Green operator) 노름이라는 하나의 상수가 균형 플로우 주변에서 손실 곡률의 차수를 위아래로 고정하고, 그 근처에서 학습이 수렴(convergence)하는 속도의 하한을 설정합니다. 그 메커니즘은 경사하강법이 역방향 정책을 따라 플로우를 확산시키는 것입니다. 세부 균형(detailed balance) 및 궤적 균형(trajectory balance)의 로그 제곱 생성자의 경우, 상태에 대한 균형 손실 학습은 모든 양수 초기화(initialization)로부터 모든 유한 경로 연결 그래프에서 전역적으로 수렴합니다. 역방향 궤적이 평균적으로 짧은 반면 이 상수는 무한할 수 있으며, 이 경우 정확한 플로우 매칭이 실패할 수 있습니다. 경계와 속도는 가산 가능한 상태 공간에서의 정확한 계산을 통해 검증되며, 모든 정리는 Lean 4 구현으로부터 계산된 검증 상태를 수반합니다.

원문 초록

Generative flows sample from an unnormalized target by training a flow to be balanced, and the training loss is the signal a practitioner watches. We ask what that signal is worth: whether a small loss certifies an accurate sampler, whether the loss can be driven to zero, and how fast gradient descent does so. The loss decides the first. Losses that compare the two sides of the balance by their difference bound, in total variation, the error of the sampler the flow implies, with explicit constants that do not involve the policy; flow-matching losses that compare them through a ratio admit no such bound, already on a single cycle, whenever their generator is continuous at balance. On graphs, the backward policy decides the other two. Once it is frozen, balance becomes invariance under the backward chain, so that existence is free on finite graphs, and one constant --- the norm of that chain's Green operator, which plays the role of an inverse spectral gap --- fixes the order of the curvature of the loss around the balanced flow, from above and below, and sets a floor under the rate at which training converges near it. The mechanism is that gradient descent diffuses the flow along the backward policy. For the squared-logarithm generator of detailed and trajectory balance, training the balance loss on states converges globally on every finite path-connected graph, from every positive initialization. The constant can be infinite while backward trajectories are short on average, and exact flow matching can then fail. The bounds and rates are tested by exact computation on enumerable state spaces, and every theorem carries a certification status computed from a Lean~4 development.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.05490v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2410.02548v4stat.ML공통 태그 flow matching공식 코드 · Papers with Code

지역 Flow Matching 생성 모델

Local Flow Matching Generative Models

Flow Matching(FM)은 두 분포를 보간하는 연속적·가역적 flow를 학습하는 시뮬레이션 없는 방법이며, 특히 노이즈에서 데이터를 생성한다. 확산 과정이 그래디언트 flow로서 갖는 변분적 성질에 영감을 받아, 우리는 단계적 FM 모델인 지역 Flow Matching(LFM)을 제안한다. LFM은 FM 서브모델들의 시퀀스를 순차적으로 학습하고, 각 서브모델은 데이터에서 노이즈 방향으로의 time-step 크기에 해당하는 범위까지 확산 과정과 일치시킨다. 각 단계에서 서브-flow 모델이 보간하는 두 분포는 데이터와 노이즈 분포를 보간하는 전체 flow matching 모델의 경우보다 더 가깝다. 이를 통해 더 작은 모델과 더 효율적인 학습이 가능하다. 이러한 변분적 관점은 또한 확산 과정의 수축(contraction) 성질을 활용하여, 생성된 분포와 실제 데이터 분포 사이의 $χ^2$-발산에 대한 관점에서 제안 flow 모델의 이론적 생성 보장을 증명할 수 있게 한다. 실제로 LFM의 단계적 구조는 모델 지식 증류에 자연스럽게 적합하며, 다양한 지식 증류 기법을 적용하여 생성을 가속할 수 있다. 우리는 실험적으로 LFM이 표 형식 및 이미지 데이터셋의 비조건부 생성과 로봇 조작 정책의 조건부 생성에서 FM과 비교해 경쟁력 있는 생성 성능을 달성함을 보인다.

arXiv:2610.03391v2cs.CV공통 태그 flow matching

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

arXiv:2609.14743v3cs.CL공통 태그 flow matching

음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화

Quantifying the Generation Modality Gap in Speech-Text Language Models

순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.

arXiv:2607.12380v2cs.LG공통 태그 flow matching

SinAE: 교차 도메인 원자계를 위한 단일 아키텍처 플로우 매칭 오토인코더

SinAE: A Single-Architecture Flow-Matching Autoencoder for Cross-Domain Atomic Systems

소분자, 결정체, 단백질은 모두 3차원 공간의 원자로 환원되지만, 생성 파이프라인은 여전히 도메인별로 분절되어 있으며 각각 고유한 그래프, 등변(equivariant), 또는 프레임 기반 아키텍처를 사용한다. 교차 도메인 학습은 도메인별 데이터 부족을 완화할 수 있지만, 3차원 좌표 공간에서의 직접 생성은 세 도메인 모두의 이질적인 구조적 사전지식을 쉽게 다루기 어렵고, 기존 잠재 오토인코더 중 무손실이면서 세 도메인 모두에 걸쳐 아키텍처적으로 일반적인 것은 없다. 우리는 분자, 결정체, 단백질을 위한 단일 아키텍처 플로우 매칭 오토인코더인 SinAE를 제안하며, 이는 바닐라 트랜스포머 인코더와 디코더를 사용하고 등변, 그래프, 또는 도메인 특화 연산자를 포함하지 않는다. 인코더가 세밀한 기하를 포착하도록 요구하는 대신, SinAE는 재구성 부담을 반복적 플로우 매칭 디코더로 옮겨 도메인 전반에 걸쳐 거의 무손실 재구성을 달성하고, 기존 잠재 베이스라인 대비 재구성 오차를 여러 차수에 걸쳐 감소시킨다. 동일한 토큰별 잠재는 표준 Diffusion Transformer 사전 모델을 지원하며, 이는 분자, 결정체, 단백질 생성 벤치마크에서 강력한 성능을 달성한다. 분자-결정체 공동 학습은 두 도메인 모두를 뚜렷이 개선하여, 공유 원자 잠재를 통한 교차 도메인 전이의 직접적 증거를 제공한다. 코드는 https://github.com/BlueWhaleLab/SinAE 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.