Generative image super-resolution (ISR) methods typically sample from a standard Gaussian prior and transport the sample to the data distribution, where the low-quality (LQ) input serves only as an external condition. However, the LQ image already carries rich structural information about the target high-quality (HQ) image, which makes a distribution approximating the LQ image a more suitable starting point, an idea that has been validated by a series of diffusion-based restoration methods. In contrast, recent flow-matching-based ISR methods still adopt the standard Gaussian prior and thereby discard such structural priors; moreover, existing single-step acceleration techniques, such as distillation and consistency training, either depend on an additional teacher or sacrifice the model's multi-step inference capability. In this paper, we propose Residual Flow Matching for Image Super-Resolution (RFMSR), which defines the source distribution as a Gaussian centered at the LQ latent, so that the flow starts from the LQ image rather than from pure noise and preserves the structural priors already present in the input. To achieve high-quality single-step generation, we further propose a simple yet effective training strategy that combines the supervision loss on the single-step output with the conditional flow matching (CFM) loss, enabling high-quality restoration with an arbitrary number of steps without resorting to distillation or other acceleration techniques. Extensive experiments show that RFMSR achieves competitive results against state-of-the-art methods. The source code is available at https://github.com/Faze-Hsw/RFMSR.
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.
소분자, 결정체, 단백질은 모두 3차원 공간의 원자로 환원되지만, 생성 파이프라인은 여전히 도메인별로 분절되어 있으며 각각 고유한 그래프, 등변(equivariant), 또는 프레임 기반 아키텍처를 사용한다. 교차 도메인 학습은 도메인별 데이터 부족을 완화할 수 있지만, 3차원 좌표 공간에서의 직접 생성은 세 도메인 모두의 이질적인 구조적 사전지식을 쉽게 다루기 어렵고, 기존 잠재 오토인코더 중 무손실이면서 세 도메인 모두에 걸쳐 아키텍처적으로 일반적인 것은 없다. 우리는 분자, 결정체, 단백질을 위한 단일 아키텍처 플로우 매칭 오토인코더인 SinAE를 제안하며, 이는 바닐라 트랜스포머 인코더와 디코더를 사용하고 등변, 그래프, 또는 도메인 특화 연산자를 포함하지 않는다. 인코더가 세밀한 기하를 포착하도록 요구하는 대신, SinAE는 재구성 부담을 반복적 플로우 매칭 디코더로 옮겨 도메인 전반에 걸쳐 거의 무손실 재구성을 달성하고, 기존 잠재 베이스라인 대비 재구성 오차를 여러 차수에 걸쳐 감소시킨다. 동일한 토큰별 잠재는 표준 Diffusion Transformer 사전 모델을 지원하며, 이는 분자, 결정체, 단백질 생성 벤치마크에서 강력한 성능을 달성한다. 분자-결정체 공동 학습은 두 도메인 모두를 뚜렷이 개선하여, 공유 원자 잠재를 통한 교차 도메인 전이의 직접적 증거를 제공한다. 코드는 https://github.com/BlueWhaleLab/SinAE 에서 이용할 수 있다.
Flow matching has emerged as a standard paradigm for robotic manipulation owing to its strong expressive power for modelling complex, multimodal action distributions, alongside similar approaches like diffusion policy. However, existing methods rely on discretized action chunks, making them brittle to demonstrations collected at heterogeneous control frequencies and prone to temporally inconsistent actions that degrade control stability. In this paper, we propose Frequency-Aware Flow Matching (FAFM), which outputs continuous, temporally consistent actions. To handle heterogeneous frequency input, we transform discrete action sequences into the frequency domain with the discrete cosine transform (DCT), perform flow matching over the resulting coefficients, and reconstruct continuous actions via cosine basis expansion. To generate temporally consistent actions, we regularize the first-order temporal derivative to promote smooth actions. This corresponds to a Sobolev-type constraint that suppresses high-frequency errors and discourages abrupt action changes. Our FAFM is simple, introduces no additional network parameters and applies to standalone flow-matching policies and vision-language action models. Across synthetic toy benchmark, obstacle avoidance, LapGym, and LIBERO, FAFM improves success rates, multimodal expressivity, motion smoothness, convergence speed, robustness to mechanical bias and mixed-frequency input. These gains are consistent when deployed on a real-world Franka robot. Code available at https://github.com/gakakulicc/FAFM.
Flow-based generative models have emerged as an efficient alternative to diffusion models. We study the sample complexity of learning a target distribution in Wasserstein distance via flow matching, which learns a velocity field transporting a base distribution to the target. Under exact empirical risk minimization over a fixed network class and standard assumptions on the architecture and data distribution, we show that any squared-loss flow-matching variant including rectified flow with bounded derivatives achieves $\widetilde{O}(\varepsilon^{-2})$ sample complexity for the statistical term with the Wasserstein guarantee taking the form $W_2 \le K(\varepsilon + C\varepsilon_{app})$, where $\varepsilon_{app}$ is the approximation error of the network class. This improves upon existing $\widetilde{O}(\varepsilon^{-4})$ guarantees and does not require the Polyak--Lojasiewicz condition in the statistical analysis. Instead, we exploit a structural property of the squared-loss objective - it induces an approximate Bernstein condition that directly ties the variance of the excess loss to the excess risk up to additive approximation-error. This condition enables a localized Rademacher complexity analysis yielding fast $O(1/n)$ rates. The flow-matching schedule enters the leading statistical prefactor through the Lipschitz constant of the pointwise loss, which we characterize explicitly for standard schedules.
확산(diffusion) 및 흐름 기반(flow-based) 모델은 이미지와 동영상 등의 도메인에서 연속 데이터를 생성하는 사실상의 접근법이 되었다. 그 성공은 언어 모델링(language modeling)에 이를 적용하려는 관심을 점점 더 끌어들이고 있다. 이미지 도메인의 대응 모델과 달리, 오늘날 선도적인 확산 언어 모델(diffusion language models, DLMs)은 주로 이산 토큰(discrete tokens) 위에서 동작한다. 본 논문에서는 이산 도메인에 대한 최소한의 적응만으로 연속 DLM을 효과적으로 만들 수 있음을 보인다. 우리는 연속 시간 Flow Matching에 기반한 연속 임베딩 공간에서의 확산 모델 클래스인 Embedded Language Flows(ELF)를 제안한다. 기존 DLM과 달리 ELF는 마지막 시간 단계까지 주로 연속 임베딩 공간 내에 머무르며, 이 단계에서 공유 가중치(shared-weight) 네트워크를 사용하여 이산 토큰으로 매핑한다. 이 구성은 이미지 도메인 확산 모델에서 확립된 기법, 예를 들어 classifier-free guidance(CFG)를 적응시키기 쉽게 만든다. 실험 결과 ELF는 선도적인 이산 및 연속 DLM을 크게 능가하며, 더 적은 샘플링 단계로 더 나은 생성 품질을 달성한다. 이 결과는 ELF가 효과적인 연속 DLM을 향한 유망한 경로를 제공함을 시사한다.
Flow matching and diffusion models enable conditional generation across domains ranging from images to proteins, with recent extensions to out-of-distribution contexts. Yet generative models of neural time series have largely remained restricted to categorical conditioning, precluding compositional and zero-shot generalization. In this work, we propose PINC-Flow, a per-timestep conditioned diffusion transformer for generating realistic fMRI brain dynamics during unseen cognitive tasks by injecting both compositional language and optional spatial priors in-context. Such zero-shot generation could enable counterfactual neuroscience by supporting in-silico design and evaluation of novel cognitive experiments before empirical validation. Leveraging this model, we evaluate across hundreds of held-out task conditions and characterize predictive performance in relation to the training manifold. From language alone, the model recovers region-specific recruitment across tasks and held-out spatial activation patterns. Spatial priors, when available, complement the text pathway by anchoring generation in regions of task space where language alone degrades, while retaining the compositional structure needed for counterfactual task specification. To our knowledge this is the first generative model of whole-cortex fMRI dynamics for unseen cognitive tasks, advancing counterfactual neuroscience and data-driven experimental design.
흐름 기반 생성 모델에서 가능도(likelihood) 추정 시 발생하는 높은 분산 문제를 해결하기 위해, 허친슨 추정기(Hutchinson's trace estimator) 없이 벡터화된 형태로 학습 가능한 가능도 증류(distillation) 목적 함수 SCALLOP을 제안한다. SCALLOP은 F2D2 대비 학습 분산을 최대 100배 줄이고 수렴 속도를 높이며, 분자 과학의 볼츠만 생성기(Boltzmann generator) 및 이미지 도메인에서 최신 기준선 대비 최대 10배의 추론 속도 향상을 달성한다.
EEG foundation models can learn generalizable representations from large-scale EEG corpora to enable single-backbone transfer across diverse clinical and brain-computer interface tasks. Existing models typically discretize the continuous multi-channel EEG waveform into patches or codebook tokens and train a transformer with masked self-supervision. Recognizing that this discretization fragments continuous brain rhythms and obscures fine-grained temporal dynamics, we present B[FM]$^2$(Brain Foundation Model via Flow Matching), whose inductive bias aligns with the data by pretraining directly on the raw signal using continuous-time flow matching without patches, tokenization, or masking. However, multi-channel EEG signals pose an architectural challenge for flow matching: time is densely sampled and highly autocorrelated (thousands of timepoints), while the electrode axis is short (tens of channels) at distinct scalp positions. To address this time-electrode asymmetry, we introduce SplitUNet, a velocity network that factorizes each block into separate 1D temporal and 1D electrode convolutions and downsamples only along time, preserving electrode topology throughout the hierarchy. B[FM]$^2$ sets a new state of the art on $7$ of $9$ standard downstream EEG classification tasks, using a pretraining budget of only $36{,}895$ segments ($\approx$ 307h), 1-2 orders of magnitude ($\approx$ 30x) less than required by existing EEG foundation models. Further, it generates synthetic EEGs that two board-certified neurologists cannot distinguish from brain data (Cohen's $\kappa = -0.096$). https://jd730.github.io/projects/BFM2
고차원 계수(count) 데이터는 단일세포 RNA 시퀀싱(single-cell RNA sequencing) 및 신경 스파이크 트레인(neural spike trains)과 같은 응용에서 나타나며, 연속적인 배치 또는 시점에 걸친 분포 간 매핑은 데이터 분석의 핵심 구성 요소를 이룬다. 이미지, 동영상, 텍스트에 대한 확산(diffusion) 및 플로우 기반 심층 생성 모델의 최근 성공은 이러한 아이디어를 계수 값 설정으로 확장할 동기를 주지만, 기존 방법의 다수는 각 계수를 범주형 상태로 취급하거나 계수를 연속 공간으로 변환하는데, 계수 범위가 클 때 이 둘 모두 자연스럽거나 효율적이지 않다. 우리는 국소 단위 점프를 갖는 연속 시간 출생-사망(birth-death) 과정에 기반한 계수 데이터용 플로우 매칭 프레임워크인 count-FM을 제안한다. count-FM은 조건부 전이율의 시뮬레이션 없는(simulation-free) 학습을 통해 계수 공간에서 주변 전이를 효율적으로 학습하여, 임의의 계수 분포를 따르는 소스 및 타깃 모집단 간 수송(transport)을 가능하게 한다. 시뮬레이션에서 count-FM 변형들은 훨씬 적은 파라미터를 사용하면서도 강한 샘플 품질을 달성한다. 또한 우리는 무조건 생성, 수송, 조건부 생성을 위해 count-FM을 scRNA-seq 및 신경 스파이크 트레인 데이터에 적용한다. 이러한 과제 전반에 걸쳐 count-FM은 향상된 샘플 품질, 더 큰 모델링 효율, 해석 가능한 수송 경로를 제공한다.
Sampling from the posterior is the central task of computational Bayesian inverse problems. The standard workhorse in Bayesian inference---Markov chain Monte Carlo (MCMC)---is sequential, yields correlated samples, and must be rerun for each new observation. Conditional flow matching offers an amortized alternative: a transport map, trained once on joint samples of parameter and data, that yields independent approximate posterior samples for any observation at negligible online cost, without new likelihood evaluations. We give a careful, MCMC-literate assessment of flow matching for PDE-based inverse problems with function-valued parameters. Exploiting the flow's tractable density, we derive computable accuracy estimates for the learned posterior in total variation distance and Kullback--Leibler divergence and, moreover, propose a hybrid sampler that is made asymptotically exact by Metropolization. We validate the accuracy estimates and demonstrate amortization in several numerical examples, including electrical impedance tomography and a likelihood-free Lotka--Volterra model. Flow matching reproduces posterior means and credible bands closely at a fraction of the forward solves required by MCMC, but its accuracy degrades for concentrated posteriors and for observations that are atypical under the prior.
플로우 매칭(Flow matching) 모델은 생성 모델링에서 뛰어난 성능을 보이며, 수많은 다운스트림 응용 분야에서는 생성된 샘플이 관측된 측정값이나 물리 법칙과 같은 규정된 제약 조건을 만족하도록 요구합니다. 그러나 기존의 제약 조건 기반 샘플러는 흔히 상충 관계(trade-off)에 직면합니다. 즉, 제약 조건을 강제하면 사전학습된 데이터 분포로부터 샘플이 크게 벗어날 수 있습니다. 이러한 상충 관계를 해결하기 위해, 본 논문에서는 사전학습된 플로우 궤적에 대한 최소한의 개입으로 제약 조건 강제를 공식화하는 학습 불필요(training-free) 제약 조건 기반 샘플링 프레임워크인 MintFlow를 제안합니다. MintFlow는 사전학습된 플로우 필드 하에서 이후의 상태 변화가 목표 제약 조건을 만족하도록 중간 플로우 상태의 최소 섭동(perturbation)을 탐색합니다. 사전학습된 플로우 필드를 변경하지 않고 유지하면서 플로우 상태를 최소한으로 섭동시킴으로써, MintFlow는 사전학습된 분포로부터의 불필요한 이탈을 최소화하면서 제약 조건을 강제합니다. 또한 수반 공식화(adjoint formulation)를 통해 이 섭동에 대한 닫힌 형식 표현(closed-form expression)을 도출하여 비용이 많이 드는 반복적 최적화를 배제합니다. 나아가 MintFlow는 필요한 섭동 크기와 잔여 플로우에 의한 증폭 사이의 균형을 맞추기 위해 개입 시점을 적응적으로 선택합니다. 생성형 비전 및 물리 시스템 모델링의 다양한 태스크 전반에 걸쳐, MintFlow는 경쟁력 있는 수준으로 제약 조건을 만족하는 동시에 최신 제약 조건 기반 기법들보다 사전학습된 생성 분포를 훨씬 더 잘 보존합니다.
본 연구에서는 조건부 생성 알고리즘, 즉 플로우 매칭(flow matching)을 이용하여 산불 규모의 시간적 변화를 예측하는 확률적 모델을 제시한다. 공간적으로 해상도를 갖는 화재 진행을 예측하는 대신, 제안된 모델은 화재 면적의 시계열을 예측함으로써 계산 비용을 크게 줄이고 조기 경보 시스템 및 위험 평가 도구와 같은 후속 응용 프로그램과의 효율적인 통합을 가능하게 한다. 현재 및 이전 예측 시점의 화재 규모 추정치와 공간적으로 평균화된 기상 조건, 지형 특성, 연료 구성이 주어지면, 모델은 3시간 간격 동안의 화재 면적 변화를 예측한다. 학습 데이터는 WRF-SFIRE를 이용해 생성된 140개의 대기-산불 결합 시뮬레이션에서 추출되었으며, 북미 중규모(North American Mesoscale, NAM) 모델의 기상 데이터와 결합되었다. 민감도 분석은 모델이 풍속, 온도, 상대 습도의 변화에 대해 물리적으로 일관된 반응을 포착함을 보여준다. 모델 성능은 WRF-SFIRE의 기준 해(reference solution)와 비교하여 평가된다. 단일 스텝 예측의 경우, 모델은 WRF-SFIRE 기준 해에 대해 대칭 평균 절대 백분율 오차(symmetric mean absolute percentage error, sMAPE) 0.39를 달성한다. 24시간에 걸친 재귀적 다단계 예측은 12개의 홀드아웃(held-out) 테스트 사례에 대해 수행되었으며, 플로우 매칭 모델은 최종 화재 면적 sMAPE 0.39를 달성하면서도 예측 불확실성에 대한 유의미한 정량화를 추가로 제공한다.
흐름 매칭(flow-matching) 및 확산 모델(diffusion model)은 선형 역문제(linear inverse problem)의 사전확률(prior)로 점점 더 많이 활용되고 있으나, 대부분의 방법은 특정 궤적 사전확률 클래스에만 맞춤화되어 있습니다. 플러그 앤 플레이(plug-and-play) 방식들이 제안되었지만, 이들은 유도된 궤적의 상관관계를 암묵적으로 해제하여 데이터가 희소할 때 성능이 저하될 수 있는 넓은 사전확률을 형성합니다. 본 연구에서는 흐름, 확산 및 탈상관된 사전확률을 일반화하는 상관 매개변수 $β$와 경로 분포가 얼마나 강하게 적용되는지를 제어하는 신뢰도 매개변수 $κ$로 색인화된 범용 플러그 앤 플레이 방법인 $β$-Flow를 제안합니다. 각 단계는 노이즈 제거 네트워크의 단 한 번의 순전파 평가만을 필요로 하며, 이후 가우시안 조건화 단계가 이어집니다. 이 조건화 단계는 네트워크 그래디언트에 의존하지 않는 정확한 칼만 업데이트(Kalman update)입니다. 우리는 기존의 많은 가이드 샘플러들이 칼만 이득 대신 서로 다른 궤적 사전확률과 연산자를 암묵적으로 사용하는 본 방법의 인스턴스 또는 근사치로 해석될 수 있음을 보여줍니다. 이러한 관점에서 우리는 암묵적 편향 및 가정의 측면에서 방법들의 정성적 비교를 제공합니다. 또한 4개 데이터셋에 걸친 7개의 역문제에서 PSNR 및 SSIM 기준으로 일관되게 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 아울러 관측 정보가 적을 때는 높은 신뢰도의 강한 상관관계(엄격한 사전확률)가 가장 효과적이며, 관측 정보가 많을 때는 낮은 상관관계가 선호된다는 점을 보여줌으로써 베이즈 추론(Bayesian inference)에서 사전확률과 가능도(likelihood)의 상호보완적 역할을 반영하는 이러한 사전확률 제어의 유용성을 입증합니다.
본 논문에서는 생성형 확산(generative diffusion)과 최적 수송(optimal transport) 사이의 세 가지 단순한 연결성에 대해 논의한다. 첫째, 데이터와 데이터의 오른슈타인-울렌벡(Ornstein-Uhlenbeck) 노이즈화 간의 결합 법칙은 모든 시점에서 노이즈 수준에 의해 설정된 온도에서의 엔트로피 최적 수송 문제의 해가 된다. 결과적으로 역방향 확산은 엔트로피 정규화(regularization)를 점진적으로 감소시키는 어닐링(annealing) 과정으로 해석될 수 있다. 둘째, 생성 과정에서 데이터 분포의 모드(mode)가 어떻게 출현하는지를 나타내는 분화 전이(speciation transition)를 연구하고, 확산 및 플로우 매칭(flow matching)에서 이러한 현상이 최적 수송과 비교하여 어떻게 일어나는지 비교한다. 고차원 예시로 가우시안 혼합(Gaussian mixture)을 활용하여, 확산과 플로우 매칭이 모드를 분리하는 동적 불안정성이 최적 수송에서는 생성 시작 시점의 지수적으로 얇은 경계층(boundary layer)이 되며, 이는 엔트로피 정규화에 의해 완화됨을 보인다. 셋째, 일반적인 구속 포텐셜(confining potential)을 갖는 일반 순방향 동역학을 고려할 때, 스코어(score)에 의해 구동되는 역방향 프로세스 또한 최소 비용이 초기 및 최종 분포 간의 엔트로피 차이가 되는 드리프트 기반 변분 원리를 만족함을 보인다.
상관행렬(correlation matrix)은 비선형 양의 정부호성(positive-definiteness) 제약과 동시 행-열 순열 대칭성을 함께 가집니다. 따라서 이를 생성하는 과정은 두 가지 별개의 문제를 수반합니다. 첫째, 변수들이 어떻게 정렬되든 모든 출력은 상관관계 일립토프(correlation elliptope) 상에 머물러야 합니다. 둘째, 생성기는 해당 유효 공간 내에서 경험적 데이터가 차지하는 도메인 특화 분포를 학습해야 합니다. 기존의 금융 이미지 생성 모델들은 이러한 문제를 혼합하여, 정렬된 행렬 성분을 학습한 후 유효하지 않은 생성 결과를 사후에 수정합니다. 본 연구에서는 이 두 문제를 분리하는 CorrFlow를 소개합니다. 일반화된 피셔 변환(Fisher transform)은 풀 랭크(full-rank) 상관행렬을 제약 없는 좌표계로 일대일 대응(bijective) 매핑하여 투영 없이도 유효한 출력을 보장합니다. 그래프 플로우 매칭(flow-matching) 네트워크는 해당 좌표계에서 경험적 분포를 학습하며, 순열 등변(permutation equivariant)성을 지녀 변수를 재정렬해도 출력만 재정렬될 뿐입니다. 신경망 방식당 5개의 시드를 사용하여 $80\times80$ 대만 주식 행렬에서 조건부 CorrGAN 재구현체, 이미지 확산(image diffusion) 모델, CorrFlow를 비교했습니다. CorrFlow는 수정 작업 없이 100% 유효한 샘플을 생성하며, 유효하지 않은 출력을 상관 공간으로 역투영한 CorrGAN의 $4.339\pm.252$ 및 이미지 확산 모델의 $4.610\pm.191$ 대비 $.712\pm.141$의 특징 슬라이스드-바서슈타인 거리(sliced-Wasserstein distance)를 달성했습니다. 또한 과거 조회(historical lookup) 방식보다 이 거리를 개선한 반면, 조회 방식은 더 높은 국소 커버리지를 유지했습니다. 이러한 결과는 평가된 학습 예산 하에서 제안된 결합 구조를 뒷받침하지만, 완전히 튜닝된 이미지 모델에 대한 우위를 확립하거나 각 구성 요소의 기여도를 분리하여 입증하는 것은 아닙니다.
학습된 플로우 매칭(Flow Matching) 속도장(velocity field) $v_θ$에 이득(gain) $γ(t)$를 곱해 스케일링하면 생성 품질이 크게 향상된다는 것이 최근에 밝혀졌다. 선행 연구에서는 평균제곱오차(MSE)로 학습된 속도장이 속도 크기를 체계적으로 과소추정하며, 스케일링이 이 오차를 보정한다고 주장했다. 본 연구에서는 MSE 학습이 속도 크기 부족을 만들어내지 않는다는 것을 보인다. 대신 우리는 속도 스케일링이 모집단 시간 지연(population time lag)을 줄인다는 것을 발견했다: 모델 시간 $t$에서 샘플링된 상태는 그보다 이전 시간의 학습 상태와 유사하다. 속도 스케일링과 모델 시간을 뒤로 이동시키는 것은 이러한 모집단 시간 지연을 해결하는 두 가지 방법이다. 아키텍처와 모델 크기에 걸쳐, 모집단 시간 지연을 측정하고 이를 이용해 이득을 선택하면 생성 품질이 크게 향상되며, 가이던스(guidance) 없이 NFE 25에서 ImageNet-256 기준 FID를 28.0에서 12.2로 낮춘다(인접한 이득에서 측정된 FID 값들 사이의 선형 보간으로 추정됨).
강력한 이미지 생성 모델은 클래스 레이블로 조건화되거나, 고정된(frozen) 사전학습 인코더에 정렬되거나, 별도로 학습된 오토인코더를 기반으로 구축됩니다. 이는 효과적이지만 생성 성능이 지도학습이나 사전학습(pre-training)에 의존하게 됩니다. 즉, 레이블에 주석을 달아야 하며 타깃 도메인을 위해 인코더나 오토인코더를 사전학습해야 합니다. 본 연구에서는 단일 모델에서 생성 학습과 자기지도 표현 학습(self-supervised representation learning)을 동시에 수행하여, 레이블이나 사전학습 모델 없이도 자체 조건화된(self-conditioned) 생성을 가능하게 하는 방안을 탐구합니다. 이는 두 학습 목표가 서로 불일치하기 때문에 까다롭습니다. 대조 학습(contrastive learning)은 노이즈가 없는 증강 뷰(view)를 사용하여 대략적이고 불변하는 의미적 특징을 선호하는 반면, 플로우 매칭(flow matching)은 노이즈가 포함된 이미지를 입력받아 대조 학습이 버리는 미세한 디테일과 공간 배치를 보존해야 합니다. 본 연구에서는 플로우 타임스텝 및 임베딩(embedding)으로 조건화되는 단일 픽셀 공간 인코더를 핵심으로 하는 SCION(Self-conditioned Generation on Self-supervised representation)을 제안합니다. 표현 학습을 위해 이 조건화 임베딩은 이미지 전반에서 공유되는 학습 가능한 글로벌 벡터로 설정되며, 인코더의 [CLS] 토큰(token)은 대조 손실(loss)로 학습된 의미론적 표현을 산출합니다. 생성 학습(training)을 위해 조건화 임베딩은 해당 이미지 고유의 [CLS] 표현으로 주어지며, 패치 토큰들은 디코더를 거쳐 이미지를 예측합니다. 추론(inference) 시 참조 이미지 없이 샘플링할 수 있도록 임베딩에 대한 사전 분포(prior)도 함께 학습합니다. 그래디언트(gradient) 노름 밸런싱과 스톱 그래디언트(stop-gradient) 메커니즘을 통해 단일 실행으로 공동 최적화(optimization)가 가능합니다. SCION은 레이블이나 사전학습 모델이 전혀 필요 없는 자기지도 방식이자 독립적인(self-contained) 프레임워크입니다. ImageNet 256x256에서 JiT-B 레시피 및 표현 가이던스(guidance) 없이 SCION은 8.92 FID를 달성하여, 사전학습된 DINOv2에 정렬하는 클래스 무조건부 iREPA(46.44)와 이에 조건화되는 RCG(14.27)를 능가했습니다. JiT-L을 사용할 경우 SCION은 가이던스 없이 5.89 FID, 표현 가이던스 적용 시 3.47 FID를 기록하여 ADM 레시피를 적용한 RCG(6.24)의 성능을 뛰어넘었습니다.
생성 플로우(generative flow)는 플로우가 균형을 이루도록 학습(training)함으로써 정규화되지 않은 타깃으로부터 샘플링하며, 연구자는 신호로서 학습 손실(loss)을 관찰합니다. 본 논문에서는 이 신호가 어떤 가치를 지니는지, 즉 작은 손실이 정확한 샘플러를 보장하는지, 손실을 0으로 만들 수 있는지, 그리고 경사하강법(gradient descent)이 얼마나 빠르게 이를 수행하는지 질문을 던집니다. 첫 번째 질문은 손실이 결정합니다. 균형의 양변을 차이로 비교하는 손실은 플로우가 유도하는 샘플러의 오차를 전변동(total variation) 측면에서 유계(bound)하며, 정책(policy)을 포함하지 않는 명시적 상수를 가집니다. 반면 비율을 통해 비교하는 플로우 매칭 손실은 생성자가 균형에서 연속적일 때마다 단일 사이클 상에서도 그러한 경계를 허용하지 않습니다. 그래프 상에서는 역방향 정책(backward policy)이 나머지 두 가지를 결정합니다. 역방향 정책이 고정되면 균형은 역방향 체인 하에서의 불변성이 되므로 유한 그래프에서 존재성은 자연스럽게 주어지며, 역 스펙트럼 갭(inverse spectral gap) 역할을 하는 해당 체인의 그린 연산자(Green operator) 노름이라는 하나의 상수가 균형 플로우 주변에서 손실 곡률의 차수를 위아래로 고정하고, 그 근처에서 학습이 수렴(convergence)하는 속도의 하한을 설정합니다. 그 메커니즘은 경사하강법이 역방향 정책을 따라 플로우를 확산시키는 것입니다. 세부 균형(detailed balance) 및 궤적 균형(trajectory balance)의 로그 제곱 생성자의 경우, 상태에 대한 균형 손실 학습은 모든 양수 초기화(initialization)로부터 모든 유한 경로 연결 그래프에서 전역적으로 수렴합니다. 역방향 궤적이 평균적으로 짧은 반면 이 상수는 무한할 수 있으며, 이 경우 정확한 플로우 매칭이 실패할 수 있습니다. 경계와 속도는 가산 가능한 상태 공간에서의 정확한 계산을 통해 검증되며, 모든 정리는 Lean 4 구현으로부터 계산된 검증 상태를 수반합니다.