arXiv:2605.05736v3 cs.AI

SDFlow: 시계열 생성을 위한 유사도 기반 플로우 매칭

SDFlow: Similarity-Driven Flow Matching for Time Series Generation

Wei Li, Shibo Feng, Pengcheng Wu, Xingyu Gao, Min Wu, Peilin Zhao

제출 2026-05-07

한국어 초록

자기회귀(AR) 토큰 모델링을 결합한 벡터 양자화(VQ)는 시계열 생성에 널리 채택되며 매우 경쟁력 있는 패러다임입니다. 그러나 이러한 모델은 근본적으로 노출 바이어스(exposure bias)라는 한계를 지닙니다. 추론(inference) 과정에서 순차적 예측을 거치며 오차가 누적되어 장기(long-horizon) 생성 시 현저한 품질 저하가 발생할 수 있습니다. 이를 해결하기 위해 본 논문에서는 동결된 VQ 잠재 공간에서 전적으로 작동하며 플로우 매칭(flow matching)을 통해 병렬 시퀀스 생성을 가능하게 하는 비자기회귀 프레임워크인 SDFlow(Similarity-Driven Flow Matching)를 제안합니다. 우리는 이러한 전환 과정에서 발생하는 세 가지 핵심 과제를 해결합니다. (1) 단계별 토큰 예측을 전역 전송 맵(global transport map)으로 대체하여 노출 바이어스를 제거하고, (2) 잠재 다양체(latent manifold)에 대한 학습된 앵커 사전확률(anchor prior)과 함께 저순위 다양체 분해를 통해 VQ 토큰 공간의 고차원성을 완화하며, (3) 변분 플로우 매칭 공식 내에서 코드북 인덱스에 대한 범주형 사후확률을 도입하여 이산적 지도 신호(discrete supervision)를 연속적 전송 역학에 통합합니다. 광범위한 실험을 통해 SDFlow가 최고 수준의 성능(SOTA)을 달성하여 Discriminative Score를 향상시키고 Context-FID를 크게 감소시킴을 보였으며, 특히 까다로운 장기 시퀀스 생성에서 우수한 성과를 거두었습니다. 나아가 SDFlow는 자기회귀 베이스라인 대비 상당한 추론 속도 향상을 제공하여 높은 충실도(fidelity)와 계산 효율성을 모두 제공합니다. 코드는 https://github.com/William-Liwei/SDFlow 에서 확인할 수 있습니다.

원문 초록

Vector quantization (VQ) with autoregressive (AR) token modeling is a widely adopted and highly competitive paradigm for time-series generation. However, such models are fundamentally limited by exposure bias: during inference, errors can accumulate across sequential predictions, leading to pronounced quality degradation in long-horizon generation. To address this, we propose SDFlow ($\textbf{S}$imilarity-$\textbf{D}$riven $\textbf{Flow}$ Matching), a non-autoregressive framework that operates entirely in the frozen VQ latent space and enables parallel sequence generation via flow matching. We tackle three key challenges in making this transition: (1) eliminating exposure bias by replacing step-wise token prediction with a global transport map; (2) mitigating the high-dimensionality of VQ token spaces via a low-rank manifold decomposition with a learned anchor prior over the latent manifold; and (3) incorporating discrete supervision into continuous transport dynamics by introducing a categorical posterior over codebook indices within a variational flow-matching formulation. Extensive experiments show that SDFlow achieves state-of-the-art performance, improving Discriminative Score and substantially reducing Context-FID, particularly for challenging long-sequence generation. Moreover, SDFlow provides significant inference speedups over autoregressive baselines, offering both high fidelity and computational efficiency. Code is available at https://github.com/William-Liwei/SDFlow

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.05736v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01320v1cs.AI공통 태그 Quantization, Time Series, flow matching

ProtoFlow: 다변량 시계열 예측을 위한 프로토타입 유도 플로우 매칭

ProtoFlow: Prototype-Guided Flow Matching for Multivariate Time Series Forecasting

생성 모델링은 특히 고차원 환경으로 확장할 때 다변량 시계열(MTS) 예측에서 유망한 가능성을 보여주었습니다. 확산 기반(diffusion-based) 방식은 경쟁력 있는 성능을 달성하지만 일반적으로 추론 시 많은 샘플링 단계를 필요로 합니다. 이에 따라 VAE 기반의 비반복적 예측 프레임워크가 효율적인 대안으로 부상했습니다. 이러한 연구 흐름 속에서 벡터 양자화(VQ)는 다변량 시계열을 컴팩트한 이산 표현으로 매핑함으로써 제어 가능한 잠재 공간 모델링을 가능하게 합니다. 그러나 기존 VQ 기반 예측 방법은 일반적으로 자기회귀(AR) 토큰 생성에 의존하므로, 노출 바이어스와 학습-추론 불일치 문제가 발생합니다. 플로우 매칭(Flow matching)은 잠재 예측을 위한 효율적인 비자기회귀적 대안을 제공하지만, 기존 정식화 방식은 일반적으로 일반적인 가우시안 사전문포로부터 수송(transport)을 초기화합니다. 본 논문에서는 학습된 VQ 코드북이 이미 대표적인 잠재 프로토타입을 포착하고 있으므로 플로우 매칭을 위한 정보가 더 풍부한 사전분포로 활용될 수 있음을 관찰했습니다. 이러한 통찰을 바탕으로, 벡터 양자화 오토인코딩과 프로토타입 사전분포 플로우 매칭을 결합한 예측 프레임워크인 ProtoFlow를 제안합니다. 본 방법은 먼저 다변량 시퀀스를 이산 잠재 공간으로 매핑한 다음, 학습된 코드북으로부터 구조화된 사전분포를 구축하고, 마지막으로 DiT 기반 렉티파이드 플로우(rectified flow)를 학습하여 과거 관측치를 조건으로 이 사전분포로부터 미래 잠재 표현으로 샘플을 수송합니다. 일반적인 노이즈 초기화를 학습된 프로토타입 사전분포로 대체함으로써, ProtoFlow는 AR 토큰 예측의 롤아웃 불일치를 방지하고 더 빠른 학습 수렴을 촉진합니다. 벤치마크 데이터셋에 대한 광범위한 실험을 통해 본 모델이 효율적인 추론과 함께 일관되게 우수한 예측 성능을 달성함을 보입니다.

arXiv:2609.40030v2cs.LG공통 태그 Variational Inference, flow matching

펜첼 틸팅: 생성 모델의 효율적인 미세조정을 위한 가중 보정

Fenchel Tilting: Weighted Correction for Efficient Finetuning of Generative Models

사전학습된 생성 모델을 효용 함수로 표현되는 임의의 선호도에 적응시키는 것은 보상 정렬(reward alignment), 유도 설계(guided design), 제약 조건 충족의 기초가 되며 다양한 응용을 가능하게 합니다. 기존의 미세조정(fine-tuning) 방법들은 범용성과 계산 비용 간의 트레이드오프를 겪습니다. 즉, 최적화를 단순하게 유지하기 위해 지원되는 선호도 군을 제한하거나, 효율성을 희생하면서 범용성을 유지합니다. 본 논문에서는 효용 최적화와 생성 모델 피팅을 분리하는 펜첼 틸트 흐름 제어(Fenchel Tilt Flow Control, FTFC)를 제안합니다. FTFC는 먼저 사전학습된 샘플에 대해 유효 보상과 밀도비 가중치를 공동으로 피팅하여 목표 분포에 대해 최적화합니다. 이 방법은 효용의 변분 구조와 펜첼 쌍대성(Fenchel duality)을 결합하여, 보상이 분포 보정 가중치로 변환되는 방식을 결정하는 일반적인 $f$-다이버전스 페널티를 지원합니다. 그런 다음 이러한 가중치를 고정하고, 샘플링 궤적을 통한 미분 없이 단일 단계의 중요도 가중치 디노이징 또는 플로우 매칭에서 확산 또는 플로우 모델을 수정하는 데 사용합니다. 우리는 적절한 조건에서 오목 효용에 대한 정확한 쌍대성을 규명하고, 가중 피팅이 주어진 효용에 대한 최적의 목표 분포를 재현함을 보입니다. 이미지 및 분자 생성 벤치마크 전반에 걸쳐 FTFC는 다양한 선호도 함수에서 베이스라인 대비 성능을 향상시키는 동시에 최대 20배 더 효율적입니다. 제안된 방법은 복잡한 최적화 없이 기대 보상 극대화를 넘어선 적응을 가능하게 하며, 베이스라인과 비교하여 더 일반적인 효용 함수 군에 대한 견고성을 유지합니다.

arXiv:2609.27018v1cs.LG공통 태그 Quantization, Time Series

GeoRVQ: 생체 신호의 잔차 토큰 예측을 위한 디코더 인식 기하학

GeoRVQ: Decoder-aware geometry for residual-token prediction in physiological signals

잔차 벡터 양자화(RVQ)는 생체 파형을 조밀한 토큰 시퀀스로 변환하지만, 기존의 마스크 모델링은 모든 잘못된 토큰을 동일한 비용으로 취급합니다. 본 논문에서는 목적 함수가 고정된(frozen) 파형 디코더의 국소 반응을 반영하는 대략적인 수준에서 세밀한 수준까지(coarse-to-fine) 마스크 토큰 모델인 GeoRVQ를 제안합니다. 디코더 유도 비용은 기하학 인식 소프트 타깃과 기대 왜곡을 정의하는 한편, 양자화기 인과적(quantizer-causal) 예측은 대략적인 수준부터 세밀한 수준까지 잔차 의존성을 따릅니다. MIMIC-IV Waveform, VitalDB 및 CODE-15%에 대한 종합 평가에서, GeoRVQ는 일치된 모델 및 학습 조건 하에 정확한 토큰 정확도를 $.133\pm.004$에서 $.143\pm.003$으로 높이고, 디코딩 거리를 $.606\pm.006$에서 $.393\pm.007$로 감소시키며, R-peak F1 점수를 $.784\pm.004$에서 $.837\pm.008$로 향상시킵니다. 45개의 미공개(held-out) 코드 대체 전반에서, 유클리드 코드워드 거리의 경우 $.54$인 데 반해 디코더 유도 비용은 실제 디코딩된 비용과 $.85$의 스피어만 상관계수를 보입니다. 이러한 결과는 디코더 인식 목적 함수가 정확한 토큰 정확도의 큰 증가를 요구하지 않고도 파형 및 이벤트 보존 능력을 향상시킬 수 있음을 나타냅니다.

arXiv:2609.23548v1cs.CV공통 태그 Variational Inference, flow matching

SewFusion: 재봉 패턴을 위한 위상 및 패널 수준 기하학의 맞춤형 생성

SewFusion: Tailored Generation of Topology and Panel-Level Geometry for Sewing Patterns

이미지와 텍스트로부터 재봉 패턴을 생성하려면 이산적 위상(topology)과 연속적 기하학(geometry)으로 구성된 이종 표현(heterogeneous representation)을 모델링해야 합니다. 기존 방법들은 주로 두 가지 패러다임을 따릅니다. 확산 기반(diffusion-based) 방법은 전체 패턴을 연속적인 표현으로 변환하여 전체적인 기하학 생성을 가능하게 하지만 이산적 위상 모델링을 약화시킵니다. 반면, 자기회귀(autoregressive) 방법은 다음 토큰 예측(next-token prediction)을 통해 이산적 위상을 보존하지만, 연속적 기하학 회귀를 패널 수준의 문맥이 제한된 토큰 수준의 은닉 상태(hidden states)에 결속시킵니다. 이러한 격차를 해소하기 위해, 우리는 이산적 위상과 패널 수준의 연속적 기하학에 대해 맞춤형 생성 메커니즘을 채택하여 전자에는 다음 토큰 예측을, 후자에는 플로우 매칭(flow matching)을 사용하는 통합 자기회귀 프레임워크인 SewFusion을 제안합니다. 패널 수준의 연속적 기하학 생성을 지원하기 위해 가변 길이의 패널 기하학에 대한 고정 크기 잠재 공간(latent space)을 학습하는 Panel Geometry VAE와 잠재 생성을 위한 Panel Geometry Flow를 도입합니다. 나아가 위상 문맥에서의 학습-추론 불일치를 줄이고 위상 예측 오류에 대한 강건성을 향상시키기 위해 Panel-Forcing을 제안합니다. SewFactory 및 GCD-MM에 대한 광범위한 실험은 SewFusion이 다양한 설정에서 기존의 최첨단 방법들을 일관되게 능가하며, 이미지-텍스트 기반 생성 설정에서 패널 정확도(Panel Accuracy) +6.36%, 스티치 정확도(Stitch Accuracy) +11.30%, 정점 L2 오차(Vertex L2 error) -1.90을 달성함을 입증합니다.

arXiv:2607.22733v1cs.CV공통 태그 Variational Inference, Time Series

EEG 운동 상상 분류를 위한 생성 증강: 순환 일관성 디코더 정제를 갖춘 클래스 조건부 VAE

Generative Augmentation for EEG Motor Imagery Classification: A Class-Conditional VAE with Cycle-Consistent Decoder Refinement

생성 모델이 독립적인 하류 분류기의 정확도를 향상시키는 데 유용한 합성 운동 상상(MI) 뇌전도(EEG) 시행을 제공할 수 있는지 조사한다. Zhou 운동 상상 데이터셋에서 통합 잠재 분류기를 갖춘 클래스 조건부 변분 오토인코더(CVAE)를 학습하고, 학습된 클래스별 사전분포를 생성기로 사용한다: 주어진 레이블에 대해 사전분포에서 샘플링하여 이를 레이블과 일치하는 합성 신호로 디코딩한다. 생성된 데이터의 공분산 행렬에 대한 제약은 공분산 구조의 보존을 장려하며, 모델은 일반 VAE 학습과 증강에 사용되는 생성 경로를 선명하게 하는 디코더 중심 단계를 번갈아 수행하는 스케줄로 학습된다. 두 가지 평가 프로토콜—사용자 내(within-user, 피험자 간 풀링된 60/20/20 분할) 및 사용자 간(cross-user, leave-one-subject-out, LOSO)—에서 학습 세트에 합성 시행을 추가하는 효과를 네 가지 대표적인 EEG 분류 파이프라인—선형 판별 분석(LDA)과 함께하는 공통 공간 패턴(CSP+LDA), 서포트 벡터 머신(SVM)과 함께하는 접선 공간(tangent-space) 특징(TGSP+SVM), 리만 평균까지의 최소 거리(MDM), EEGNetv4 기반 신경망(이하 EEGNet)—에 걸쳐 측정한다. 결과는 독립적인 증강 추출, 무작위 시드(사용자 내), 또는 leave-one-subject-out 폴드(사용자 간)에 걸쳐 집계되며, 불확실성은 시드/폴드별 평균에 대해 계산된 95% 신뢰구간(Student's t-분포)으로 보고된다. CVAE로부터의 합성 EEG는 실제 원시 EEG의 대체재라기보다는 클래스 구조화된, 공분산 유사 데이터의 원천으로서 가장 신뢰할 만하다: MDM의 점 추정치를 높일 수 있지만, 더 넓은 증강 주장은 보수적으로 남아 있다—관찰된 이득은 작고 분류기에 따라 다르다.

arXiv:2607.21402v1cs.AI공통 태그 Quantization, Time Series

MSBraM: 계층적 EEG 역학 학습을 위한 다중 스케일 자기지도 뇌 파운데이션 모델

MSBraM: A Multi-scale Self-supervised Brain Foundation Model for Hierarchical EEG Dynamics Learning

자기지도(self-supervised) 파운데이션 모델은 최근 뇌전도(EEG) 기반 분석에서 강한 잠재력을 보여주었다. 그러나 기존 접근법은 국소 신경 패턴과 장거리 의존성이 함께 과제 관련 정보를 인코딩하는 EEG 신호의 고유한 다중 스케일 시간 구조를 포착하는 데 어려움을 겪는다. 이러한 한계는 다양한 다운스트림 과제에 걸친 교차 스케일 표현 학습과 일반화를 저해한다. 이 과제를 해결하기 위해, 계층적 EEG 표현을 학습하도록 설계된 다중 스케일(Multi-Scale) 자기지도 뇌 파운데이션 모델 MSBraM을 제안한다. MSBraM은 2단계 사전학습(pre-training) 프레임워크를 따른다. 먼저, 다중 스케일 신경 토크나이저(neural tokenizer)가 벡터 양자화(vector-quantized) 재구성을 통해 원시 EEG 신호를 서로 다른 시간 해상도에서 의미 코드(semantic codes)로 이산화한다. 둘째, 모델은 커리큘럼 다중 스케일 마스킹(curriculum multi-scale masking) 전략을 사용하여 마스킹된 코드를 예측하도록 사전학습되며, 세밀한 국소 패턴을 전역 시간 컨텍스트와 점진적으로 통합한다. 우리는 2,400시간 이상의 EEG 데이터로 MSBraM을 사전학습하고 12개 공개 데이터셋에서 10개 다운스트림 과제에 걸쳐 평가한다. 광범위한 실험 결과, MSBraM은 다른 최신 사전학습 모델들보다 우수한 성능을 달성하여 강한 일반화와 전이 가능성(transferability)을 보여준다. 이러한 결과는 다중 스케일 시간 역학을 명시적으로 모델링하는 것이 효과적인 EEG 파운데이션 모델에 핵심적임을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.