PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.05736v3cs.AI

SDFlow: 시계열 생성을 위한 유사도 기반 플로우 매칭

SDFlow: Similarity-Driven Flow Matching for Time Series Generation

자기회귀(AR) 토큰 모델링을 결합한 벡터 양자화(VQ)는 시계열 생성에 널리 채택되며 매우 경쟁력 있는 패러다임입니다. 그러나 이러한 모델은 근본적으로 노출 바이어스(exposure bias)라는 한계를 지닙니다. 추론(inference) 과정에서 순차적 예측을 거치며 오차가 누적되어 장기(long-horizon) 생성 시 현저한 품질 저하가 발생할 수 있습니다. 이를 해결하기 위해 본 논문에서는 동결된 VQ 잠재 공간에서 전적으로 작동하며 플로우 매칭(flow matching)을 통해 병렬 시퀀스 생성을 가능하게 하는 비자기회귀 프레임워크인 SDFlow(Similarity-Driven Flow Matching)를 제안합니다. 우리는 이러한 전환 과정에서 발생하는 세 가지 핵심 과제를 해결합니다. (1) 단계별 토큰 예측을 전역 전송 맵(global transport map)으로 대체하여 노출 바이어스를 제거하고, (2) 잠재 다양체(latent manifold)에 대한 학습된 앵커 사전확률(anchor prior)과 함께 저순위 다양체 분해를 통해 VQ 토큰 공간의 고차원성을 완화하며, (3) 변분 플로우 매칭 공식 내에서 코드북 인덱스에 대한 범주형 사후확률을 도입하여 이산적 지도 신호(discrete supervision)를 연속적 전송 역학에 통합합니다. 광범위한 실험을 통해 SDFlow가 최고 수준의 성능(SOTA)을 달성하여 Discriminative Score를 향상시키고 Context-FID를 크게 감소시킴을 보였으며, 특히 까다로운 장기 시퀀스 생성에서 우수한 성과를 거두었습니다. 나아가 SDFlow는 자기회귀 베이스라인 대비 상당한 추론 속도 향상을 제공하여 높은 충실도(fidelity)와 계산 효율성을 모두 제공합니다. 코드는 https://github.com/William-Liwei/SDFlow 에서 확인할 수 있습니다.

arXiv:2606.24773v1cs.CL

Posterior Refinement: Fast Language Generation via Any-Order Flow Maps

Non-autoregressive generation offers a powerful paradigm for iterative refinement, allowing models to recursively critique, erase and regenerate arbitrary subsets of tokens. However, existing non-autoregressive models fail to realize this potential. Masked Diffusion Models (MDMs) suffer from factorization error, causing sample quality to collapse when generating multiple tokens simultaneously. Flow Map Language Models (FMLMs) circumvent this bottleneck via joint sequence transport for excellent few-step generation, but sacrifice the inference-time flexibility of MDMs. We introduce FMLM+, a framework that bridges this gap by equipping FMLM with masking-style noise schedules. While generating the full sequence in a single step, FMLM+ simultaneously scores the global consistency of each token a posteriori. We leverage this to introduce Posterior Refinement, a novel inference-time refinement strategy that enables the model to adaptively self-correct its outputs, matching the performance of discrete baselines with 32x fewer NFEs. Across diverse benchmarks, we demonstrate that FMLM+ with Posterior Refinement improves the speed--quality tradeoff over both MDM and FMLM families, providing a scalable foundation for high-fidelity language modeling.