PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03120v2cs.CV

테스트 시점의 긴 비디오 생성을 위한 분포 내 강제

In-Distribution Forcing for Long Video Generation at Test Time

현대의 자기회귀(AR) 비디오 확산 모델은 짧은 길이의 비디오 생성에는 뛰어나지만, 색상과 질감이 변하고 모션 동역학이 저하되는 표류(drifting) 현상으로 인해 긴 비디오 생성은 여전히 어려운 과제로 남아 있습니다. 기존 연구들은 주로 캐시된 키-값(KV) 항목을 선택하거나 수정하여 표류를 완화하는 KV 조건화(KV conditioning)에 의존합니다. 그러나 우리는 KV 조건화만으로는 캐시된 KV 항목이 분포 내(in-distribution)에 유지된다고 가정하기 때문에 불충분하다는 점을 관찰했습니다. 이 가정은 학습(training) 범위를 넘어서면 유효하지 않습니다. 즉, 롤아웃(rollout) 중에 KV 항목의 구성을 제한하는 요소가 없으므로 캐시된 항목 자체가 분포 외(OOD)가 되는 KV 출처 문제(KV-provenance problem)가 발생합니다. 이를 해결하기 위해 우리는 KV 캐싱과 KV 조건화 모두를 학습 구성과 일치시키는 테스트 시점 프레임워크인 분포 내 강제(In-Distribution Forcing, ID-Forcing)를 제안합니다. 핵심 메커니즘인 자체 캐싱(self-caching)은 근본적으로 OOD KV 항목의 생성을 방지합니다. 각 청크는 이전 KV 항목을 참조(attend)하지 않고 캐시되어 롤링 윈도우를 정확히 분포 내로 유지합니다. 그 결과, ID-Forcing은 짧은 길이의 모델을 분 단위 규모의 비디오 생성으로 매끄럽게 확장합니다. 광범위한 평가를 통해 본 연구의 방법이 표준 비디오 생성 벤치마크에서 경쟁력을 유지하면서도, 자체 표류 지표와 사용자 조사를 통해 검증된 바와 같이 표류 완화 측면에서 이전 연구들을 크게 능가함을 보여줍니다.

arXiv:2609.26796v1cs.CL

Flash-dLLM: 빠르고 메모리 효율적인 확산 대규모 언어 모델을 위한 I/O 인식 KV 캐싱 및 병렬 디코딩

Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs

확산 대규모 언어 모델(dLLM)은 비자기회귀(non-autoregressive) 텍스트 생성을 가능하게 함으로써 자기회귀 LLM의 유망한 대안으로 최근 부상했습니다. 그러나 효과적인 Key-Value(KV) 캐싱 및 확장 가능한 병렬 디코딩 메커니즘의 부재로 인해 비효율적인 추론(inference)이 발생하여 실제 배포에는 여전히 한계가 있습니다. 기존 가속 방법들은 대개 KV 캐싱과 병렬 디코딩을 개별적으로 연구하여, 캐시 재사용과 병렬 토큰(token) 검증을 결합하여 적용할 때 발생하는 I/O 병목 현상을 간과합니다. 본 연구에서는 빠르고 메모리 효율적인 dLLM을 위한 학습(training) 불필요 추론 가속 프레임워크인 $\textbf{Flash-dLLM}$을 소개합니다. Flash-dLLM은 먼저 GPU 메모리 I/O가 KV 캐시 기반 dLLM 추론에서 주된 병목임을 확인하고, 중복 메모리 이동을 줄이는 I/O 인식 융합 KV 캐시 커널(kernel)을 통해 이를 해결합니다. 이러한 최적화된 캐시 메커니즘을 기반으로, Flash-dLLM은 dLLM 자체가 보조 모델(model) 없이 초안 작성기(drafter)이자 검증기(verifier) 역할을 하는 효율적인 KV 캐시 기반 초안 작성 및 검증(draft-and-verify) 디코딩 전략을 추가로 제안합니다. 이 통합 설계는 생성 품질을 유지하면서 더 빠른 디코딩을 가능하게 하고, 더 긴 시퀀스와 더 큰 배치(batch) 크기에 대한 확장성을 개선합니다. 수학적 추론 및 코드 생성 벤치마크에 대한 광범위한 실험을 통해 Flash-dLLM이 추론 속도와 메모리 효율성 모두에서 기존 최고 수준의 dLLM 가속 방법들을 일관되게 능가함을 입증합니다. 특히 이전의 가장 강력한 기준선(baseline)인 Elastic-Cache 대비 GSM8K 및 HumanEval에서 각각 $5.1\times$ 및 $11.0\times$의 속도 향상을 달성합니다.

arXiv:2607.01775v1cs.LG

Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding

Discrete diffusion models have steadily improved in quality relative to autoregressive (AR) models. However, these models are normally constrained to fixed-length generation and do not support key-value (KV) caching. Block diffusion partially bridges diffusion and AR by generating token blocks left-to-right, but its fixed-size sequential blocks limit decoding flexibility and parallelism. Here, we present a new class of language models, set diffusion, comprised of (i) a likelihood parameterization that factorizes over flexible-position, flexible-length token sets and (ii) a set-causal diffusion architecture that supports KV cache updates after every inference step. By factorizing over token sets instead of fixed-size blocks, tokens can be decoded in arbitrarily-ordered sets, including sliding-window sets, enabling faster inference and support for any-order decoding. Set diffusion achieves better speed-quality tradeoffs on mathematical reasoning, summarization, and unconditional generation compared to prior diffusion language models while offering stronger infilling performance than block diffusion. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/setdlms/

arXiv:2606.29215v2cs.LG

멀티 블록 확산 언어 모델

Multi-Block Diffusion Language Models

블록 확산 언어 모델(BD-LM)을 멀티 블록 확산(MultiBD) 추론으로 확장할 때 발생하는 학습-추론 불일치를 해소하기 위해, 유한 크기의 노이즈 그룹과 무작위화된 노이즈 스케줄러를 활용하는 멀티 블록 교사 강제(MultiTF) 사후학습 기법과 Block Buffer 기반 최적화 디코딩 엔진을 제안한다. MBD-LLaDA2-Mini는 순전파당 평균 토큰 수(TPF)를 3.47에서 6.19로 높이고 정확도도 향상시켰으며, DMax와 결합 시 수학·코드 벤치마크에서 1.02%p의 정확도 하락만으로 TPF 9.34를 달성했다.

arXiv:2602.14209v2cs.LG

MAGE: 블록 확산 LLM에서 All-Block은 이미 주시할 위치를 알고 있다

MAGE: All-[MASK] Block Already Knows Where to Look in Block Diffusion LLM

블록 확산 LLM(Block Diffusion LLM)은 병렬 언어 생성을 위한 신흥 패러다임이지만, KV 캐싱(KV caching)으로 인해 메모리 액세스가 긴 컨텍스트 추론(long-context inference)에서 지배적인 병목 현상이 됩니다. 쿼리당 작은 KV 부분집합에만 어텐션을 수행하는 희소 어텐션(sparse attention)은 최소한의 정확도 손실로 이 지연 시간을 줄일 수 있습니다. 그러나 블록 확산에서 각 블록의 B 토큰은 단일 KV 부분집합을 공유해야 하며, 우리는 이 블록 단위 제약조건이 기존 희소 KV 추정기의 재현율을 최대 25%까지 저하시킴을 보여줍니다. 우리는 블록 확산 학습 목적함수(training objective)에서 발생하는 속성을 활용하여 이 문제를 해결합니다. 즉, 노이즈 제거 단계(denoising steps)에 걸쳐 블록 평균 쿼리를 정렬하므로, 첫 번째 단계의 All-Block이 이미 전체 궤적에 대한 블록 단위 KV 부분집합을 드러냅니다. 우리는 MAGE(All-Block-Guided Sparse Attention, All-Block 유도 희소 어텐션)에서 이를 활용합니다. 이는 학습이 필요 없는(training-free) 방법으로, 첫 번째 단계에서 정확한 어텐션 패스를 한 번 실행하고 그 top-k 인덱스 집합을 블록 내 나머지 모든 단계에 대해 재사용합니다. LongBench의 세 가지 블록 확산 계열에 걸쳐, MAGE는 k=512일 때 거의 손실 없는 정확도로 정확한 어텐션(Exact Attention)과 성능이 일치하며, 128K 컨텍스트에서 최대 6.82배의 엔드투엔드 속도 향상을 달성했습니다. 또한, 각각 자기회귀 LLM(AR LLM)과 완전 양방향 확산 LLM용으로 설계된 Quest 및 SparseD보다 최대 3.35배 및 2.28배 더 빠르게 실행됩니다.