이산 확산 모델이 노이즈 제거기(denoiser), 스코어 비율(score ratio), 브릿지 플러그인 예측기(bridge plug-in predictor) 중 무엇을 학습하는지에 대해, 연속시간 마르코프 체인(CTMC) ELBO의 엄밀한 유도를 통해 음의 ELBO가 단순한 하한이 아니라 데이터 엔트로피와 오라클 역방향 프로세스까지의 경로 KL 발산의 정확한 합임을 증명하는 Oracle Distance 정리를 제시한다. 이 프레임워크는 세 가지 파라미터화 좌표 간의 폐형식 변환을 도출하여 MDM, UDM, SEDD, GIDD를 특수 사례로 통합하고, 마스크드 확산에서는 노이즈 제거기와 캐비티(cavity)가 일치하지만 균일 확산(uniform diffusion)에서는 그렇지 않은 이유를 규명한다.
이산 확산(Discrete diffusion) 모델의 조건부 독립 가정이 퓨스텝 생성 시 병렬화 바이어스를 유발하는 문제를 해결하기 위해, 텐서 분해(Canonical Polyadic Decomposition 및 Tensor-Train Decomposition)를 통해 결합 분포를 명시적으로 모델링하는 최초의 프레임워크를 제안한다. TTD는 Oseledets 정리에 기반한 인접 토큰 간 의존성 포착에 구조적으로 유리하며, 사전학습된 MDM에 경량 파인튜닝으로 통합해 OpenWebText에서 VADD 대비 8스텝 생성 perplexity를 32.7% 개선했다.
Discrete diffusion models have steadily improved in quality relative to autoregressive (AR) models. However, these models are normally constrained to fixed-length generation and do not support key-value (KV) caching. Block diffusion partially bridges diffusion and AR by generating token blocks left-to-right, but its fixed-size sequential blocks limit decoding flexibility and parallelism. Here, we present a new class of language models, set diffusion, comprised of (i) a likelihood parameterization that factorizes over flexible-position, flexible-length token sets and (ii) a set-causal diffusion architecture that supports KV cache updates after every inference step. By factorizing over token sets instead of fixed-size blocks, tokens can be decoded in arbitrarily-ordered sets, including sliding-window sets, enabling faster inference and support for any-order decoding. Set diffusion achieves better speed-quality tradeoffs on mathematical reasoning, summarization, and unconditional generation compared to prior diffusion language models while offering stronger infilling performance than block diffusion. We provide the code, along with the model weights and blog post on the project page: https://m-arriola.com/setdlms/
GryphOne은 손으로 쓴 수식 인식(HMER)을 순차적 생성 대신 반복적 기호 정제(iterative symbolic refinement)로 재정의하는 마스크 확산(masked diffusion) 프레임워크로, 자기회귀(autoregressive) 모델의 노출 편향(exposure bias)과 구문 비일관성 문제를 해결한다. 기호 인식 토큰화(SAT)와 랜덤 마스킹 상호 학습(RMML)을 도입하여 MathWriting 벤치마크에서 5.51% CER, 59.9% ExpRate를 달성하며 기존 모델과 상용 HMER 시스템을 능가하고, CROHME 2014–2023에서도 강력한 교차 데이터셋 일반화 성능을 보인다.
Diffusion models over discrete spaces have recently shown striking empirical success, yet their theoretical foundations remain incomplete. In this paper, we study the sampling efficiency of score-based discrete diffusion models under a continuous-time Markov chain (CTMC) formulation, with a focus on $τ$-leaping-based samplers. We establish sharp convergence guarantees for attaining $\varepsilon$ accuracy in Kullback-Leibler (KL) divergence for both uniform and masking noising processes. For uniform discrete diffusion, we show that the $τ$-leaping algorithm achieves an iteration complexity of order $\tilde O(d/\varepsilon)$, with $d$ the ambient dimension of the target distribution, eliminating linear dependence on the vocabulary size $S$ and improving existing bounds by a factor of $d$; moreover, we establish a matching algorithmic lower bound showing that linear dependence on the ambient dimension is unavoidable in general. For masking discrete diffusion, we introduce a modified $τ$-leaping sampler whose convergence rate is governed by an intrinsic information-theoretic quantity, termed the effective total correlation, which is bounded by $d \log S$ but can be sublinear or even constant for structured data. As a consequence, the sampler provably adapts to low-dimensional structure without prior knowledge or algorithmic modification, yielding sublinear convergence rates for various practical examples (such as hidden Markov models, image data, and random graphs). Our analysis requires no boundedness or smoothness assumptions on the score estimator beyond control of the score entropy loss.
텍스트·시퀀스·조합 구조 생성에 필수적인 이산 상태 확산 모델의 이론적 이해 공백을 메우기 위해, 점수(score) 추정 오차를 통계·근사·최적화·클리pping(clipping) 요소로 분해하는 프레임워크를 제시하고 최초의 표본 복잡도(sample complexity) 상한 $\widetilde{\mathcal{O}}(\epsilon^{-2})$를 도출한다. 이 분석은 유한 데이터와 SGD 최적화 하에서 이산 상태 확산 모델이 목표 분포에 대해 KL 발산 $\epsilon$ 이내로 샘플을 생성하는 데 필요한 표본 수를 정량화한다.
이산 확산 모델은 텍스트 생성을 위한 자기회귀적 접근법의 유망한 대안이지만, 그 디코딩 방법은 아직 충분히 연구되지 않았습니다. 빔 서치(beam search)와 같은 표준 자기회귀적 탐색 절차는 반복적 노이즈 제거(iterative denoising) 과정에 직접 적용할 수 없는데, 이는 해당 과정에서 가설(hypotheses)이 왼쪽에서 오른쪽으로의 접두사(prefixes)가 아닌 완전한 중간 시퀀스이기 때문입니다. 또한, 기존 확산 디코딩 절차는 유지된 가설의 다양성과 커버리지에 대해 제한된 제어만 제공합니다. 본 연구에서는 이산 확산 모델에 특화된 빔 스타일 디코딩 방법인 D5P4를 소개합니다. D5P4는 중간 빔 선택을 분할된 결정적 점 과정 하에서의 최대 사후 확률(MAP) 추론(inference) 문제로 변환합니다. 이를 통해 외부 검증기 없이 품질과 다양성의 균형을 맞추는 모델 내부 배치(batch) 목적 함수가 도출됩니다. 개방형 생성, 질의응답, 수학적 추론에 대한 실험 결과, D5P4는 기준선(baseline)의 품질 및 충실도와 대등하거나 이를 능가하면서도 다양성과 pass@$k$ 커버리지를 향상시키는 것으로 나타났습니다.