arXiv:2610.08738v1 cs.CL

계층적 표현의 노이즈 제거: 언어 모델링을 위한 결합 연속 확산

Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling

Mathias Ollu, Nikos Komodakis

제출 2026-10-06

저자 비고

arXiv Comments

27 pages, 10 figures

한국어 초록

확산 언어 모델(DLM)은 순서에 구애받지 않는 병렬 텍스트 생성의 가능성을 지니고 있습니다. 최근 정교하게 설계된 토큰 표현과 확산/플로우 공간에 힘입어 연속 확산 및 플로우 매칭 모델이 상당한 발전을 이루었습니다. 본 연구에서는 최소한의 연산 및 매개변수 오버헤드로 연속 DLM을 더욱 향상시키는 단순한 프레임워크인 계층적 연속 확산 언어 모델(H-CDLM)을 소개합니다. 결합 확산에 관한 이산 DLM 및 연속 이미지 확산 연구를 바탕으로, 여러 모달리티를 병렬로 확산시킵니다. 이러한 모달리티들은 서로 다른 의미적 세분성으로 토큰을 나타내며, 본 구현에서는 토큰 자체와 사전학습된 토큰 임베딩을 클러스터링하여 얻은 더 거친 클러스터를 사용합니다. 또한 모달리티 간의 상호작용을 강화하기 위해 모달리티별 샘플러와 스케줄을 허용하는 일반적인 설정을 제안합니다. 이를 CoBit에 적용하여 얻은 H-CoBit은 여러 벤치마크에서 큰 폭의 실증적 향상을 보였습니다. 데이터셋 엔트로피에서 H-CoBit은 MAUVE를 향상시키고 LM1B에서 49.4, OWT에서 50.4의 생성 퍼플렉시티(GenPPL)를 기록하여 기준선 대비 각각 24.2점 및 20.7점 향상되었으며, 비슷한 크기의 이산 DLM마저 능가했습니다. GSM8K에서는 27.4%의 정확도를 달성하여 기존의 연속 확산 및 플로우 기반 모델들을 능가했습니다. 나아가 H-CDLM을 플로우 매칭 모델인 FLM에 적용하여 H-FLM을 통해 일관된 성능 향상을 얻었으며, 이 프레임워크가 연속 생성 패러다임 전반에 걸쳐 일반화됨을 입증했습니다. 코드는 https://github.com/matol-16/HCDLM.git 에 공개될 예정입니다.

원문 초록

Diffusion Language Models (DLMs) hold the promise of order-agnostic, parallel text generation. Recently, continuous diffusion and flow matching models have seen substantial gains, driven by carefully crafted token representations and diffusion/flow spaces. In this work, we introduce Hierarchical Continuous Diffusion Language Models (H-CDLMs), a simple framework that further improves continuous DLMs with minimal compute and parameter overhead. Drawing on the discrete DLM and continuous image diffusion literature on joint diffusion, we diffuse multiple modalities in parallel. These modalities represent tokens at different semantic granularities: in our instantiation, the tokens themselves and coarser clusters obtained by clustering pretrained token embeddings. We propose a general setup that allows per-modality samplers and schedules to enhance the interplay between modalities. Applied to CoBit, this yields H-CoBit, which delivers large empirical gains across benchmarks. At dataset entropy, H-CoBit improves MAUVE and reaches a generative perplexity (GenPPL) of 49.4 on LM1B and 50.4 on OWT, improving on the baseline by 24.2 and 20.7 points and surpassing even discrete DLMs of comparable size. On GSM8K, it reaches 27.4% accuracy, outperforming prior continuous diffusion and flow-based models. We further apply H-CDLM to the flow matching model FLM, obtaining consistent gains with H-FLM and demonstrating that the framework generalizes across continuous generative paradigms. Our code will be made publicly available at https://github.com/matol-16/HCDLM.git .

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08738v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.