적응형 블록 확산: 확산 언어 모델의 학습-추론 불일치 해소
Adaptive Block Diffusion: Resolving Training-Inference Mismatch in Diffusion Language Models
한국어 초록
확산 언어 모델(DLM)은 일반적으로 고정된 컨텍스트 구조 하에서 학습되어, 노이즈 제거(denoising)가 미리 정해진 토큰 부분집합으로 제한된다. 이로 인해 학습과 추론 사이에 불일치가 발생하는데, 모델이 임의의 구성에서 동작해야 하는 추론 시에 학습 그리드를 벗어난 성능 저하가 나타난다. 본 논문에서는 접두 문맥 윈도우(prefix-window) 구성의 분포에 대해 노이즈 제거 리스크를 최적화함으로써 이 불일치를 해소하는 적응형 블록 확산(ABD, Adaptive Block Diffusion)을 제안한다. 구성을 확률 변수로 취급함으로써, ABD는 아키텍처 변경 없이 전체 구성 공간에 걸쳐 단일 모델을 학습시킨다. 디코딩 전략 간의 일반화는 학습 분포의 지지(support)에 의해 결정되며, ABD는 학습 중 커버된 구성을 가진 임의의 추론 정책에 대해 노이즈 제거 최적성을 보장함을 보인다. 실험적으로, ABD는 디코딩 규모에 걸쳐 구조적 불변성을 나타내어 그리드 이탈 붕괴(off-grid collapse)를 방지하고, 블록 크기와 당혹도(perplexity) 사이의 단조 관계를 회복하며, 목표 규모에서 고정 블록 전문 모델과 동등하거나 이를 능가하는 성능을 달성한다.
원문 초록
Diffusion Language Models (DLMs) are typically trained under fixed context structures, restricting denoising to predetermined token subsets. This creates a mismatch between training and inference, where models must operate over arbitrary configurations, leading to degradation off the training grid. We propose Adaptive Block Diffusion (ABD), which resolves this mismatch by optimizing denoising risk over a distribution of prefix-window configurations. By treating the configuration as a stochastic variable, ABD trains a single model over the full configuration space without architectural changes. We show that generalization across decoding strategies is governed by the support of the training distribution, and that ABD guarantees denoising optimality for any inference policy whose configurations are covered during training. Empirically, ABD exhibits structural invariance across decoding scales, avoiding off-grid collapse and recovering a monotonic relationship between block size and perplexity, while matching or outperforming fixed-block specialists at their target scales.
요약
확산 언어 모델(DLM)의 고정 블록 학습과 추론 시 임의 구성 간의 불일치를 해결하기 위해, 접두 문맥 윈도우 구성을 확률 변수로 취급하여 전체 구성 공간에 걸쳐 노이즈 제거 리스크를 최적화하는 Adaptive Block Diffusion(ABD)을 제안한다. ABD는 아키텍처 변경 없이 단일 모델을 학습시켜 그리드 이탈 붕괴를 방지하고, 블록 크기와 perplexity 간 단조 관계를 회복하며 고정 블록 전문 모델과 동등하거나 우수한 성능을 달성한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29275v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
효율적인 추론을 향하여: 확산 언어 모델을 위한 인과적 지름길 학습
Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models
확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.
연속 확산 언어 모델의 설계 공간에 관한 연구
On the Design Space of Continuous Diffusion Language Models
연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.
주변분포에서 결합분포로 가는 티켓: 확산 언어 모델의 1단계 블록 생성을 위한 결합 노이즈 증류
A Ticket from Marginals to Joints: Coupled-Noise Distillation for One-Step Block Generation in Diffusion Language Models
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
SOL: 이중 슬라이스드 바서슈타인 거리를 이용한 텍스트 분포 간 격차 측정
SOL: Measuring Gaps between Text Distributions by Double Sliced Wasserstein Metrics
텍스트 생성을 평가하려면 생성된 분포가 데이터 분포와 얼마나 잘 일치하는지 측정해야 합니다. 자기회귀 모델의 경우 이는 퍼플렉서티(perplexity)를 통해 이루어집니다. 확산(diffusion) 및 플로우 기반 언어 모델은 가능도(likelihood)의 한계만을 제공할 수 있으며, 이 한계의 엄밀함은 모델 군(model family)마다 다릅니다. 엔트로피를 활용한 생성적 퍼플렉서티와 같은 샘플 기반 대체 지표는 분포의 적합도를 고려하지 않습니다. 본 논문에서는 텍스트 분포 간의 거리 척도인 SOL을 제안합니다. 각 시퀀스는 고정된 트랜스포머(transformer) 아래에서 은닉 상태들의 경험적 측도로 표현되며, 이러한 측도들의 분포는 이중 슬라이스드 바서슈타인 거리(double sliced Wasserstein distance)를 통해 비교됩니다. 저자들은 트랜스포머가 단사(injective) 함수일 경우 SOL이 거리 함수(metric)임을 증명합니다. 실험을 통해 SOL이 분포적 실패를 감지하고, 예상되는 모델 경향성을 복원하며, 안정적인 샘플 기반 추정치를 제공함을 보여줍니다. 저자들은 비자기회귀 모델에 사용되는 현재 평가 프로토콜의 공백을 메우기 위해 SOL을 제시합니다. 첫 번째 단계로, 저자들은 SOL을 사용하여 OpenWebText에서 학습된 다양한 모델들을 재평가합니다.
LOCKR: 확산 언어 모델에서 안정적이지만 잘못된 락인을 감지하고 수정하기 위한 은닉 상태 궤적 유도 플래너
LOCKR: A Hidden-State Trajectory-Guided Planner for Detecting and Repairing Stable-but-Wrong Lock-In in Diffusion Language Models
확산 언어 모델(diffusion language models)은 반복적인 노이즈 제거(denoising)를 통해 텍스트를 생성하며, 최종 답변이 생성되기 전에 중간 궤적을 드러냅니다. 본 논문에서는 상당한 노이즈 제거 과정이 남아있음에도 답변이 조기에 잘못된 값으로 안정화되는 반복적인 추론 실패 현상인 '안정적이지만 잘못된 락인(stable-but-wrong lock-in)'을 규명합니다. 신뢰도(confidence), 엔트로피(entropy), 마진(margin), 답변 안정성과 같은 표면 수준 디코딩 신호는 올바른 락인과 잘못된 락인을 안정적으로 구분하기에 불충분합니다. 이에 본 연구는 선택적 추론 수정을 경량 테스트-타임 계획(test-time planning) 문제로 정식화하고, 은닉 상태(hidden-state) 궤적 유도 플래너인 LOCKR을 제안합니다. LOCKR은 추가 계산을 할당할 시점을 결정하고, 구조화된 타깃 수정 브랜치 세트를 확장하며, 궤적 인식 검증을 사용하여 가장 유망한 연속 생성을 선택합니다. 두 가지 확산 언어 모델과 세 가지 수학적 추론 벤치마크 전반에서, 은닉 상태 궤적은 잘못된 락인 감지 및 수정 선택 모두에서 표면 신호와 단일 은닉 스냅샷을 일관되게 능가했습니다. 자연스러운 평가 분포에서 LOCKR은 평가된 5개 설정 모두에서 2.21~5.37%p의 절대적 정확도 향상을 달성했으며, 수정률은 22%에서 41%에 달했습니다. 이러한 결과는 확산 모델의 은닉 궤적이 선택적 테스트-타임 추론 수정을 위한 실행 가능한 신호임을 입증합니다.
정보 기반 마스킹: 확산 대규모 언어 모델의 강화학습을 위한 구조 인지 섭동
Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models
확산 대규모 언어 모델(dLLM)은 자기회귀 모델의 효율적인 대안으로 부상했으나, 이를 강화학습(RL)을 통해 정렬(alignment)하려면 롤아웃당 적은 몬테카를로 예산 하에서 마스킹된 재구성 하위 문제로부터 추정된 가능도 대리치(likelihood surrogates)가 필요합니다. 기존 기법들은 균등 무작위 마스킹을 통해 이러한 하위 문제를 구성하므로, 어떤 하위 문제를 우선시해야 하는지에 대한 의문이 남아 있습니다. 본 연구는 dLLM 롤아웃에서 체계적인 상류/하류(upstream/downstream) 구조를 규명합니다. 특정 토큰들은 공개되었을 때 아직 디코딩되지 않은 인접 위치에서 큰 신뢰도 변화를 유발하며, 이를 상류 토큰이라 부릅니다. 반면 다른 토큰들은 국소적으로 작은 변화만을 유발하므로 하류 토큰에 해당합니다. 연구진은 하류 토큰을 마스킹하는 것이 상류 토큰을 마스킹하는 것보다 실질적으로 훨씬 더 잘 정의된(better-posed) 하위 문제를 생성한다는 점을 발견했으며, 이 현상을 '하위 문제 난이도 비대칭성'이라 명명했습니다. 이러한 관찰을 바탕으로, 추가적인 추론 비용 없이 디노이징 궤적에서 토큰별 우선순위 점수를 도출하고 마스크 샘플링이 하류 토큰 쪽으로 편향되도록 하는 정보 기반 마스킹(Informed Masking, IM)을 제안합니다. IM은 플러그 앤 플레이(plug-and-play) 방식으로 적용할 수 있으며, LLaDA-8B-Instruct 기반 세 가지 최신 dLLM 강화학습 기법에 결합했을 때 향상된 학습 안정성과 함께 수학 및 계획 수립 벤치마크에서 각각 최대 2.01%, 8.68%, 5.77%의 상대적 평균 성능 향상을 달성합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.