Diffusion language models (dLLMs), such as LLaDA and Dream, have become competitive with autoregressive (AR) LLMs in generation quality while supporting native parallel decoding. A standard acceleration strategy is block-wise decoding, where each forward pass predicts a block of length B and commits high-confidence tokens. Confidence-threshold commitment adapts which tokens are accepted, but a fixed B still constrains the prediction scope. Existing horizon policies use manually chosen sizes, volatility statistics, or candidate-boundary scores. We instead use the model's own per-step confidence: in-window confidence typically follows a context-dependent cliff, providing a direct signal for adapting the look-ahead horizon. In this work, we propose PACE-dLLM, which refits this parametric cliff periodically in closed form, sets the next horizon at a shared confidence anchor, and retains confidence-threshold token commitment. Under a saturated-yield abstraction with iid, policy-independent monotone profiles, the oracle horizon is the smallest attaining maximal per-pass yield and improves the asymptotic forward-pass rate when fixed blocks undershoot it with positive probability. On four reasoning and code benchmarks across two open-source dLLM backbones, PACE-dLLM achieves the best average accuracy among the evaluated decoders on both backbones, with average throughput speedups of 5.23x on LLaDA and 3.06x on Dream (up to 8.52x on LLaDA MATH) over the unaccelerated semi-AR baseline, advancing the quality-throughput Pareto frontier.
Diffusion language models predict many masked positions at each denoising step, but their efficiency and output quality depend on which predictions enter the evolving context. Confidence is informative but incomplete for this decision: at matched confidence, proposals with different identity and support histories exhibit different one-step revision rates. We propose Trajectory-Aware Commit Gating (TACG), a training-free decoder that separates the current token proposal from the decision to commit it. TACG scores temporal support for the current proposal by contrasting its logits with an exponential moving average of earlier logits, requires the proposal identity to persist through a History Gate, and promotes a capped number of additional positions per step. The gate decides which positions to commit and when; every written token remains the contemporaneous base proposal. On complete four-task LLaDA evaluations under the stated single-seed protocol, measured task-specific operating points reach 51.02\% mean accuracy with 67.82 mean model evaluations, compared with 48.00\% and 76.59 for Native Confidence. Under a matched per-event commit-count replay, history-guided selection exceeds confidence ranking by 8.3 accuracy points at identical per-sample NFE. History-reference interventions alter commitment timing while preserving the base-proposal write rule. Experiments on Dream and LLaDA2-Mini characterize quality--cost behavior across backbones and generation lengths. The code is publicly available at https://github.com/Clarence-CV/TACG-DLLM.
확산(diffusion) 및 흐름 기반(flow-based) 모델은 이미지와 동영상 등의 도메인에서 연속 데이터를 생성하는 사실상의 접근법이 되었다. 그 성공은 언어 모델링(language modeling)에 이를 적용하려는 관심을 점점 더 끌어들이고 있다. 이미지 도메인의 대응 모델과 달리, 오늘날 선도적인 확산 언어 모델(diffusion language models, DLMs)은 주로 이산 토큰(discrete tokens) 위에서 동작한다. 본 논문에서는 이산 도메인에 대한 최소한의 적응만으로 연속 DLM을 효과적으로 만들 수 있음을 보인다. 우리는 연속 시간 Flow Matching에 기반한 연속 임베딩 공간에서의 확산 모델 클래스인 Embedded Language Flows(ELF)를 제안한다. 기존 DLM과 달리 ELF는 마지막 시간 단계까지 주로 연속 임베딩 공간 내에 머무르며, 이 단계에서 공유 가중치(shared-weight) 네트워크를 사용하여 이산 토큰으로 매핑한다. 이 구성은 이미지 도메인 확산 모델에서 확립된 기법, 예를 들어 classifier-free guidance(CFG)를 적응시키기 쉽게 만든다. 실험 결과 ELF는 선도적인 이산 및 연속 DLM을 크게 능가하며, 더 적은 샘플링 단계로 더 나은 생성 품질을 달성한다. 이 결과는 ELF가 효과적인 연속 DLM을 향한 유망한 경로를 제공함을 시사한다.
통합 멀티모달 확산 대규모 언어 모델(diffusion large language models, dLLM)은 이미지 생성과 멀티모달 이해 모두를 위한 단일 아키텍처를 제공하지만, 이들의 반복적 디코딩은 수십에서 수백 번의 순전파(forward pass)를 필요로 한다. 기존의 소수 스텝(few-step) 증류(distillation) 기법들은 주로 이미지 생성이나 텍스트 생성 중 한쪽에만 초점을 맞추고 있어, 생성과 이해 성능을 모두 보존하면서 완전 이산형 멀티모달 dLLM을 단일한 효율적 학생(student) 모델로 압축하는 방법은 명확하지 않았다. 본 연구에서는 통합 멀티모달 dLLM의 추론 비용을 대폭 줄이면서도 강력한 생성 및 이해 능력을 유지하는 통합 2단계 증류 프레임워크인 Omni-Diffusion-Distill을 제안한다. Omni-Diffusion-Distill은 이산 토큰 공간에서 이미지와 텍스트 모두에 대해 생성과 이해의 증류를 정렬한다. 첫 번째 단계에서 학생 모델은 캐시된 교사(teacher) 궤적을 재생함으로써 디코딩 스텝을 건너뛰도록 학습되며, 두 번째 단계에서는 자체 롤아웃을 따른 중간 상태에서 학생 모델을 미세조정한다. 나아가 병렬 텍스트 디코딩 시 반복을 줄이는 쌍별 충돌 페널티(pairwise collision penalty)와, 이미지 생성에서 날카로워진 교사 분포에 피팅됨으로써 발생하는 엔트로피 붕괴를 방지하는 엔트로피 일치 가이던스(entropy-matched guidance)를 통해 통합 증류에서의 두 가지 성능 저하 원인을 개선한다. Omni-Diffusion-Distill은 멀티모달 dLLM에서 디코딩 효율성과 생성 및 이해 성능 간의 최고 수준(state-of-the-art) 트레이드오프를 달성하여, 이미지 생성을 128 디코딩 스텝에서 8스텝으로, 멀티모달 이해를 512스텝에서 64스텝으로 줄이고 18.2배 및 21.2배의 실제 경과 시간(wall-clock) 속도 향상을 이끌어낸다. 이러한 예산 내에서 텍스트-투-이미지 생성의 경우 GenEval 0.828점과 DPG-Bench 83.0점을 기록하며, 멀티모달 이해의 경우 MM-Vet에서 20.0점, COCO 캡셔닝에서 57.2점의 GPT 판정 점수를 달성한다(동일 스텝 기준 교사 모델의 28.4점 대비 2배).
계획(planning)은 여러 단계에 걸쳐 하위 목표, 도구 사용, 중간 결과를 조율하여 성공적으로 실행해야 하는 장기적(long-horizon) 에이전트(agent)에게 점점 더 중요해지고 있습니다. 그러나 계획 수립 중에 세운 가정이 환경(environment)에 의해 무효화되거나, 도구가 예상치 못한 결과를 반환하거나, 행동이 실패할 수 있습니다. 따라서 효과적인 에이전트는 계획을 생성할 뿐만 아니라 수정할 수도 있어야 합니다. 이러한 수정은 흔히 계획의 일부에만 영향을 미치며, 앞선 구조와 후속 구조는 그대로 유지합니다. 계획 전체를 다시 생성하여 불필요한 변경을 초래할 위험을 감수하기보다는, 보존된 접두 문맥(prefix)과 접미 문맥을 조건으로 하여 영향을 받은 영역만 복구(repair)를 통해 재생성할 수 있습니다. 본 논문에서는 확산 언어 모델(dLLM)이 병렬 언마스킹(parallel unmasking)을 통해 구조화된 프로그램 형태의 계획을 생성하고, 주변 단계를 고정한 채 선택된 영역을 채워 넣어 계획을 복구하는 계획-실행(plan-and-act) 프레임워크인 Plan-and-Patch를 소개합니다. 저자들은 확산 플래너와 자기회귀(AR) 플래너로서 DreamReasoner-8B와 Qwen3-8B를 비교합니다. 태스크 맞춤형 학습(training)이 없는 Natural Plan에서 확산 모델(53.7%)은 AR(27.0%) 대비 두 배에 가까운 계획 복구 성공률을 달성합니다. 에이전틱 벤치마크(benchmark)인 ALFWorld 및 TextCraft에서 태스크 맞춤형 학습을 거친 후, 두 플래너는 계획 생성에서 유사한 관측 성공률을 보인 반면, 확산 모델은 AR 대비 평균 계획 생성 지연 시간을 39-46% 단축합니다. 본 연구 결과는 Plan-and-Patch가 장기적 에이전트에서 더 빠른 계획 생성과 효과적인 계획 복구를 지원하는 프레임워크를 제공함을 보여줍니다.
본 연구에서는 연속 확산 언어 모델(continuous diffusion language model) 문헌에서 표준적으로 통용되던, 학습(training) 중 조건부 프롬프트(prompt) 토큰을 깨끗한 상태(clean)로 고정하는 관행을 재검토합니다. 우리는 매우 간단한 수정 사항을 적용하여, 학습 중 조건부 프롬프트 토큰에도 노이즈를 추가합니다. 이러한 수정된 학습 목적 함수 하에서 스도쿠(Sudoku) 및 N-퀸(N-Queens)과 같은 조합 추론(combinatorial reasoning) 태스크에서 더 우수한 일반화 성능을 달성함을 입증하였으며, 특히 더 어려운 변형에서 가장 큰 폭의 향상(Sudoku Hard 해결률 $3.73\% \to 24.65\%$)과 생성된 해의 다양성 증가(10x10 N-Queens 커버리지 $50.60\% \to 73.79\%$)를 확인했습니다. 또한 Gigaword 요약을 통한 적당한 데이터셋(dataset) 환경에서 자연어 생성 품질의 측정 가능한 개선을 보여주었으나, 이러한 이점이 모든 자연어 태스크(예: 개방형 대화 생성)로 전이되지는 않음을 명확히 보여줍니다. 본 논문의 방법론은 학습 목적 함수에 단 한 줄만을 변경하는 방식이며, 기본적으로 추가적인 추론(inference) 비용이 발생하지 않고, 분류기 없는 유도(classifier-free guidance)에서 영감을 얻은 유도 샘플링(guided sampling)의 유연성을 제공합니다. 공개된 \href{https://github.com/LateralIntelligence/noise-your-prompt}{코드}를 이용할 수 있습니다.
완전 연속형 디퓨전 언어 모델(dLMs)은 중간 이산화 과정 없이 연속적인 표현의 노이즈를 제거한 뒤, 최종 단계에서 모든 응답 토큰을 병렬로 디코딩합니다. 그러나 고난도 추론 작업에서 이들의 성능은 자기회귀(AR) 대규모 언어 모델(LLM) 및 마스크 기반 dLM에 비해 아직 덜 입증되었습니다. 본 연구에서는 GSM8K, MATH-500, HumanEval, MBPP를 대상으로 임베디드 언어 흐름(ELF)을 수학적 추론 및 코드 생성 작업으로 확장합니다. 이를 위해 표현 정렬(alignment) 및 얽힘(entanglement)(REPA+REG)을 통해 학습(training)을 개선하는 ELF-REG를 제안합니다. 여기서 동결된 AR 교사 모델은 디노이저의 중간 특징을 감독하고, 응답과 함께 공동으로 노이즈가 제거되는 전역 표현을 제공합니다. ELF-REG-L은 64회의 네트워크 함수 평가(NFE)에서 GSM8K pass@1 55.96%를 달성하고, 128 NFE에서 MATH-500 13.39%, HumanEval 22.56%를 기록했습니다. 이는 GSM8K 및 코드 작업의 pass@1에서 평가된 유사 규모의 dLM들을 능가하며, MATH-500 pass@1을 ELF-L 기준선(baseline)의 10.55%에서 ELF-REG-L을 통해 13.39%로 향상시킵니다. 적은 단계의 학습 없이도 동일한 작업별 체크포인트는 디노이징 궤적을 완료하지 않고 중간의 정제된 예측을 디코딩하는 조기 중단(early-stop)을 통해 강력한 저(low)-NFE 성능을 지원합니다. 16 NFE에서 ELF-REG-L은 41.21%의 HumanEval pass@10에 도달하여 유사한 규모의 최근 연속형 dLM들을 능가합니다.
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
대규모 언어 모델(LLM)을 활용한 추론은 여러 사고의 연쇄(Chain-of-Thought)를 생성할 때 효과를 보는 경우가 많지만, 기존의 통합 전략은 대개 궤적 수준(예: 최적의 경로 선택 또는 최종 답변에 대한 투표)에 머물러 있어 부분적이거나 '거의 정답에 가까운' 시도에서 나온 유용한 중간 과정을 버리게 됩니다. 본 논문에서는 저비용 디퓨전 샘플링 기반 추론을 재사용 가능한 단계별 후보 풀로 변환하는 자기 일관성(self-consistency) 프레임워크인 '노이즈가 있는 디퓨전 사고 스티칭(Stitching Noisy Diffusion Thoughts)'을 제안합니다. 문제가 주어지면, (i) 마스크드 디퓨전 언어 모델을 사용하여 다양하고 비용이 적게 드는 추론 궤적을 다수 샘플링하고, (ii) 상용 프로세스 보상 모델(PRM)로 모든 중간 단계를 점수화하며, (iii) 궤적 전반에서 가장 품질이 높은 단계들을 결합(stitch)하여 복합적인 논리적 근거(rationale)를 만듭니다. 이렇게 생성된 논리적 근거는 최종 답변만을 재계산하는 데 사용됩니다. 이 모듈형 파이프라인은 탐험(디퓨전)을 평가 및 솔루션 종합과 분리하여, 광범위한 탐색을 유지하면서도 단일 통합형 하이브리드 구조를 피합니다. 수학 추론 벤치마크 전반에서 단계별 재조합은 더 어려운 문제에서 가장 큰 이점을 보였으며, 절제 연구(ablation)를 통해 결합되었지만 불완전한 근거를 정확한 답변으로 변환하는 최종 솔버의 중요성을 확인했습니다. 병렬적이고 독립적인 롤아웃을 갖춘 저신뢰도 디퓨전 샘플링을 활용한 당사의 학습 불필요(training-free) 프레임워크는 6개의 수학 및 코딩 태스크 전반에서 평균 정확도를 최대 23.8% 향상시킵니다. 동시에 기존 디퓨전 모델(예: Dream, LLaDA) 및 통합형 아키텍처(예: TiDAR) 대비 최대 1.8배의 지연 시간(latency) 감소를 달성합니다. 코드는 https://github.com/roymiles/diffusion-stitching 에서 확인할 수 있습니다.
관성 가둠 핵융합(ICF)은 청정에너지를 향한 유력한 경로이지만, 국립점화시설(National Ignition Facility)에서의 샷(shot)당 비용이 수백만 달러에 달하여 정확한 AI 대리 모델(surrogate) 개발은 가치가 매우 높은 목표입니다. 본 논문에서는 과거 반응 관측 없이 레이저 펄스와 타깃 설계 파라미터로부터 512단계의 중성자 발생률 진단을 직접 추론해야 하는 외생 변수 기반 ICF 파형(waveform) 예측을 연구합니다. 이러한 체계는 시간적 희소성(sparsity, 나노초 단위 윈도우 내 피코초 단위 피크), 입출력 스케일 불일치(300회 미만의 실제 샷), 피크 민감도(피코초 단위 타이밍)로 인해 기존 시계열 예측 모델에 큰 부담을 줍니다. 이에 본 연구는 우리가 아는 한 최초의 언어 모델 기반 ICF 예측기인 ICF-DLM을 제안합니다. 이 모델은 (i) 수율 $Y_{DT}$, 피크 타이밍 $t_{\mathrm{peak}}$, 국소 파형 $w_{\mathrm{local}}$로의 물리 유형화된 분해, (ii) 피크 위치에 대한 결정을 유예하는 양방향 노이즈 제거(denoising), (iii) 숫자 토큰 전반에 걸쳐 메트릭 구조를 재주입하는 물리 기반 PPO 보상(reward)을 결합합니다. ICFBench(5만 개 시뮬레이션 + 232개 실험 샷)에서 ICF-DLM은 동일 조건의 자기회귀 LLaMA-3-8B 대비 피크 타이밍 오차를 11.6스텝에서 9.2스텝으로 줄였으며, 기존 시퀀스 모델 및 LLM 기반 시계열 예측 모델보다 우수한 성능을 보였습니다. ICF를 넘어, 본 방법론은 데이터가 적고 희소한 이벤트가 발생하는 과학 분야 문제를 해결할 잠재력을 보여줍니다.
분자 데이터의 다양성이 증가함에 따라 모달리티(modality) 전반에 걸친 이종 제약 조건을 유연하게 통합할 수 있는 생성 모델의 필요성이 커지고 있습니다. 그러나 기존 SMILES 기반 확산 모델(diffusion model)은 대개 고정된 조건 모달리티를 위해 설계되었으며, 새로운 제약 조건을 도입하려면 모델을 재학습해야 하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 백본(backbone)을 재학습하지 않고도 이종 분자 제약 조건을 지원하도록 사전학습(pre-training)된 확산 모델을 확장하는 모듈형 프레임워크인 CMCM-DLM(Cross-Modality Controlled Molecule Generation with Diffusion Language Model)을 제안합니다. 본 연구는 상호보완적인 두 모달리티인 분자 구조와 화학적 특성을 사용하여 CMCM-DLM을 실증합니다. 구체적으로, 구조 제어 모듈(SCM)은 초기 확산 단계를 유도하여 분자 골격(scaffold)을 확립하고, 이후 특성 제어 모듈(PCM)이 목표 화학적 특성을 향해 생성을 유도합니다. 이러한 단계적 설계를 통해 통합된 생성 프레임워크 내에서 서로 다른 분자 제약 조건을 유연하게 결합할 수 있습니다. 여러 데이터셋을 대상으로 한 실험을 통해 효과적인 교차 모달 제어 가능성과 강력한 적응성을 입증하였으며, 이종 분자 데이터 모델링 및 데이터 기반 신약 개발을 위한 CMCM-DLM의 잠재력을 강조합니다.
사전학습된 자기회귀(AR) 모델을 디퓨전 언어 모델(dLLM)로 변환하면 새로운 모델을 사전학습하지 않고도 병렬 생성이 가능해진다. 기존에 발표된 변환 방법들은 학습 데이터 양에서 약 세 자릿수(1000배) 차이를 보이며, 공통된 프로토콜 하에서 비교된 적이 없다. 우리는 동일한 300억(30B) 매개변수 규모의 전문가 혼합(MoE) 부모 모델로부터 얻은 두 가지 변환 방식을 비교하며, 코퍼스, 지도 학습 토큰 예산, 학습 가능한 매개변수 집합, 평가 하니스(harness)는 고정한 채 각 방법은 고유한 학습 레시피를 따르도록 했다. 제자리(in-place) 모델은 디노이징(denoising) 및 표현 정렬(representation-alignment) 손실을 사용하여 부모 모델의 가중치 중 일부를 업데이트하는 반면, 동결 타워(frozen-tower) 모델은 부모 모델의 동결된 코잘(causal) 복사본에 대한 크로스 어텐션을 통해 조건화된다. 10억(1B)개의 학습 토큰을 사용했을 때, 동결 타워 모델은 HumanEval pass@10에서 71.60점을 기록한 반면 제자리 모델은 6.19점에 그쳤으며, 이는 11.6배의 성능 향상이다. 같은 예산에서 동결 타워 모델은 부모 모델의 GSM8K 점수의 95%와 MMLU-Pro 점수의 99%를 유지한다. 덴스(dense) 부모 모델을 사용한 실험에서도 HumanEval 점수 격차가 동일하게 재현되었다. 약 5억(500M) 토큰 규모에서 투 타워(two-tower) 구조 내에서는, 컨텍스트 타워를 동결했을 때가 학습시켰을 때보다 MMLU-Pro 성능을 상당히 더 많이 유지하는 반면, HumanEval 점수는 두 경우 모두 비슷하게 관찰되었다. 우리의 이론적 분석에 따르면, 두 변환 방식 모두 하드 어텐션 마스크(hard attention mask)와 라운드당 한 위치씩 왼쪽에서 오른쪽으로 확정하는 방식 하에서 AR 부모 모델에 대한 정확한 샘플러(exact sampler)를 포함한다. 동일한 손실 함수 하에서, 동결은 컨텍스트 상태(context states)를 통한 그래디언트 기여를 제거한다. 또한, 평가 프로토콜은 이미 발표된 5000억(500B) 토큰 규모의 변환 모델의 점수에 과제별로 양방향 모두 상당한 영향을 미치는 반면, 그 AR 부모 모델의 점수는 3점 미만의 차이만 보이므로, dLLM들을 비교하려면 공통된 프로토콜이 필요하다. 이러한 결과는 테스트된 저예산(low-budget) 환경에서 동결 타워 구성이 제자리 변환보다 부모 모델의 생성 성능을 상당히 더 많이 유지함을 보여준다.
마스크드 디퓨전(masked diffusion) MLLM에서 답변 후보는 그 추론 근거(rationale)가 여전히 전개되는 동안에도 안정화될 수 있습니다. 본 연구에서는 기록된 후보의 사후적(retrospective) 안정화와 토큰 확정(token commitment)을 구분하고, 근거 생성과 관련하여 이 두 가지 시계를 조사합니다. 세 가지 시각적 질의응답 벤치마크 전반에서 결과를 분석한 결과, 단일 블록 및 EOS 억제 설정의 LaViDa 실행 시 안정화 시점에서 근거 측 캔버스의 89.4~98.1%가 작성되지 않은 채로 남아 있음을 발견했습니다. V*Bench에서는 블록 길이를 128에서 8로 줄임에 따라 답변 커버리지 및 관찰 가능 윈도우와 함께 이 비율이 89.4%에서 1.7%로 변화합니다. EOS 활성화 프롬프팅 환경에서 직접적인 지시사항은 M3CoT 및 ScienceQA에서 Nemotron의 전체 정확도를 각각 15.0 및 19.5%포인트 향상시키지만, LaViDa/V*Bench 정확도는 11.0%포인트 감소시킵니다. 대칭적 분해 분석을 통해 각 변화에서 더 큰 절대적 구성 요소가 조건부 정확도보다는 커버리지와 관련됨을 보였습니다. 캔버스를 일치시킨 이미지 어블레이션(ablation)은 답변 안정화와 함께 시각적 민감도를 측정하여 두 시간적 판독값을 분리합니다. 종합적으로, 이러한 측정들은 답변 안정화, 근거 전개, 시각적 민감도를 명확히 구분하며, 프롬프팅 차이에서 더 큰 비중을 차지하는 요소가 커버리지임을 규명합니다.
확산 언어 모델(diffusion language models)은 반복적인 노이즈 제거(denoising)를 통해 텍스트를 생성하며, 최종 답변이 생성되기 전에 중간 궤적을 드러냅니다. 본 논문에서는 상당한 노이즈 제거 과정이 남아있음에도 답변이 조기에 잘못된 값으로 안정화되는 반복적인 추론 실패 현상인 '안정적이지만 잘못된 락인(stable-but-wrong lock-in)'을 규명합니다. 신뢰도(confidence), 엔트로피(entropy), 마진(margin), 답변 안정성과 같은 표면 수준 디코딩 신호는 올바른 락인과 잘못된 락인을 안정적으로 구분하기에 불충분합니다. 이에 본 연구는 선택적 추론 수정을 경량 테스트-타임 계획(test-time planning) 문제로 정식화하고, 은닉 상태(hidden-state) 궤적 유도 플래너인 LOCKR을 제안합니다. LOCKR은 추가 계산을 할당할 시점을 결정하고, 구조화된 타깃 수정 브랜치 세트를 확장하며, 궤적 인식 검증을 사용하여 가장 유망한 연속 생성을 선택합니다. 두 가지 확산 언어 모델과 세 가지 수학적 추론 벤치마크 전반에서, 은닉 상태 궤적은 잘못된 락인 감지 및 수정 선택 모두에서 표면 신호와 단일 은닉 스냅샷을 일관되게 능가했습니다. 자연스러운 평가 분포에서 LOCKR은 평가된 5개 설정 모두에서 2.21~5.37%p의 절대적 정확도 향상을 달성했으며, 수정률은 22%에서 41%에 달했습니다. 이러한 결과는 확산 모델의 은닉 궤적이 선택적 테스트-타임 추론 수정을 위한 실행 가능한 신호임을 입증합니다.
확산 대규모 언어 모델(D-LLM)은 최근 주목을 받고 있으나, 환각(hallucination) 문제로 인해 신뢰성이 크게 저해된다. 기존 D-LLM 환각 탐지 접근법은 주로 학습 기반 패러다임을 따르며, 데이터 기반 학습을 통해 탐지기를 최적화한다. 이러한 의존은 도메인 및 모델 간 일반화 가능성을 제한할 뿐만 아니라 추가적인 학습 비용과 배포 부담도 초래한다. 이러한 한계를 해결하기 위해, 우리는 D-LLM을 위한 학습 없는 환각 탐지 지표인 TRE를 제안한다. TRE는 매개변수가 없고 단일 실행(single-run) 지표로, 탐지기 학습이나 반복 샘플링 없이 단일 생성의 엔트로피 신호로부터 환각 위험을 직접 추정한다. TRE는 D-LLM 디코딩 과정에서 공간적·시간적 차원 모두를 따라 엔트로피 신호를 추출한다. 토큰 수준의 공간적 관점에서, 우리는 불확실성을 가장 잘 드러내는 정보 담체인 토큰에 초점을 맞추며, 불확실성이 적극적으로 확정되는 지점을 포착한다. 확산 단계 수준의 시간적 관점에서, 우리는 후반 단계 엔트로피의 지배성을 실증적으로 확인하고, 이를 간단한 선형 가중치 방식으로 집계하여 TRE를 얻는다. 다양한 D-LLM과 QA 데이터셋에 대한 광범위한 실험은 TRE가 경쟁력 있는 성능을 달성하면서 강한 일반화 가능성, 효율성, 견고성을 갖춤을 보여준다.
병렬 디코딩은 확산 대규모 언어 모델(dLLM)의 효율성에 핵심적이지만, 현재 전략들은 지나치게 보수적인 신뢰도 임계값으로 인해 종종 저해된다. 이러한 임계값은 결합 확률 의존성 오류(JPDE)로 인해 필요해지며, 중복적인 디노이징 반복과 최적이 아닌 추론 속도를 초래한다. 이를 극복하기 위해, 우리는 중간 신뢰도 영역에서 dLLM의 신뢰할 수 있는 가속을 가능하게 하는 무학습 프레임워크인 DC-Leap을 제안한다. DC-Leap은 엄격히 순서가 정해진 인과 제약을 병렬 디코딩 과정에 통합하는 동적 연속 검증(Dynamic Contiguous Verification) 전략을 도입한다. 토큰 의존성을 점진적으로 검증함으로써, 이 메커니즘은 JPDE를 효과적으로 상쇄하여 유사한 성능으로 신뢰할 수 있는 가속을 가능하게 한다. 또한 DC-Leap은 드래프트 가이드 디코딩 메커니즘을 통합하며, 여기서 드래프트는 여러 토큰에 걸쳐 앞으로 도약함으로써 컨텍스트를 확장하고, look-ahead 컨텍스트를 제공하며, 추론 중 양방향 어텐션의 구조적 이점을 유지한다. 표준 벤치마크에 대한 광범위한 실험은 DC-Leap이 상당한 속도 향상을 달성함을 보여주며, 긴 시퀀스 생성에서 MBPP 기준 최대 53.19배, KV-Cache와 결합 시 유사한 생성 품질로 최대 105.02배까지 달성한다. 코드는 https://github.com/ffh-wyls/DC-Leap 에서 이용 가능하다.
프롬프트 압축은 대규모 언어 모델(LLM)의 추론 비용과 컨텍스트 길이를 줄이지만, 기존 평가는 주로 자기회귀(autoregressive) 아키텍처에 집중되어 있다. 본 연구는 LLMLingua-2가 확산 대규모 언어 모델(DLLM), 특히 LLaDA-8B-Instruct에 효과적으로 전이되는지를 검토한다. 수학적 추론, 프롬프트 재구성, 요약을 포함하는 GSM8K, DUC2004, ShareGPT를 각 데이터셋당 250개의 프롬프트로 약 50% 압축 비율에서 평가한다. 원본, 압축, 재구성된 프롬프트의 출력은 정확 일치 정확도(exact-match accuracy), BLEU, ROUGE, BERTScore를 사용하여 비교된다. 결과에 따르면 높은 의미적 보존이 반드시 확산 모델에서 안정적인 하위 태스크 동작을 보장하지는 않는다. 요약은 상대적으로 견고하게 유지되는 반면, 수학적 추론은 높은 의미적 유사도에도 불구하고 크게 저하된다. 재구성 결과는 또한 의미적으로 유사한 프롬프트가 안정적인 디노이징(denoising)에 필요한 추론 핵심 정보를 누락할 수 있음을 보여준다. 전반적으로 압축 실패는 의미적 편향(semantic drift)보다 정보 누락에 의해 주로 발생하며, 이는 자기회귀 프롬프트 압축 방법이 DLLM에 균일하게 전이되지 않을 수 있음을 시사한다. 이러한 발견은 확산 인식(diffusion-aware) 압축 전략의 필요성을 동기 부여한다.
이산 확산 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성한다. 그러나 표준 dLLM은 각 디노이징 단계에서 현재의 하드 마스킹된 시퀀스만을 조건으로 삼으며, 중간 연속 표현은 샘플링 및 재마스킹 후 폐기된다. 우리는 이 병목 현상을 **정보 고립(Information Island)** 문제라 명명한다: 연속적 정보는 개별 디노이징 단계 내에 고립된 채로 머물며 전체 궤적에 걸쳐 전파되지 못한다. 이 병목은 특히 추론에 해롭다. 추론은 여러 디노이징 단계에 걸쳐 중간 추론 상태가 보존되고 갱신될 것을 요구하기 때문이다. 이 한계를 해결하기 위해 우리는 **MetaState**를 제안한다. MetaState는 동결된 dLLM 백본에 영속적이고 고정 크기의 작업 메모리를 부여하는 경량 순환 증강 기법이다. MetaState는 공유 시간 컨디셔너를 가진 세 모듈로 구성된다: 백본 활성화를 메모리 슬롯으로 읽어들이는 크로스 어텐션 **Mixer**, 단계 간 정보를 통합하는 GRU 방식의 **Updater**, 그리고 갱신된 메모리를 백본에 다시 기록하는 크로스 어텐션 **Injector**이다. 우리는 이 모듈들을 다단계 동역학 학습을 위한 전용 $K$-스텝 언롤링 파이프라인으로 학습시킨다. MetaState는 백본을 동결한 상태에서 학습 가능한 파라미터를 약 0.6%만 추가하면서, 수학적 추론 및 코드 생성 벤치마크에서 동결 기준선 대비 추론 성능을 일관되게 향상시키며, 전체 평가에서 평균 4.5 퍼센트포인트의 성능 향상을 달성한다.
확산 대규모 언어 모델(dLLM)의 효율적인 서빙은 수렴 이질성(convergence heterogeneity)으로 인해 저해된다: 여러 요청을 배치 처리할 때 서로 다른 시퀀스가 상이한 속도로 수렴하여, 빠른 요청이 느린 지연 요청(straggler) 뒤에서 대기하게 되고 연산 버블(compute bubble)과 꼬리 지연(tail latency)이 발생한다. 우리는 BlockServe를 제시한다. 이는 블록 경계에서 완료된 요청을 즉시 축출하는 블록 단위 스케줄링과, 수집-분산 인덱싱(gather-scatter indexing)을 통해 이종 배치에 듀얼 캐시 및 병렬 디코딩을 확장하는 혼합 상태 실행(mixed-state execution)을 통합한 연속 배치 프레임워크이다. 나아가, 연산 인식 입력 제어기(compute-aware admission controller)가 토큰 예산 기반 보충(token-budgeted refill)을 통해 실효 배치 용량을 확대한다. Dream 및 LLaDA에 대해 5개 벤치마크에서 BlockServe는 유사한 생성 품질을 유지하면서 Fast-dLLM 대비 1.9–10.6배의 처리량을 달성하며, 블록 단위 스케줄링을 고처리량 오프라인 dLLM 추론의 토대로 확립한다.
마스크드 확산 언어 모델(DLM)에서 모델 로짓만으로는 텍스트-이미지 생성 및 다중모달(multimodal) 이해의 최적 토큰 생성 순서를 결정하기 어렵다는 문제를 규명하고, GRPO(Group Relative Policy Optimization)로 학습된 제어 블록을 도입해 생성 순서를 동적으로 최적화하는 방법을 제안한다. GenEval 벤치마크에서 4.08%, VLMEvalKit에서 4.85%의 상대적 성능 향상을 달성하며 텍스트-이미지 정렬과 다중모달 추론 모두에서 효과를 입증했다.