How much of a learned decoder can a simple readout preserve? On generated ELF and AURORA states, token-wise affine maps recover $97.17\%$ and $95.74\%$ of native lexical decisions. Contextual computation has already produced these states; only the terminal readout is simplified. The remaining disagreements matter beyond their count: equal-count rare-first and low-native-margin-first repairs have opposing pooled evaluator effects in both interfaces. On conditional summarization, rare-first improves reference similarity, while source consistency remains unresolved. Score accounting locates part of the benefit on unchanged text despite increased unigram cost, without identifying rarity as a cause. Repeatable repair effects do not ensure prediction transfer: a frozen predictor improves on two ELF checkpoints but fails on a distilled student. A separate task-fitted selector improves BERTScore over random selection by $0.261$ points on 256 fresh articles at a $50\%$ native-call budget; all-native decoding remains higher-scoring and acceleration is unestablished. Compressed and directional interface tests further distinguish fitting-state coverage, native decisions, and soft inputs. Together, the results motivate testing a simplification at three levels: preserved decisions, output consequences, and computational savings. Native decisions are fidelity targets, not semantic truth.
대규모 언어 모델(LLM)은 다양한 작업에서 놀라운 성능을 달성하지만, 본질적으로 순차적인 토큰 생성으로 인해 자기회귀 디코딩 과정에서 상당한 추론 비용이 발생합니다. 사양 디코딩은 가벼운 드래프트 모델을 사용하여 여러 미래 토큰을 제안하고, 이를 더 큰 타겟 모델이 병렬로 검증하는 방식으로 이 병목 현상을 해결합니다. 최근 연구에서는 확산 언어 모델이 드래프트 토큰의 전체 블록을 병렬로 생성할 수 있어 자기회귀 드래프팅의 순차적 제약을 완화할 수 있으므로 이 설정에 매우 적합하다는 것이 입증되었습니다. 이 체계의 미묘한 점은 블록 확산 드래프터가 블록 내에서 토큰을 양방향으로 생성하는 반면, 검증은 토큰을 엄격하게 좌측에서 우측으로 평가하는 자기회귀 타겟 모델에 의해 수행된다는 것입니다. 이로 인해 대칭적인 학습 시간 목적 함수와 비대칭적인 검증 시간 보상 사이에 격차가 발생합니다. 본 연구에서는 이러한 격차를 좁히는 세 가지 학습 시간 개입에 대한 실증적 분석을 제공합니다: 토큰 위치 가중치, 각 블록 내에서 수락된 접두 문맥을 깨뜨리는 위치를 타겟팅하는 첫 번째 오류 포컬 손실, 그리고 기대 수락 길이에 대한 미분 가능한 대리 함수를 대체하는 체인 손실 항입니다. 이 세 가지 개입은 서로 직교하는 축(위치, 블록 조건부 첫 번째 오류, 결합 접두 문맥)을 따라 작동하며 가산적으로 결합됩니다. 또한 이들은 다중 드래프트 자기 선택과 같은 테스트 시간 정렬 메커니즘과도 직교하므로 원칙적으로 결합할 수 있습니다. 4개의 타겟 모델과 6개의 추론, 코드, 대화 벤치마크에서 이 세 가지 개입은 추가적인 순방향 패스를 추가하거나 추론 파이프라인 및 거부 샘플링 정확성 계약을 변경하지 않고, 위치 균일 기준선 대비 벤치마크당 수락된 드래프트 길이를 21-76% 증가시켰습니다.
연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.
텍스트 생성을 평가하려면 생성된 분포가 데이터 분포와 얼마나 잘 일치하는지 측정해야 합니다. 자기회귀 모델의 경우 이는 퍼플렉서티(perplexity)를 통해 이루어집니다. 확산(diffusion) 및 플로우 기반 언어 모델은 가능도(likelihood)의 한계만을 제공할 수 있으며, 이 한계의 엄밀함은 모델 군(model family)마다 다릅니다. 엔트로피를 활용한 생성적 퍼플렉서티와 같은 샘플 기반 대체 지표는 분포의 적합도를 고려하지 않습니다. 본 논문에서는 텍스트 분포 간의 거리 척도인 SOL을 제안합니다. 각 시퀀스는 고정된 트랜스포머(transformer) 아래에서 은닉 상태들의 경험적 측도로 표현되며, 이러한 측도들의 분포는 이중 슬라이스드 바서슈타인 거리(double sliced Wasserstein distance)를 통해 비교됩니다. 저자들은 트랜스포머가 단사(injective) 함수일 경우 SOL이 거리 함수(metric)임을 증명합니다. 실험을 통해 SOL이 분포적 실패를 감지하고, 예상되는 모델 경향성을 복원하며, 안정적인 샘플 기반 추정치를 제공함을 보여줍니다. 저자들은 비자기회귀 모델에 사용되는 현재 평가 프로토콜의 공백을 메우기 위해 SOL을 제시합니다. 첫 번째 단계로, 저자들은 SOL을 사용하여 OpenWebText에서 학습된 다양한 모델들을 재평가합니다.
확산 언어 모델(Diffusion language models)은 반복적인 정제 과정을 통해 텍스트를 생성하지만, 많은 토큰이 최종 노이즈 제거(denoising) 단계에 도달하기 훨씬 전에 안정화되기 때문에 종종 계산상 비효율적입니다. 본 논문에서는 각 위치에서 독립적으로 수렴(convergence)을 식별하는 학습(training)이 필요 없는 토큰 수준 조기 종료(early stopping) 접근 방식을 소개합니다. 제안하는 방법은 모델(model)의 예측과 로컬 컨텍스트에서 파생된 경량 신호를 활용하여 개별 토큰(token)을 확정할 수 있는 시점을 동적으로 결정합니다. 이를 통해 작업별 미세조정(fine-tuning) 없이도 적응형 토큰별 동결(freezing)이 가능해지며, 필요한 총 확산 단계 수를 크게 줄입니다. 수학적 추론, 일반 질의응답, 과학적 이해를 아우르는 다양한 벤치마크 전반에서 본 접근 방식은 생성 품질을 보존하면서도 상당한 효율성 향상을 달성합니다.
확산 언어 모델(dLLM) 압축은 캘리브레이션(calibration)이 일반적으로 노이즈가 없는 완전히 가시적인 활성화에서 수행되는 반면, 추론(inference)은 부분적으로 마스킹된 중간 상태들을 거친다는 잘 알려진 과제에 직면합니다. 저순위(low-rank) 압축의 경우, 이는 두 가지 질문을 제기합니다. 첫째, 근사 품질을 궤적 분포 상태 전반에서 측정할 때도 저순위 최적성을 여전히 규명할 수 있는가? 둘째, 캘리브레이션 상태의 선택이 압축 시 수학적 추론 보존에 영향을 미치는가? 본 연구에서는 손상 수준(corruption levels)과 마스킹 실현 전반에 걸친 궤적 인식 저순위 목적식을 정식화하여 이러한 질문을 해결합니다. 이 목적식을 효율적으로 추정하기 위해, 몬테카를로 샘플링을 통해 궤적 2차 모멘트를 추정하고 정확한 표본 상태 최적성 및 모집단 일관성을 산출하는 Traj-MC를 제안합니다. 동일한 압축 예산 하에서, 궤적 인식 캘리브레이션은 생성 궤적 전반의 재구성을 개선하며, 수학적 추론 벤치마크에서 클린 캘리브레이션 대비 훨씬 더 많은 수학적 추론 능력을 보존합니다. 본 연구 결과는 궤적 인식 저순위 최적성을 dLLM 압축 후 유지되는 추론 능력과 연결합니다. 코드는 https://github.com/Zishan-Shao/traj-mc.git 에서 확인할 수 있습니다.
다음 토큰 예측(next-token prediction)은 대규모 언어 모델(LLM)의 눈부신 발전을 이끌어왔으나, 점차 늘어나는 연구 결과들은 복잡한 전역 제약 조건(global constraints)이 지배하는 문제에서 이러한 모델들이 어려움을 겪을 수 있음을 시사합니다. 본 연구에서는 이러한 영역에 주목하여, 이 한계 중 일부가 다음 토큰 예측 자체가 유도하는 추론 인터페이스에서 비롯되는지 질문을 던집니다. 우리는 인과적(causal)이고 좌에서 우로 진행되는 궤적에 얽매이지 않고 고정된 수정 가능한 캔버스 위에서 작업하며 후보 해 상태를 탐색하는 추론 시점(inference-time) 관점인 블랙보드 지능(blackboard intelligence)을 통해 이 문제를 연구합니다. 우리는 임의 순서 예측 인터페이스를 통해 부분적으로 채워진 해 상태에 대한 예측을 자연스럽게 제공하는 확산 언어 모델(diffusion language model)로 이 개념을 구현합니다. 우리의 핵심 관찰은 표준 마스크 기반 확산 목적함수에서 얻을 수 있는 단순한 모델 내부 수치인 평균 신뢰도(mean confidence)가 전역 일관성(global coherence)에 대한 유용한 프록시 역할을 하며 추론 시점의 탐색과 수정을 안내할 수 있다는 점입니다. 실험적으로 ZebraLogic, 간호사 근무 일정 배정(Nurse Rostering), 작업장 스케줄링(Job-Shop Scheduling, JSSP) 전반에 걸쳐 Blackboard는 파인튜닝된 LLaDA-8B-Instruct 체크포인트를 고정한 상태에서도 일관되게 추론 성능을 향상시키며 동일한 규모의 자기회귀(autoregressive) 베이스라인을 크게 능가하여 ZebraLogic-Hard에서 90.4%의 정확도, Nurse Rostering에서 76.4%의 정확한 실행 가능성(exact feasibility), JSSP에서 80.2%의 최적성(optimality)을 달성했습니다. 더 강력한 자기회귀 탐색 및 정제 기법으로도 ZebraLogic-Hard에서의 격차를 좁히지 못했으며, Blackboard는 훨씬 더 큰 규모와 강력한 테스트 시점 추론 능력을 갖춘 테스트 대상 프론티어 LLM들을 ZebraLogic-Hard 및 JSSP에서 능가했습니다. 우리는 코드베이스를 https://github.com/jwoosang1/blackboard-intelligence 에 오픈소스로 공개합니다.
전문가 혼합(MoE) 확산 언어 모델(DLM)은 유연한 병렬 디코딩과 향상된 모델 용량을 제공하지만, 방대한 수의 전문가 매개변수로 인해 상당한 계산 및 스토리지 비용이 발생합니다. 기존의 저랭크(low-rank) MoE 압축 방식은 주로 정적 인수분해와 고정된 랭크 할당에 의존하여 MoE DLM의 고유한 특성을 간과합니다. 구체적으로 본 논문에서는 두 가지 특성을 규명합니다. 첫째는 입력, 출력 및 전문가 모드 전반에 걸쳐 매개변수 중복성과 랭크 절단에 대한 민감도가 달라지는 '교차 모드 불균일 중복성'이며, 둘째는 핫(hot) 토큰과 콜드(cold) 토큰이 서로 다른 스펙트럼 특성과 전문가 활성화 패턴을 나타내는 '토큰별 활용 변동성'입니다. 이러한 문제를 해결하기 위해 본 논문에서는 MoE DLM을 위한 중요도 기반 토큰 인식 압축 프레임워크인 ITC-MoE를 제안합니다. ITC-MoE는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 첫째, 중요도 기반 적응형 터커 압축(IATC)은 활성화 및 그래디언트 중요도를 전문가 가중치 변환에 반영하고, 여러 모드에 걸쳐 전문가 가중치를 공동으로 인수분해하며, 고정된 매개변수 예산 내에서 적응적으로 랭크를 할당합니다. 둘째, 토큰 인식 보상 및 라우팅(TCR)은 압축에 민감한 핫 토큰에 경량 저랭크 보상을 적용하고, 집중된 라우팅 패턴을 보이는 콜드 토큰에 대해서는 후보 전문가 집합을 제한합니다. 매개변수 중복성과 토큰별 변동성에 맞춰 압축 용량과 추론 실행을 공동으로 적응시킴으로써, ITC-MoE는 생성 품질을 유지하면서도 MoE DLM의 계산 및 스토리지 비용을 크게 줄입니다. 예를 들어 SDAR-30B-A3B-Chat-b32에서 ITC-MoE는 30% 압축 예산 하에서도 MultiArith에서 96.33%의 정확도를 유지하는 동시에 최대 7.22배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/ITC-MoE 에서 공개되어 있습니다.
확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.
확산 대규모 언어 모델(dLLM)은 최근 기존 자기회귀(AR) 대규모 언어 모델(LLM)의 유망한 대안으로 부상했다. 양방향 어텐션과 병렬 디코딩을 활용함으로써 dLLM은 더 효율적인 생성을 가능하게 한다. 그러나 dLLM은 추론 시(학습 중에는 없음) 신중하게 설계된 디노이징 스케줄러를 필요로 하며, 그 선택은 생성 품질에 상당한 영향을 미친다. 신뢰도 기반 휴리스틱 스케줄러는 강력한 경험적 성능을 보여 왔지만, EOS Overflow와 Proximal Bias라는 두 가지 치명적인 실패 양상을 겪는다. 트랜스포머의 어텐션 패턴에 대한 심층 분석을 통해, 이러한 실패는 특정 위치가 유효하지 않은 토큰(예: [MASK] 및 [EOS])에 지나치게 높은 어텐션 가중치를 부여하여 잘못된 신뢰도 신호를 만들어내는 데서 비롯됨을 밝혔다. 이 통찰을 바탕으로, 유효한 어텐션 점수가 기존 신뢰도 기반 휴리스틱에 보완적 지침을 제공할 수 있음을 경험적 증거가 보여 주지만, 어떤 단일 지표도 모든 시나리오에서 일관되게 우수하지는 않아 최적의 디노이징 궤적이 맥락에 크게 의존함을 시사한다. 이 문제를 해결하기 위해 공분산 행렬 적응 진화 전략(CMA-ES)으로 최적화한 경량 진화 휴리스틱 스케줄러를 제안한다. 우리 스케줄러는 맥락적 mean-field 임베딩과 함께 여러 휴리스틱 특징을 동적으로 통합하며, 학습 가능 매개변수는 393개만 필요하다. LLaDA와 Dream에 대해 네 가지 추론 및 계획 벤치마크에서 평가한 결과, 우리 방법은 기존 휴리스틱, 블록 자기회귀 방법, 최근 최신(SOTA) 접근법을 포함한 강력한 기준선들을 일관되게 능가한다. 우리가 아는 한, 이는 지금까지 가장 매개변수 효율적인 신경 스케줄러이다. 코드는 https://github.com/RS2002/Evo-Denoise 에서 이용할 수 있다.
그래프 검색-증강 생성(GraphRAG)은 구조화된 엔티티 토폴로지를 활용하여 복잡한 추론에서 대규모 언어 모델(LLM)의 성능을 크게 향상시켜 왔다. 그러나 기존 프레임워크는 표준 자기회귀(autoregressive) 언어 모델에 크게 의존하며, 본질적인 순차 생성 특성이 전체 추론 효율을 심각하게 저해한다. 연속적인 병렬 정제(refine-in-parallel) 디코딩을 통해 대규모 병렬성을 제공하는 확산 언어 모델(DLM)에서 영감을 받아, 우리는 이산 공간에서 GraphRAG를 가속하는 것을 목표로 한다. 그러나 두 가지 과제로 인해 이는 결코 사소하지 않다. 첫째, 부분적으로 디노이즈된 초안은 매우 동적이고 불확실하여 동적 그래프 그라운딩(grounding)이 쉽지 않다. 둘째, 원시 디노이즈 상태는 본질적으로 노이즈가 많고 불안정하여, 동기식 그래프 검색과 다중 홉 집계는 계산 비용이 과도하다. 이를 위해 우리는 그래프 가이드 병렬 디코딩을 통해 확산 언어 모델링과 GraphRAG를 연결하는 새로운 프레임워크 LADDER를 제안한다. 구체적으로, (i) 부분 디노이즈 상태에서 목표 엔티티의 88%가 조기에 등장하며 최종 확정(commitment)이 평균 5.7–9.6스텝 앞당겨진다는 핵심 통찰에 기반하여, 이벤트 기반 자체 클로킹(self-clocking) 검색을 제안한다. 이 메커니즘은 그래프 연결 가능(graph-linkable) 엔티티 집합이 확장될 때만 그래프 검색을 동적으로 트리거하여, 학습된 게이트나 휴리스틱 임계값을 우회하는 비동기 자체 클로킹 정책을 만든다. (ii) 불완전 쿼리(incomplete-query) 그래프 전파 모듈은 전문 그래프 파운데이션 모델을 사용하여 새로 등장하는 엔티티 쿼리를 처리하고, 다중 홉 증거를 지속적으로 집계하여 병렬 예측을 선명하게 하고 전체 디코딩 수렴을 가속하도록 설계되었다. 세 가지 도전적인 다중 홉 QA 벤치마크에 대한 광범위한 실험에서 LADDER는 평균 정확 일치를 39.6%에서 45.2%로 높이면서 지연(latency)을 4.1배 감소시킨다.
강화학습은 대규모 언어 모델의 추론 개선에 효과적임이 입증되었지만, 마스크 디퓨전 언어 모델(Masked Diffusion Language Models, MDLM)로 이를 확장하는 것은 로그 가능도 추정의 난해함(intractability) 때문에 여전히 어렵다. 기존 접근법은 토큰 예측만을 모델링하여 이 로그 가능도를 근사하며, 생성 과정에서 위치가 언마스크되는 순서는 무시한다. MDLM 생성은 각 단계에서 두 가지 결정을 수반한다는 것을 관찰했다: 각 마스크된 위치에 어떤 토큰을 배치할지, 그리고 어떤 위치를 재마스크할지. 이를 2단계 행동 MDP로 형식화하고, 정책 그래디언트가 자연스럽게 토큰 항과 마스킹 항으로 분해됨을 보인다. 두 항의 최적화를 결합하면 수학적 추론 및 코딩 벤치마크에서 최첨단(state-of-the-art) 결과를 달성하며, GSM8K에서 87.1%, MBPP에서 53.4%의 점수를 기록한다.
확산 대규모 언어 모델(DLLM)은 병렬 디코딩을 통한 빠른 텍스트 생성의 가능성을 지닌 강력한 생성 모델로 부상하고 있다. 그러나 이러한 잠재력을 실제로 실현하는 것은 여전히 어렵다. 디코딩 단계 수를 줄이면 토큰 인수분해 오류(token factorization error)로 인해 출력 품질이 크게 저하되는 경우가 많기 때문이다. 이를 완화하기 위해, 우리는 소수 단계 학생 모델이 풀 스텝 교사 모델의 생성 궤적을 모방하도록 학습시키는 자기 지식 증류(self-distillation) 프레임워크를 제안한다. 우리는 궤적 수준의 지도(supervision)가 이 인수분해 오류를 이론적·실험적으로 완화하여 효과적인 소수 단계 디코딩을 가능하게 함을 보인다. 또한 교사 모델의 모드를 향한 모드 탐색(mode-seeking)을 장려하는 역방향 KL 목적함수인 DDO(Direct Discriminative Optimization)를 통합하여, 어려운 추론 과제에서 더욱 강력한 성능을 발휘한다. 추론 및 코드 생성 벤치마크 전반에 걸쳐, 우리의 방법은 소수 단계 디코딩과 풀 스텝 디코딩 간의 격차를 크게 줄인다. 소스 코드는 https://github.com/Tyrion58/T3D 에서 확인할 수 있다.
확산 언어 모델(DLM)의 고정 블록 학습과 추론 시 임의 구성 간의 불일치를 해결하기 위해, 접두 문맥 윈도우 구성을 확률 변수로 취급하여 전체 구성 공간에 걸쳐 노이즈 제거 리스크를 최적화하는 Adaptive Block Diffusion(ABD)을 제안한다. ABD는 아키텍처 변경 없이 단일 모델을 학습시켜 그리드 이탈 붕괴를 방지하고, 블록 크기와 perplexity 간 단조 관계를 회복하며 고정 블록 전문 모델과 동등하거나 우수한 성능을 달성한다.
확산 언어 모델(DLM)을 서빙할 때 신뢰도 기반 디노이징의 속도-품질 트레이드오프, 변동 부하에 따른 병렬화 수준 결정, 근사 KV 캐싱의 비균일 비용 문제를 해결하기 위해 클러스터 수준 서빙 시스템 DiLaServe를 제안한다. DiLaServe는 SLO 인식 신뢰도 임계값 조정과 적응형 부하 제어, 품질 인식 최적화 기반 동적 클러스터 재구성을 통해 기존 대비 SLO 달성률을 최대 56.6 퍼센트포인트 향상시키고 정확도 하락 1% 미만으로 종단 간 지연 시간을 최대 46% 단축한다.
대규모 언어 모델(LLM)은 자기회귀 생성을 통해 언어 모델링에 혁신을 일으켰으며, 광범위한 작업에서 강력한 성능을 가능하게 했습니다. 최근 디퓨전 언어 모델(DLMs)은 다음 토큰 예측이 아닌 반복적 노이즈 제거를 통해 텍스트를 생성하여 전체 시퀀스의 병렬 정제를 가능하게 하는 대안 패러다임으로 등장했습니다. 수많은 디퓨전 기반 아키텍처가 제안되었지만, 평가 프로토콜, 데이터셋, 추론 예산, 생성 하이퍼파라미터의 차이로 인해 그들의 능력을 비교하고 제공하는 상충 관계를 이해하기 어렵습니다. 본 연구에서는 최신 DLM에 대한 체계적인 실험적 분석을 제시합니다. 구체적으로, 추론, 코딩, 번역, 지식, 구조화된 문제 해결에 걸친 8개의 벤치마크에서 8개의 최첨단 DLM을 평가하며, 생성 품질과 계산 효율성을 모두 명시적으로 고려합니다. 다운스트림 평가 외에도, 노이즈 제거 단계, 컨텍스트 길이, 블록 크기, 병렬 언마스킹 전략을 포함한 주요 추론 시점 요소의 영향을 분석하고, 동일한 조건에서 학습된 소규모 모델의 통제된 비교를 통해 대규모 실험을 보완합니다. 우리의 분석은 다양한 작업, 아키텍처 및 추론 예산에 걸친 디퓨전 기반 언어 모델링의 강점과 한계를 강조합니다. DLM의 동작은 생성 시점 설계 선택지에 강력한 영향을 받으며, 이는 성능과 계산 효율성 사이의 뚜렷한 상충 관계로 이어진다는 것을 보여줍니다. 전반적으로, 우리의 연구는 현대 DLM의 능력과 배포 특성에 대한 실용적인 통찰을 제공합니다.