arXiv:2602.11133v3 cs.LG

적시 종료: 확산 언어 모델을 위한 토큰 수준 조기 종료

Just on Time: Token-Level Early Stopping for Diffusion Language Models

Zakhar Kohut, Severyn Shykula, Mykola Vysotskyi, Serhii Dmytryshyn, Dmytro Khamula, Michal Zakrzewski, Damian Rynczak, Jacek Małecki, Taras Rumezhak, Volodymyr Karpiv

제출 2026-02-11

저자 비고

arXiv Comments

Under review

한국어 초록

확산 언어 모델(Diffusion language models)은 반복적인 정제 과정을 통해 텍스트를 생성하지만, 많은 토큰이 최종 노이즈 제거(denoising) 단계에 도달하기 훨씬 전에 안정화되기 때문에 종종 계산상 비효율적입니다. 본 논문에서는 각 위치에서 독립적으로 수렴(convergence)을 식별하는 학습(training)이 필요 없는 토큰 수준 조기 종료(early stopping) 접근 방식을 소개합니다. 제안하는 방법은 모델(model)의 예측과 로컬 컨텍스트에서 파생된 경량 신호를 활용하여 개별 토큰(token)을 확정할 수 있는 시점을 동적으로 결정합니다. 이를 통해 작업별 미세조정(fine-tuning) 없이도 적응형 토큰별 동결(freezing)이 가능해지며, 필요한 총 확산 단계 수를 크게 줄입니다. 수학적 추론, 일반 질의응답, 과학적 이해를 아우르는 다양한 벤치마크 전반에서 본 접근 방식은 생성 품질을 보존하면서도 상당한 효율성 향상을 달성합니다.

원문 초록

Diffusion language models generate text through iterative refinement, a process that is often computationally inefficient because many tokens reach stability long before the final denoising step. We introduce a training-free, token-level early stopping approach that identifies convergence independently at each position. Our method leverages lightweight signals derived from the model's predictions and local context to dynamically determine when individual tokens can be finalized. This yields adaptive per-token freezing without task-specific fine-tuning, substantially reducing the total number of diffusion steps required. Across diverse benchmarks, spanning mathematical reasoning, general question answering, and scientific understanding, our approach achieves substantial efficiency gains while preserving generation quality.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.11133v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13834v1cs.LG공통 태그 Language Modelling, Denoising, diffusion language models

연속 확산 언어 모델의 설계 공간에 관한 연구

On the Design Space of Continuous Diffusion Language Models

연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.

arXiv:2610.01296v1cs.AI공통 태그 Language Modelling, Computational Efficiency, diffusion language models

ITC-MoE: MoE 확산 언어 모델을 위한 중요도 기반 토큰 인식 압축

ITC-MoE: Importance-guided Token-aware Compression for MoE Diffusion Language Models

전문가 혼합(MoE) 확산 언어 모델(DLM)은 유연한 병렬 디코딩과 향상된 모델 용량을 제공하지만, 방대한 수의 전문가 매개변수로 인해 상당한 계산 및 스토리지 비용이 발생합니다. 기존의 저랭크(low-rank) MoE 압축 방식은 주로 정적 인수분해와 고정된 랭크 할당에 의존하여 MoE DLM의 고유한 특성을 간과합니다. 구체적으로 본 논문에서는 두 가지 특성을 규명합니다. 첫째는 입력, 출력 및 전문가 모드 전반에 걸쳐 매개변수 중복성과 랭크 절단에 대한 민감도가 달라지는 '교차 모드 불균일 중복성'이며, 둘째는 핫(hot) 토큰과 콜드(cold) 토큰이 서로 다른 스펙트럼 특성과 전문가 활성화 패턴을 나타내는 '토큰별 활용 변동성'입니다. 이러한 문제를 해결하기 위해 본 논문에서는 MoE DLM을 위한 중요도 기반 토큰 인식 압축 프레임워크인 ITC-MoE를 제안합니다. ITC-MoE는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 첫째, 중요도 기반 적응형 터커 압축(IATC)은 활성화 및 그래디언트 중요도를 전문가 가중치 변환에 반영하고, 여러 모드에 걸쳐 전문가 가중치를 공동으로 인수분해하며, 고정된 매개변수 예산 내에서 적응적으로 랭크를 할당합니다. 둘째, 토큰 인식 보상 및 라우팅(TCR)은 압축에 민감한 핫 토큰에 경량 저랭크 보상을 적용하고, 집중된 라우팅 패턴을 보이는 콜드 토큰에 대해서는 후보 전문가 집합을 제한합니다. 매개변수 중복성과 토큰별 변동성에 맞춰 압축 용량과 추론 실행을 공동으로 적응시킴으로써, ITC-MoE는 생성 품질을 유지하면서도 MoE DLM의 계산 및 스토리지 비용을 크게 줄입니다. 예를 들어 SDAR-30B-A3B-Chat-b32에서 ITC-MoE는 30% 압축 예산 하에서도 MultiArith에서 96.33%의 정확도를 유지하는 동시에 최대 7.22배의 엔드투엔드 속도 향상을 달성합니다. 코드는 https://github.com/lianjunl13-sudo/ITC-MoE 에서 공개되어 있습니다.

arXiv:2609.28272v1cs.CL공통 태그 Denoising, Computational Efficiency, diffusion language models

효율적인 추론을 향하여: 확산 언어 모델을 위한 인과적 지름길 학습

Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models

확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.

arXiv:2610.15965v1cs.LG공통 태그 Language Modelling, Computational Efficiency

반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프

Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.

arXiv:2610.13568v1cs.LG공통 태그 Language Modelling, Computational Efficiency

유리 함수 기반으로 선형화된 다층 퍼셉트론

Rationally Linearized MLPs

본 논문에서는 표준 활성화 함수의 저차수 유리 근사(rational approximation)를 활용하여 다층 퍼셉트론(MLP)을 효율적으로 선형화하는 새로운 접근법인 RaLiMPs(Rationally Linearized Multilayer Perceptrons)를 제시합니다. 다항식 기반 MLP 선형화에서 영감을 받아, 유리 근사가 훨씬 낮은 차수에서도 정확한 표현을 제공할 수 있음을 보입니다. RaLiMPs는 이러한 근사를 활용하여 좁은 병목(bottleneck)을 갖는 커널(kernel) 표현을 구성함으로써 MLP 계층 전반에 걸친 효율적인 합성을 가능하게 합니다. 또한 도출된 근사에 대한 이론적 보장을 제공하며, 암시적 3D 모델부터 대규모 언어 모델(LLM)에 이르는 다양한 응용 분야에서 RaLiMPs를 평가합니다. 실험 결과, RaLiMPs가 추론 비용을 대폭 줄이면서도 경쟁력 있거나 향상된 정확도를 달성하여 유리한 정확도-효율성 트레이드오프를 보여줌을 입증합니다.

arXiv:2610.13674v1stat.ML공통 태그 Language Modelling, Computational Efficiency

모든 차원이 동등하지는 않다: 그룹화된 이차 커널을 이용한 이상치 인식 어텐션 선형화

Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels

소프트맥스(softmax) 어텐션을 선형화하는 것은 효율적인 트랜스포머(Transformer) 추론을 달성하는 경로를 제공하지만, 사전학습된 어텐션을 보존하는 것은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 표준 선형화 기법들이 간과해 온 중요한 근사 오차 원인을 규명합니다. 즉, 소수의 이상치 차원이 쿼리-키 내적에 불균형적으로 크게 기여하며 근사 오차의 상당 부분을 차지한다는 점입니다. 이러한 이질성에 착안하여, 본 논문에서는 이차 어텐션 근사를 구성하기 위한 차원 인식 기법인 이상치 인식 어텐션 선형화(Outlier-Aware Attention Linearization, OAL)를 제안합니다. 2차 테일러 근사에서 출발하여, 개별 쿼리-키의 기여를 명시적으로 만드는 아다마르 곱(Hadamard-product) 정식을 도입합니다. 이 정식은 전역적으로 공유되는 계수를 완화하여 분리 가능한 평가 방식을 유지하면서도 차원별 선형 항과 차원 간 이차 상호작용을 지원합니다. 적은 수의 파라미터로 이러한 유연성을 유지하기 위해, OAL은 기여도 규모가 유사한 차원들을 묶어 계수를 공유하도록 하는 동시에 소수의 이상치는 별도로 처리할 수 있도록 합니다. 이를 통해 생성된 양의 이차 커널은 사전학습된 어텐션 출력을 기준으로 보정되며, 고정된 헤드 차원에 대해 시퀀스 길이에 선형인 시간 복잡도로 계산이 가능합니다. Qwen2.5-0.5B 모델에서 OAL은 DiJiang 대비 고정된 어텐션 출력의 상대 MSE를 약 8.9% 감소시킵니다. 중간 층의 어텐션 모듈을 교체하고 LoRA를 통해 커널 계수를 공동으로 미세조정(fine-tuning)하면, 학습된 전역 이차 커널 방식과 비교해 WikiText-103 퍼플렉시티(perplexity)를 31.71에서 27.50으로 낮추는 동시에 PIQA, HellaSwag, ARC-E에서의 정확도를 향상시킵니다. 이러한 결과는 어텐션 근사와 사전학습 모델 변환 모두에서 이상치 인식 차원 그룹화의 유효성을 입증합니다. 코드는 https://github.com/wuqianyue09/OAL 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.