arXiv:2606.22976v2 cs.LG

빠르게 걷되 주의하라: 마스크 확산 모델에서의 병렬 샘플링 이해

Walk fast but be careful: Understanding Parallel Sampling in Masked Diffusion

Vansh Bansal, Cholyeon Cho, Syamantak Kumar, Sujay Sanghavi, Purnamrita Sarkar

제출 2026-06-22

한국어 초록

본 논문에서는 마스크 확산 모델(MDM, masked diffusion model)의 병렬 샘플링 전략을 연구하기 위한 검증 가능한 샌드박스로 그래프 상의 무작위 보행(random walk)을 활용한다. 고정된 그래프에서 생성된 무작위 보행 표본을 바탕으로 MDM을 학습(training)시킨다. 모델(model)에는 그래프와 전이 커널(kernel)이 전혀 주어지지 않으며, 이는 제어 가능하면서도 평가를 가능하게 하는 잠재 구조 역할을 한다. 본 프레임워크는 생성된 보행의 유효성 검증과 추정된 전이 커널을 통한 분포 충실도 측정 방식을 제공한다. 단순한 그래프를 통해, 최저 엔트로피와 같이 널리 쓰이는 점수를 기반으로 한 병렬 언마스킹(unmasking)이 무작위 병렬 샘플링보다 일관되게 우수한 것은 아님을 이론적으로 증명한다. 즉, 정확한 조건부 확률이 주어지더라도 성능은 그래프가 유도하는 조건부 의존성 구조에 결정적으로 좌우되며, 이는 스도쿠와 같은 벤치마크에서는 분리하여 파악하기 어려운 현상이다. 또한 시퀀스 길이에 대해 로그 수준의 스텝만을 소요하며, 학습된 주변 분포가 정확할 경우 무작위 보행에 대해 정확성이 증명되는 MDM용 훈련 불필요(training-free) 이분(bisection) 샘플러를 개발한다. 그래프 보행 태스크에 대한 실험을 통해 그래프 구조에 따라 서로 다른 병렬 샘플러의 성능이 더 우수함을 확인한다. 사전학습된 MDM에 대한 실험 결과, 이분 형태의 샘플러가 OpenWebText 생성 및 GSM8K, MBPP, HumanEval을 포함한 추론 벤치마크에서 뛰어난 속도-품질 트레이드오프를 제공함을 보여준다. 종합하면, 이러한 결과들은 그래프 보행을 통해 조건부 의존성이 병렬 MDM 샘플링의 핵심 원리임을 밝혀내고, 이 통찰을 언어 생성 및 추론으로 전이 가능한 효율적인 샘플러로 전환한다.

원문 초록

In this paper, we use random walks on graphs as a verifiable sandbox for studying parallel sampling strategies in masked diffusion models (MDMs). We train an MDM on random walk samples from a fixed graph. The graph and transition kernel are never shown to the model and serve as latent structure that is both controllable and enables evaluation. The framework provides a validity check for generated walks and a measure of distributional fidelity through the estimated transition kernel. Using simple graphs, we theoretically prove that parallel unmasking via widely used scores such as lowest entropy is not uniformly better than random parallel sampling; even with exact conditional probabilities, performance critically depends on the conditional dependence structure induced by the graph, a phenomenon difficult to isolate in benchmarks like Sudoku. We also develop training-free bisection samplers for MDMs, which take logarithmically many steps in the sequence length and are provably exact for random walks if the learned marginals are exact. Experiments on graph-walk tasks confirm that different parallel samplers perform better on different graph structures. Experiments on pretrained MDMs show that bisection-style samplers provide strong speed-quality tradeoffs on OpenWebText generation and reasoning benchmarks including GSM8K, MBPP, and HumanEval. Together, these results use graph walks to uncover conditional dependence as a key principle of parallel MDM sampling and translate this insight into efficient samplers that transfer to language generation and reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.22976v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13834v1cs.LG공통 태그 Language Modelling, Text Generation

연속 확산 언어 모델의 설계 공간에 관한 연구

On the Design Space of Continuous Diffusion Language Models

연속 확산 언어 모델(CDLM)은 빠른 샘플링 및 제어 가능한 생성을 포함하여 연속 흐름 모델링의 이점을 언어 영역에 가져올 것으로 기대를 모으고 있습니다. 이 분야는 빠르게 발전해 왔으며, CDLM의 성능은 이산 확산 모델과 견줄 만한 수준에 이르기 시작했습니다. 그러나 이미지나 비디오와 같은 연속 양식(modality)과 달리, CDLM을 학습(training)할 때 중요한 핵심 요인(lever)에 대한 우리의 이해는 여전히 제한적입니다. 본 연구에서는 이러한 요인 중 두 가지, 즉 자기 조건화(self-conditioning)와 임베딩(embedding) 기하학에 주목하고 그 이면의 메커니즘을 밝혀내어, 비용 효율적이고 더욱 효과적인 설계를 제안합니다. 먼저, 자기 조건화가 학습 과정에서는 드물게 나타나는 추론(inference) 유사 상태에 모델을 노출시킴으로써 학습과 추론 간의 불일치를 바로잡는다는 점을 보입니다. 이러한 성능 향상은 추가적인 순전파(forward pass) 없이 2단계 보간기(interpolant)인 $\mathrm{DoubleCat}$을 통해 회복될 수 있으며, 이는 TinyGSM 정확도를 세 배 이상 향상시킵니다. 또한 자기 조건화는 큰 노름(norm)의 가우시안에 지배되는 토큰을 인식하는 데도 도움을 주는데, 이는 토큰 식별 가능성(token identifiability)으로 알려진 문제입니다. 이를 직접 해결하기 위해 $\mathrm{DoubleCat}$에 이산적 공개(discrete reveals)를 도입한 $\mathrm{SemiCat}$을 제안하며, 이는 표준 학습 하이퍼파라미터와 튜닝된 샘플러를 사용하여 TinyGSM에서 $49.94\%$를 달성해 이산 확산 수준의 성능을 달성합니다. $1.7$B 규모에서 $\mathrm{SemiCat}$은 6개의 가능도(likelihood) 기반 평가 중 4개에서 이산 확산을 능가하며, 무조건부 생성에서는 원-핫 흐름(one-hot flows)을 능가합니다. 임베딩 공간에서 교차 엔트로피(cross-entropy)는 디코딩 오류율이 원-핫 방식과 밀접하게 일치하는 기하학적 구조로 임베딩을 유도한다는 사실을 발견했습니다. 나아가 비동기 노이즈 스케줄을 포함한 하이브리드 손상 과정 및 노이즈 스케줄 등 다양한 추가 옵션을 간략히 탐험합니다. 본 연구의 탐험이 연구 커뮤니티가 CDLM의 설계 공간을 더 잘 이해하고 발전시키는 데 기여할 것으로 기대합니다.

arXiv:2610.10623v1cs.LG공통 태그 Language Modelling, Code Generation

순환적 자기 개선: 루프 언어 모델을 위한 동적 크로스-루프 온-정책 증류

Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models

루프 언어 모델(LoopLM)은 순환 계산 단계 전반에 걸쳐 공유 매개변수(parameter)를 재사용함으로써 추론을 스케일링하는 매개변수 효율적인 접근 방식을 제공합니다. 이러한 유망성에도 불구하고, LoopLM의 효과적인 사후 학습(post-training)은 여전히 어렵습니다. 기존 접근 방식들은 루프 전반으로 확장하기에 희소하거나 비용이 많이 드는 보상(reward) 기반 감독을 제공하거나, 외부 교사 또는 특권 정보에 의존하여 교사의 가용성이 제한되거나 교사-학생 간 문맥 불일치를 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 LoopLM 내의 추가적인 순환 계산을 자체 감독의 원천으로 활용하는 크로스-루프 온-정책(on-policy) 지식 증류(distillation) 프레임워크인 LoopOPD를 소개합니다. LoopOPD는 동결된 최종 루프 정책을 학생 생성 롤아웃에 대한 중간 루프 학생의 계산 특권 교사로 활용하여, 외부 교사나 특권 정보 없이도 조밀한 감독을 제공합니다. 더 나아가 공유 모델 매개변수가 업데이트됨에 따라 최종 루프 교사를 지속적으로 갱신하여 순환적 자기 개선을 가능하게 하는 Dynamic LoopOPD(D-LoopOPD)를 제안합니다. 본 논문에서는 증류 업데이트가 루프 깊이 전반에 걸쳐 어떻게 전파되는지 특성화하고, 단일 업데이트가 두 루프 깊이 모두에서 동시적인 국소 개선을 도출하는 충분조건을 유도합니다. Ouro-Thinking 모델을 대상으로 한 실험에 따르면 LoopOPD는 수학적 추론을 향상시키며, D-LoopOPD는 동적 교사 업데이트를 통해 추가적인 성능 향상을 달성합니다. 수학 데이터로만 학습(training)되었음에도 불구하고, 결과 모델은 일반 추론 및 코드 생성 벤치마크에서도 향상된 성능을 보여 순환 계산이 LoopLM의 효과적인 감독 원천으로 기능할 수 있음을 입증합니다. 코드와 모델 체크포인트는 논문 채택 시 공개될 예정입니다.

arXiv:2608.10137v2cs.CL공통 태그 Language Modelling, Code Generation

파서는 이미 알고 있다: 제약된 디코딩에서의 경량 바이어스 보정

The Parser Already Knows: Lightweight Bias Correction in Constrained Decoding

문법 제약 디코딩(GCD)은 매 단계에서 규칙을 따르지 않는 토큰을 마스킹하여 언어 모델(LM)이 구문론적으로 유효한 출력을 생성하도록 강제합니다. 그러나 마스킹은 현재까지 각 토큰이 유효한지만 확인할 뿐이므로, 완성된 출력에 대한 결과 분포는 문법을 조건으로 하는 LM 자체의 분포와 달라져 유효하지만 최적은 아닌 출력 쪽으로 생성을 편향(bias)시킵니다. 온라인 샘플링을 통해 이러한 분포를 복원할 수 있지만 비용이 많이 드는 반복적 재샘플링을 거쳐야만 합니다. 본 연구의 핵심 통찰은 GCD 도구가 이미 유지하고 있는 파서 및 렉서 상태가 향후의 문법적 유효성에 대한 강력한 신호를 지니고 있다는 점입니다. 본 논문에서는 이러한 구문 및 어휘 상태와 후보 다음 토큰들을 조건으로 하여 LM의 다음 토큰 확률을 보정하는 경량 오프라인 학습 방식인 SHIM을 소개합니다. GCD 도구가 이미 이러한 상태를 계산하므로 SHIM은 LM 자체를 수정하지 않고 그대로 유지합니다. 비트 벡터 및 text-to-SQL 문법 전반에서 이 보정 방식은 마스킹 속도에 가깝게 작동하면서도, 마스킹 및 온라인 샘플링에 비해 LM의 문법 조건부 분포와의 격차를 실질적으로 좁힙니다. 다음 토큰만 확인하는 변형 모델조차도 두 베이스라인 모두를 개선할 수 있어, 파서 상태를 노출하지 않는 GCD 도구에서도 SHIM을 활용할 수 있습니다.

arXiv:2610.02657v1cs.LG공통 태그 Language Modelling, Code Generation

컨텍스트 타워 변환은 생성 성능을 보존하고 동결은 지식을 유지한다: MoE LLM의 저예산 AR-투-디퓨전 변환

Context-Tower Conversion Preserves Generation While Freezing Retains Knowledge: Low-Budget AR-to-Diffusion Conversion of MoE LLMs

사전학습된 자기회귀(AR) 모델을 디퓨전 언어 모델(dLLM)로 변환하면 새로운 모델을 사전학습하지 않고도 병렬 생성이 가능해진다. 기존에 발표된 변환 방법들은 학습 데이터 양에서 약 세 자릿수(1000배) 차이를 보이며, 공통된 프로토콜 하에서 비교된 적이 없다. 우리는 동일한 300억(30B) 매개변수 규모의 전문가 혼합(MoE) 부모 모델로부터 얻은 두 가지 변환 방식을 비교하며, 코퍼스, 지도 학습 토큰 예산, 학습 가능한 매개변수 집합, 평가 하니스(harness)는 고정한 채 각 방법은 고유한 학습 레시피를 따르도록 했다. 제자리(in-place) 모델은 디노이징(denoising) 및 표현 정렬(representation-alignment) 손실을 사용하여 부모 모델의 가중치 중 일부를 업데이트하는 반면, 동결 타워(frozen-tower) 모델은 부모 모델의 동결된 코잘(causal) 복사본에 대한 크로스 어텐션을 통해 조건화된다. 10억(1B)개의 학습 토큰을 사용했을 때, 동결 타워 모델은 HumanEval pass@10에서 71.60점을 기록한 반면 제자리 모델은 6.19점에 그쳤으며, 이는 11.6배의 성능 향상이다. 같은 예산에서 동결 타워 모델은 부모 모델의 GSM8K 점수의 95%와 MMLU-Pro 점수의 99%를 유지한다. 덴스(dense) 부모 모델을 사용한 실험에서도 HumanEval 점수 격차가 동일하게 재현되었다. 약 5억(500M) 토큰 규모에서 투 타워(two-tower) 구조 내에서는, 컨텍스트 타워를 동결했을 때가 학습시켰을 때보다 MMLU-Pro 성능을 상당히 더 많이 유지하는 반면, HumanEval 점수는 두 경우 모두 비슷하게 관찰되었다. 우리의 이론적 분석에 따르면, 두 변환 방식 모두 하드 어텐션 마스크(hard attention mask)와 라운드당 한 위치씩 왼쪽에서 오른쪽으로 확정하는 방식 하에서 AR 부모 모델에 대한 정확한 샘플러(exact sampler)를 포함한다. 동일한 손실 함수 하에서, 동결은 컨텍스트 상태(context states)를 통한 그래디언트 기여를 제거한다. 또한, 평가 프로토콜은 이미 발표된 5000억(500B) 토큰 규모의 변환 모델의 점수에 과제별로 양방향 모두 상당한 영향을 미치는 반면, 그 AR 부모 모델의 점수는 3점 미만의 차이만 보이므로, dLLM들을 비교하려면 공통된 프로토콜이 필요하다. 이러한 결과는 테스트된 저예산(low-budget) 환경에서 동결 타워 구성이 제자리 변환보다 부모 모델의 생성 성능을 상당히 더 많이 유지함을 보여준다.

arXiv:2609.27396v1cs.CL공통 태그 Text Generation, Code Generation

병렬 Drafter가 병렬 추측 디코딩을 만날 때

When Parallel Drafter Meets Parallel Speculative Decoding

DSpark 스타일의 병렬 drafter는 추측 디코딩(speculative decoding)을 매우 효과적으로 만들었지만, draft 단계는 여전히 매 라운드 임계 경로(critical path)에서 직렬로 실행된다. 병렬 추측 디코딩(PSD)은 drafting과 검증(verification)을 겹치게 하지만, 기존 방법은 수용된 접두 문맥(prefix)과 보너스 토큰(bonus token)을 미리 추측해야 하며, 잘못된 추측은 전체 배치를 직렬 drafting으로 되돌린다. 우리는 효과적인 병렬 drafter를 재사용하면서도 매 라운드마다 백본–검증 겹침을 보장해 이러한 확률적 fallback을 완전히 없애는 PSD 프레임워크인 DPara를 제안한다. target이 검증하는 동안 DPara의 diffusion 백본은 보너스를 정하지 않은 채 모든 acceptance boundary에 대한 draft representation을 미리 계산하고, 경량 자기회귀(autoregressive) head가 드러난 검증 결과와 대응하는 사전 계산 representation을 결합해 다음 라운드의 draft 토큰을 거의 즉시 내보낸다—지배적인 백본 forward를 검증과 완전히 병렬화하고 무시할 수 있는 head 비용만 직렬로 남긴다. Qwen3-8B와 Qwen3-14B에 대해 수학·코딩·채팅 벤치마크 7개에서의 실험은 DPara가 자기회귀 디코딩 대비 평균 $3.21\times$ 및 $3.52\times$ 속도 향상을 달성하며, 가장 강한 직렬·병렬 추측 디코딩 baseline을 모두 능가함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.