We introduce sticky jump diffusions (SJDs), continuous-time Markov processes on $\mathbb{R}^d$ whose discrete anchors are token embeddings. In forward time, anchors release their mass at a hazard rate and the released mass diffuses in the continuous ambient space; time reversal couples a score-driven SDE with a sticky jump kernel whose rate and destination are fixed by flux balance with the forward law. We estimate the score and the per-anchor reverse hazards from a single denoising classifier via denoising hazard matching, the hazard analogue of denoising score matching, with simulation-free cross-entropy training. SJD recovers masked diffusion, continuous diffusion, and hybrid diffusion as limits. Its reversal explains features that each family treats as given: the mask of masked diffusion carries no evidence about the source token because the unsticking kernel of every anchor collapses to the same absorbing point; the terminal projection of continuous diffusion is required due to the absence of atoms in its forward marginal, without which flux balance yields no reverse jumps; and the update rules of hybrid diffusion (commit rate, destination, and drift) all follow from flux balance rather than from separate design. Beyond these limits, the unsticking kernel becomes a design space: a cross-position blending corrupts each position toward a blend of its neighbors' clean values or embeddings, turning dependency structure such as spatial locality or a constraint graph into an inductive bias of the corruption itself, and improves over the identity-kernel hybrid on CIFAR-10, Text8, and Sudoku.
마스크 확산(masked diffusion) 모델은 이산 분포를 위한 대표적인 생성 모델이다. 표준적인 자기회귀(autoregressive) 샘플링과 달리, 이 모델은 여러 좌표를 병렬로 드러내며 각 블록의 결합 조건부 법칙을 1차원 좌표 조건부들의 곱으로 근사한다. 통상적으로 타우 리핑(tau-leaping)이라 불리는 이러한 절차는 계산 비용을 줄이지만, 완벽하게 학습된 예측기가 주어지더라도 인수분해 오차($\varepsilon_\text{fact}$)를 유발한다. 본 연구에서는 고정된 샘플링 예산 내에서 $\varepsilon_\text{fact}$를 최소화하기 위해 노이즈 제거 스케줄을 선택하는 방법에 초점을 맞추어, 생성 정확도와 계산 비용 사이의 상충관계를 분석한다. 이를 위해 스케줄과 타깃의 의존성 구조를 분리하는 $\varepsilon_\text{fact}$의 정확한 적분 표현을 확립하고 이를 의존성 밀도 $ρ$로 요약한다. 이 표현식은 최적 스케줄에 대한 재귀적 정상성 방정식을 도출하며, $ρ$의 추정 오차가 스케줄 선택에 미치는 영향을 정량화할 수 있게 한다. 차원 $N$과 샘플링 예산이 증가함에 따라 최적 스케줄의 특성을 규명하고, 결정론적 플래너 대비 무작위 블록 크기의 비용을 정량화한다. 또한 본 연구는 근본적인 이분법을 제시한다. 즉, $N\to\infty$일 때 $ρ$가 엄격하게 양인 연속 프로파일로 균등 수렴하면 스케줄 최적화는 $\varepsilon_\text{fact}$의 최고차 계수만 개선할 수 있는 반면, $ρ$가 퇴화하면 스케줄 최적화가 점근적 차수 자체를 개선할 수 있음을 보인다. 정상 과정(stationary process) 및 교환 가능 혼합 모델에 기반한 예시들을 통해 이러한 영역들을 실증한다.
텍스트 음성 변환(TTS)을 위한 확산 언어 모델(Diffusion language model)은 두 가지 형태의 연산, 즉 모델 깊이(파라미터 수)와 정제 스텝(추론 예산)을 결합합니다. 본 연구에서는 이 두 요소가 여러 성능 전반에 걸쳐 동일하게 확장(scale)되는지 질문을 던집니다. 2,000시간의 음성 데이터로 깊이(1,900만~1억 3,300만 파라미터, 3개 시드)를 다양화한 15개의 마스크 확산 코덱 TTS 모델을 학습하고, 추론 시 정제 스텝 T를 [1, 16] 범위에서 스윕(sweep)하며 174명의 미보유(held-out) 화자에 대해 ASR 단어 오류율(명료도)과 화자 검증(화자 동일성)을 통해 제로샷 합성을 측정합니다. 측정된 하한선 대비 정제는 명료도 범위의 86.2%를 좁히지만 화자 동일성 범위는 46.4%만 좁혀, 여러 오류 지표 전반에서 일관되게 나타나는 1.86배의 비대칭성을 보입니다. 3배 및 6배 스케줄로 재학습하면 이 격차가 완화되기는 하지만(1.84배에서 1.36배, 1.23배로 감소) 역전되지는 않는데, 이는 명료도가 스텝 수에 따라 포화되는 반면 화자 동일성은 계속 개선되기 때문입니다. Best-of-K 탐색은 정제가 실패하는 부분에서 화자 동일성을 회복하며, 네 가지 독립된 인코더 전반에서 64.6~79.0%의 승률을 달성합니다. 깊이와 스텝은 상호 대체 가능하지 않으며, 분리 가능한 B(d)B(T) 모델이 대체 모델보다 유의미하게 더 잘 적합합니다(Delta AICc=+69.3). 분석 결과 남아 있는 화자 동일성 결손의 62%는 생성기가 아닌 코덱에 존재하는 것으로 나타났습니다. 결론적으로 정제와 깊이는 서로 다른 병목을 겨냥하므로 별도로 최적화되어야 합니다.
자기회귀(autoregressive) 음성 합성은 흔히 좌에서 우(left-to-right) 순서를 채택하지만, 생성 순서는 모델링 선택 사항 중 하나입니다. 본 연구에서는 위치의 마스크를 점진적으로 해제하여 학습(training) 및 추론(inference) 과정에서 임의의 디코딩 순서를 허용하는 마스크드 디퓨전(masked diffusion) 프레임워크를 통해 디코딩 순서를 조사합니다. 항등 순열과 무작위 순열 사이를 보간함으로써, 디코딩 순서의 무작위성이 음성 품질에 영향을 미친다는 것을 보여줍니다. 더 나아가 \texttt{l2r} 및 \texttt{r2l}과 같은 고정 전략을 Top-$K$와 같은 적응형 전략과 비교하여, 지배적인 좌에서 우 방식을 포함한 고정 순서 디코딩이 차선책이며 적응형 디코딩이 더 나은 성능을 낸다는 점을 발견했습니다. 마지막으로 마스크드 디퓨전은 이산적(discrete) 입력을 필요로 하므로 음향 표현을 양자화(quantization)하였으며, 1비트 양자화만으로도 상당히 고품질의 음성을 지원할 수 있음을 확인했습니다.
마스크드 디퓨전 모델(MDM)은 언어 모델링에서 자기회귀 모델(ARM)에 대한 유망한 대안으로 부상했다. 그러나 MDM은 ARM보다 상당히 더 느리게 학습하는 것으로 알려져 있으며, MDM을 더 큰 모델로 스케일링할 때 문제가 될 수 있다. 따라서 우리는 다음 질문을 던진다: 최종 성능을 유지하면서 표준 MDM 학습을 어떻게 가속할 수 있는가? 이를 위해, 우리는 먼저 MDM 학습이 느린 이유에 대한 상세한 분석을 제공한다. 우리는 주요 요인이 언어의 국소성 바이어스(locality bias)임을 발견한다: 토큰에 대한 예측 정보가 인접한 위치에 집중되어 있다. 우리는 이 바이어스가 학습을 어떻게 느리게 하는지 추가로 조사하고, 학습 전략으로서 종 모양 시간 샘플링(bell-shaped time sampling)이라는 간단하면서도 효과적인 해결책을 제안한다. 주목할 점은, 우리의 학습 방법으로 학습된 MDM이 One Billion Word Benchmark(LM1B)에서 표준 학습보다 최대 $\sim4\times$ 빠르게 동일한 검증 음의 로그 가능도(NLL)에 도달한다는 것이다. 우리는 또한 다양한 벤치마크에서 생성 perplexity, 제로샷 perplexity, 다운스트림 과제 성능의 더 빠른 개선을 보여준다.
우리는 확률적 제어(stochastic control) 접근법을 통해 이산 상태 공간과 잠재적으로 임의의 행동 공간을 갖는 연속 시간 강화학습(RL)을 공식화하며, 상태 역학(state dynamics)은 제어된 연속 시간 마르코프 연쇄(CTMC)로 모델링한다. 정책 최적화 문제를 고려하고 해당 정책 그래디언트 방법을 유도하여, 연속 시간 근접 정책 최적화(PPO) 및 그룹 상대 정책 최적화(GRPO) 변형에 이른다. 주요 응용으로, 점수 기반(score-based) 이산 확산 모델의 미세조정을 위한 완전한 연속 시간 RL 프레임워크를 개발한다. 제안된 프레임워크는 보상 신호에 대한 미분 가능성(differentiability)을 요구하지 않고 보상 기반 최적화를 가능하게 한다. 기존 GRPO 기반 접근법이 종단 보상(terminal reward)만에 의존하는 것과 대조적으로, 우리의 공식화는 노이즈 제거 궤적(denoising trajectory) 전반에 걸쳐 중간 보상 또는 advantage 신호를 통합할 수 있다. 중요하게도, 마스크 확산 모델(MDM)에 특화될 때, 우리 프레임워크는 어휘 단체(vocabulary simplex) 위에서 해석적으로 다룰 수 있는 확률 비(probability ratios)를 갖는 풍부한 정책 매개변수화 클래스를 포괄하며, MDM에서의 탐험(exploration)과 정책 최적화에 대한 통합적 관점을 제공한다. 마스크 확산 대규모 언어 모델(dLLM)에 대해서는 계산상 prohibitive한 궤적 우도(trajectory likelihood)를 효율적으로 추정하고 위치별 확률 비 계산의 계산 비용을 줄이기 위한 궤적 부분표본(trajectory subsampling) 기법을 추가로 제안한다. 저차원 엔트로피 정규화 최적화 문제와 수학적 추론 및 코딩 과제에서 dLLM의 RL 사후 학습(post-training) 모두에서 우리 방법의 효과를 입증한다.
본 논문은 멀티모달 이해 및 생성을 위한 통합 마스크드 확산 모델(Masked Diffusion Model, MDM)인 Lavida-O를 제안한다. MMaDa, Muddit와 같이 단순한 이미지 수준 이해 작업과 저해상도 이미지 생성만 지원하는 기존 멀티모달 MDM과 달리, Lavida-O는 이미지 수준 이해, 객체 그라운딩(object grounding), 이미지 편집, 고해상도(1024px) 텍스트-이미지 합성을 가능하게 하는 단일 프레임워크를 제시한다. Lavida-O는 경량 생성 분기와 더 큰 이해 분기를 결합한 새로운 Elastic 혼합-트랜스포머(Elastic Mixture-of-Transformers, Elastic-MoT) 아키텍처를 도입하며, 토큰 압축, 범용 텍스트 조건화, 계층적 샘플링(stratified sampling)을 통해 효율적이고 고품질의 생성을 지원한다. Lavida-O는 이미지 생성 및 편집 작업에 계획(planning)과 반복적 자기 반성(iterative self-reflection)을 추가로 통합하여, 이해 능력으로 생성 품질을 자연스럽게 향상시킨다. Lavida-O는 RefCOCO 객체 그라운딩, GenEval 텍스트-이미지 생성, ImgEdit 이미지 편집 등 광범위한 벤치마크에서 최첨단 성능을 달성하며, Qwen2.5-VL, FluxKontext-dev와 같은 기존 자기회귀 모델 및 연속 확산 모델을 능가하면서 추론에서 상당한 속도 향상을 제공한다. 이러한 진전은 Lavida-O를 확장 가능한 멀티모달 추론 및 생성의 새로운 패러다임으로 자리매김한다.
인간 인지는 이해와 생성을 분리하지 않는다. 칠판 앞의 교사는 말과 그림을 함께 하며, 각 모달리티가 서로를 재형성한다. 본 논문에서는 이러한 결합 루프를 인공 시스템에 도입한다. 마스크 확산 모델(MDM)은 이 작업에 이상적으로 적합하지만, 기존 샘플러들은 텍스트와 이미지를 교차 디코딩하거나, 이전 단계 이력만 공유하고 동일 단계 내에서 다른 모달리티의 최신 결정은 공유하지 않는 병렬 분기에서 독립적으로 업데이트할 뿐이다. MDM의 재마스킹(remasking) 불가와 결합되면 교차 모달 모순은 감지되거나 복구되지 않는다. 우리는 한 모달리티의 전이율이 교차 모달 어텐션으로 가중된 다른 모달리티의 신뢰도 점수의 함수가 되는 프레임워크인 자기 교정 결합 마르코프 점프 과정(SC-CMJP)을 제안한다. 또한 재마스킹 점프는 교차 모달 증거가 결정에 반대될 순간 해당 확정을 철회한다. SC-CMJP와 함께, 결합 멀티모달 생성을 위한 새로운 학습 없는(training-free) 단일 패스 샘플러인 CO₂Jump(Self-Correcting Coupled Jump)를 제안한다. 학습 및 평가를 위해 JEdit-1M, JMaze-200K, JNono-200K의 세 가지 대규모 결합 멀티모달 생성 코퍼스를 구축했으며 공개할 예정이며, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 벤치마크를 함께 제공한다. CO₂Jump는 이미지 이해 및 편집뿐 아니라 시각적 추론(미로 및 논노그램 퍼즐 해결)에서도 최고의 결합 성능을 달성한다. 샘플러의 성능은 디노이징(denoising) 단계 수에 따라 단조(monotonically) 증가하며, 이는 교차 모달 결합의 이점이 궤적 전반에 걸쳐 누적(compound)됨을 보여준다. 프로젝트 페이지: https://coupled-jump.github.io
확산 대규모 언어 모델(dLLM)은 표준 자기회귀(autoregressive) 모델에 비해 병렬 생성에서 이론적 이점을 제공한다. 그러나 병렬 생성만으로는 실질적인 속도 향상이 보장되지 않는다. 이러한 효율을 실현하려면 확산 인식 캐싱(diffusion-aware caching) 및 재사용과 같은 특화된 추론 메커니즘이 필요하다. 따라서 추론 효율이 실용적 배포의 전제 조건이 되면서, 최근 연구에서는 알고리즘, 아키텍처, 시스템 전반에 걸친 가속화 기법을 적극적으로 탐구해 왔다. 그러나 엔드투엔드 지연 시간은 알고리즘, 아키텍처, 시스템 수준 요인 간의 복잡한 트레이드오프에서 비롯되며, 이러한 요인들이 기존 벤치마크에서 종종 혼재되어 엄밀한 비교가 여전히 어렵다. 본 서베이에서는 dLLM에 대한 통합 지연 시간 분해 프레임워크를 제안하여 이러한 요인들을 분리하고 실제 배포 환경에서 추론 속도에 미치는 영향을 분석한다. 이 프레임워크를 바탕으로, 알고리즘 혁신, 아키텍처 및 시스템 최적화, 추론 시점 스케일링을 포괄하는 세 축을 따라 가속화 기법을 분류한다. 마지막으로, 재현 가능한 벤치마킹을 위한 가이드라인을 제시하고 병렬 생성의 잠재력을 완전히 실현하기 위한 미해결 과제들을 강조한다.
이산 확산 모델이 노이즈 제거기(denoiser), 스코어 비율(score ratio), 브릿지 플러그인 예측기(bridge plug-in predictor) 중 무엇을 학습하는지에 대해, 연속시간 마르코프 체인(CTMC) ELBO의 엄밀한 유도를 통해 음의 ELBO가 단순한 하한이 아니라 데이터 엔트로피와 오라클 역방향 프로세스까지의 경로 KL 발산의 정확한 합임을 증명하는 Oracle Distance 정리를 제시한다. 이 프레임워크는 세 가지 파라미터화 좌표 간의 폐형식 변환을 도출하여 MDM, UDM, SEDD, GIDD를 특수 사례로 통합하고, 마스크드 확산에서는 노이즈 제거기와 캐비티(cavity)가 일치하지만 균일 확산(uniform diffusion)에서는 그렇지 않은 이유를 규명한다.
SLIM-RL은 확산 대규모 언어 모델(dLLM)의 강화학습에서 궤적 재구성 없이 τ-budget 디코더로 롤아웃의 커밋 리스크를 제한하고, 분산 감소 랜덤 마스킹 목적함수로 학습하는 방법이다. SDAR-4B 기준으로 TraceRL 대비 0.46배의 학습 샘플만으로 동등한 MATH500 정확도를 달성하며, GSM8K에서 11.05%, 코드 벤치마크 MBPP에서 4.20% 향상을 보인다.
추론 시점 스케일링(inference-time scaling)은 생성 모델을 개선하는 유망한 패러다임이며, 특히 출력이 구조적 제약을 만족하거나 하류 보상을 최적화해야 할 때 더욱 그렇다. 우리는 마스크드 디퓨전 모델(Masked Diffusion Model, MDM)을 고려하고, 언마스킹(unmasking) 생성을 이론적으로 정당화된 보상 안내 재마스킹(reward-guided remasking)으로 보강하는 이산 디퓨전 샘플러인 MDM-VGB를 제안한다. 보상 기울기(reward-tilted) 생성에서 고전적인 Jerrum-Sinclair 백트래킹(backtracking) 마르코프 체인(Markov chain)의 최근 성공에서 영감을 받아, MDM-VGB는 백트래킹 랜덤 워크(random walk)를 고정된 접두 문맥 트리에서 마스크 상태 그래프(masked-state graph)로 확장하여, 토큰을 임의의 위치에서 언마스킹 및 재마스킹할 수 있게 한다. 그 결과 샘플러는 더 높은 가치의 부분 구성(partial configuration)으로 이어지는 언마스킹 및 재마스킹 이동을 선호하여, 높은 보상 생성과 낮은 보상 샘플의 효율적 수정을 모두 가능하게 한다. 우리는 MDM-VGB가 프로세스 검증기(process-verifier) 노이즈에 강건하고 2차(quadratic) 복잡도를 달성함을 증명하며, best-of-$N$과 같은 널리 쓰이는 테스트 타임 휴리스틱은 오류 누적으로 인해 지수(exponential) 복잡도를 초래할 수 있음을 보인다. 우리의 이론적 발견은 강력한 실증 성능, 특히 Sudoku 및 QM9와 같은 널리 쓰이는 제약 만족(constraint-satisfaction) 및 과학 벤치마크에서 뒷받침된다.
자기회귀(AR) 디코딩과 확산 디코딩을 결합한 생성 시스템을 어떻게 평가해야 할까? 우리는 Speculative Refinement(SpecRef)를 통해 이 질문을 연구한다. SpecRef는 학습 없이 AR 초안(draft)으로 마스크된 확산 언어 모델을 웜스타트(warm-start)하고, 엔트로피 기반 선택적 마스킹을 사용하는 하이브리드 방법이다. HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag의 여섯 벤치마크에서 세 가지 평가 프로토콜(실행 기반 pass@1, exact-match, 가능도(log-likelihood) 채점)로 SpecRef를 평가한 결과, 본 시스템을 넘어서는 여러 발견을 드러낸다: (1) 코드 벤치마크는 구조적 탐색과 논리적 정확성을 혼동한다. 구문적 스캐폴드(syntactic scaffold)를 제공하면 모델을 변경하지 않고도 정확도가 거의 0에서 20% 이상으로 상승하여, 기준선 실패의 상당 부분이 구조적임을 시사한다; (2) 다단계 수정이 이미 올바른 토큰을 손상시키는 정제 긴장(refinement tension) 현상으로, 단일 모델 평가로는 보이지 않는 벤치마크 포화 한계가 드러난다; (3) 가능도와 생성적 평가는 동일한 모델 쌍에 대해 서로 다른 모델 순위를 산출하여, 서로 다른 역량을 측정함을 시사한다; (4) 표준 Python 후처리(post-processing)가 비-AR 생성기에 대해 코드 평가를 조용히 깨뜨린다. 이러한 관찰은 다단계 또는 비-자기회귀(non-autoregressive) 생성 파이프라인 전반에 적용되며, 더 진단적인 평가 관행을 가리킨다.
MDLM은 사전 할당된 마스킹된 응답 캔버스를 디노이징하여 텍스트를 생성하므로, 응답 길이 모델링이 지시 미세조정의 핵심이 됩니다. 기존 MDLM은 지시 미세조정 중 패딩을 위해 반복된 \texttt{[EOS]} 토큰을 사용하는 자기회귀 관습을 계승하는 경우가 많아, \texttt{[EOS]}가 의미적 종료자와 패딩 토큰이라는 이중 역할을 하게 됩니다. 우리는 이러한 이중 역할이 대형 블록 디코딩에서 \texttt{[EOS]} 오버플로우의 근본 원인임을 보여줍니다. 이러한 역할을 분리하기 위해, 우리는 패딩에는 \texttt{[VOID]}를 도입하고 종료에는 \texttt{[EOS]}를 예약하는 VoidPadding을 제안합니다. 추론 과정에서 학습된 \texttt{[EOS]} 신호는 조기 종료를 가능하게 하고, 학습된 \texttt{[VOID]} 신호는 적응형 응답 캔버스 확장을 유도합니다. Dream-7B-Instruct에서 VoidPadding은 수학적 추론 및 코드 생성 벤치마크에 걸친 블록 크기 평균 4개 작업 평균을 원본 모델 대비 +17.84점, RainbowPadding 대비 +6.95점 향상시키는 동시에, 평균 디코딩 NFE를 55.7% 감소시켰습니다. 코드는 https://github.com/Haru-LCY/VoidPadding에서 확인할 수 있습니다.
마스크 디퓨전 모델(MDM)은 최근 시퀀스 생성을 위한 유망한 패러다임으로 부상했습니다. MDM의 스케일링은 일반적으로 매개변수 수나 디노이징 단계의 수를 늘려서 달성됩니다. 우리는 각 디퓨전 단계 내에서 동일한 디노이징 트랜스포머를 반복적으로 적용하여 재귀 깊이를 세 번째 스케일링 축으로 추가하는 재귀적 마스크 디퓨전 모델(R-MDM)을 소개합니다. 재귀는 매개변수 재사용을 통해 출력을 반복적으로 정제할 수 있게 하며, 매개변수 수를 늘리지 않고도 유효 모델 깊이를 증가시킵니다. 스도쿠와 카운트다운을 포함한 구조화된 생성 작업 전반에서, R-MDM이 상당히 개선된 매개변수 효율성을 달성함을 보여줍니다: $L$번의 재귀 반복을 가진 모델은 대략 $L\times$ 더 많은 매개변수를 가진 비재귀적 기준 모델의 성능과 대등한 경우가 많습니다. 더욱이, 재귀적 정제는 추가적인 디노이징 단계를 부분적으로 대체할 수 있어, 재귀적 모델이 추론 시 더 적은 순방향 패스로 동일한 생성 품질에 도달할 수 있게 합니다. 이러한 결과는 재귀 깊이가 MDM에 있어 실용적으로 유용한 스케일링 메커니즘이며, 매개변수 효율성과 테스트 시간 연산 할당을 모두 개선한다는 것을 시사합니다.
마스킹 디퓨전 모델(MDM)은 경쟁력 있는 성능을 유지하며 병렬 토큰 생성을 가능하게 하여 자기회귀 모델의 유망한 대안으로 떠올랐습니다. 그러나 MDM은 토큰이 한번 마스크 해제(unmasking)되면 고정된다는 근본적인 한계가 있습니다. 이는 오류 누적으로 이어져 궁극적으로 샘플 품질을 저하시킵니다. 우리는 모델이 마스크 해제와 교정(correction)을 모두 수행하도록 학습시키는 프레임워크를 제안하여 이 문제를 해결합니다. MDM 디노이징 네트워크의 출력을 교정기(corrector) 학습의 입력으로 재사용하여, 잠재적인 실수로부터 복구할 수 있는 모델을 학습시킵니다. 생성 과정에서 마스크 해제 단계 사이에 추가적인 교정 정제 단계를 적용하여 디코딩된 토큰을 변경하고 출력을 개선합니다. 우리는 이미 생성된 토큰을 포함하여 전체 시퀀스를 반복적으로 정제할 수 있는 독특한 능력을 살려, 이 학습 및 샘플링 방법을 Progressive Self-Correction (ProSeCo)이라고 명명했습니다. 다양한 조건부 및 비조건부 작업에 대한 광범위한 실험적 검증을 통해, ProSeCo는 더 우수한 품질-효율성 트레이드오프(샘플링 속도 최대 약 4배 향상)를 달성하고, 표준 MDM을 초과하는 샘플 품질 향상을 위해 추론 시간 연산 스케일링(inference-time compute scaling)을 가능하게 함(벤치마크에서 최대 약 1.2배 개선)을 입증했습니다.
마스크드 디퓨전 언어 모델(dLLMs)은 최근 병렬 토큰 생성을 통한 더 빠른 추론 가능성을 제시하며 자기회귀 언어 모델에 대한 경쟁력 있는 대안으로 부상했습니다. 그러나 마스킹 방식의 주요 제한 사항은 토큰이 한 번 마스크 해제(unmasked)되면 더 이상 수정될 수 없다는 점으로, 이로 인해 dLLMs는 초기 샘플링 오류에 취약해집니다. 이를 해결하기 위해, 자가 교정(remasking) 기능을 통해 마스크드 dLLMs를 확장하려는 연구가 증가하고 있습니다. 이러한 방법들 중 매력적인 일부는 토큰 신뢰도를 기반으로 학습(training) 없이 사후(post-hoc)적으로 이를 수행하며, 초기 보고된 결과는 고무적입니다. 본 연구에서는 대표적인 사후(post-hoc) 재마스킹 방법인 WINO [Hong et al., 2026]의 실증적 평가를 재검토하고, 표준 디코딩 설정(더 짧은 블록 길이)에서는 신뢰도 기반 언마스킹 단독 [Wu et al., 2025]에 비해 거의 이득이 없음을 발견했습니다. 평가를 비탐욕적(non-greedy) 디코딩으로 확장한 결과, 신뢰도 기반 재마스킹이 증가된 확률성으로 인한 오류를 어느 정도 완화할 수 있지만, 신뢰도 기반 언마스킹에 대해 이전에 보고된 다양성 붕괴(diversity collapse)를 악화시킴을 알 수 있습니다. 전체적으로, 본 연구의 결과는 사후(post-hoc) 신뢰도 기반 재마스킹의 이점이 설정에 매우 의존적임을 보여주며, 더 포괄적인 평가 프레임워크의 필요성을 강조합니다.