토큰 대 토큰(T2T) 편집은 LLaDA2.1이 블록 확산(block-diffusion) 디코딩 중 확정된 토큰을 수정할 수 있게 한다. 공개된 방법은 이 편집기를 무작위 어휘 손상으로 학습하지만, 추론 시에는 편집기가 대신 모델 자신의 유창하고 높은 신뢰도 초안 오류를 마주한다. 우리는 이러한 학습-추론 불일치를 연구하고, 그래디언트 없는 초안 패스를 수행한 뒤 마스크된 위치를 예측 토큰으로 채우고, 이러한 자기 생성 손상 하에서 두 번째 패스에서 복구를 지도하는 자기 생성 T2T(self-generated T2T)를 제안한다. 우리는 LLaDA2.1-mini에서 짧은 LoRA 지속 사전학습(continued-pretraining) 패스로 업데이트를 구현하고, 추론 매개변수를 변경하지 않은 공식 Q-Mode T2T 절차 하에서 여러 벤치마크에서 평가한다. 이 방법은 일반적으로 T2T 편집 강도를 줄이면서 정확도를 향상시키며, 그 밖의 추론은 올바른 뒤 최종 자릿수 전사 오류나 짧은 사실적 답변 전 과도한 자기 수정과 같은 실패 양상을 완화한다.
디퓨전 대규모 언어 모델(dLLMs)은 병렬 디코딩을 통해 자기회귀 모델에 대한 효율적인 대안을 제공하지만, 기존 사후 학습 방법은 대부분 내재적 토큰 의존성을 간과하는 무작위 마스킹 전략에 의존합니다. 본 연구에서는 dLLM 내 어텐션에 대한 실증적 분석을 제시하며, 마스킹되지 않은 컨텍스트에 더 강하게 어텐션을 하는 토큰이 더 큰 생성 안정성을 보이며 추론에서 중요한 역할을 한다는 것을 보여줍니다. 이러한 발견에 동기를 부여받아, 우리는 학습과 최적화를 어텐션에서 파생된 의존성과 정렬시키는 어텐션 유도 디노이징 및 최적화 프레임워크인 AGDO를 제안합니다. AGDO는 어텐션 구조를 기반으로 디노이징 순서를 결정하고, 지도 미세조정 및 강화학습 동안 어텐션에 중요한 토큰을 강조합니다. 수학 및 코딩 벤치마크에 대한 실험 결과, AGDO가 추론 성능을 일관되게 향상시키며 dLLM을 위한 최첨단 사후 학습 방법보다 우수함을 입증합니다.
디퓨전 대규모 언어 모델(DLLMs)의 높은 디코딩 비용 문제를 해결하기 위해, 어텐션 기반 토큰 중요도와 디코딩 확률 간의 상관관계를 활용하여 연산을 디코딩 가능한 토큰에 동적으로 집중시키는 추론 시스템 FOCUS를 제안합니다. 이 방법은 대규모 배치 설정에서 LMDeploy 대비 최대 3.52배의 처리량(throughput) 향상을 달성하면서도 생성 품질을 유지합니다.
우리는 자기회귀 모델(ARLM)을 디퓨전 언어 모델(DLM)로 변환하는 것을 연구합니다. 처음부터 사전 학습하는 대신, 기존 연구는 ARLM의 인과적 어텐션(causal attention)을 양방향 어텐션(bidirectional attention)으로 대체한 다음 DLM 목적 함수(objective)를 사용하여 결과 모델을 학습합니다. 그러나 이러한 접근 방식들은 두 가지 분포 변이(distribution shift)를 초래합니다. 첫째, 다음 토큰 예측(next-token prediction) 목적에서 DLM 목적으로 전환하는 것은 학습 과정에서 ARLM이 습득한 지식을 잃을 수 있습니다. 둘째, 표준 DLM은 학습-추론 불일치(train-inference mismatch) 문제를 겪는데, 이는 학습 손실이 신뢰도 기반 디코딩(confidence-based decoding)에 의해 생성된 추론 시점의 궤적(trajectories)이 아닌 무작위로 마스킹된 시퀀스에서 정의되기 때문입니다. 이러한 두 가지 과제를 해결하기 위해, 우리는 ARLM에서 DLM으로의 변환을 위해 온-정책 증류(On-Policy Distillation, OPD)가 사용되는 온-정책 디퓨전 언어 모델(On-Policy Diffusion Language Model, OPDLM)을 제안합니다. 구체적으로, OPDLM은 셀프-OPD(self-OPD)를 통해 학습되는데, 여기서 학생(student)인 양방향 어텐션을 가진 ARLM은 자신만의 궤적을 생성하고, 교사(teacher)인 원본 동결된 ARLM은 이 궤적에 대한 타겟 로짓(target logits)을 제공함으로써 지식을 증류합니다. 온-정책 방식으로 직접 학습함으로써 OPDLM은 DLM의 학습-추론 불일치를 제거하고, 원본 모델로부터의 증류는 ARLM으로부터의 지식 보존을 향상시킵니다. 실험 결과는 OPDLM이 다양한 작업에서 강력한 성능을 유지하면서 15배에서 7,000배 더 적은 학습 토큰을 필요로 함을 보여줍니다. OPDLM은 DLM 사전 학습의 과도한 비용을 피하고, DLM 변환을 ARLM 사후 학습(post-training)의 한 형태로 자리매김합니다.
디퓨전 언어 모델(DLM)을 위한 강화학습(RL)에서 정책 손실 추정은 여전히 근본적이고 오랜 과제입니다. 본 논문에서는 정확하고 효율적인 정책 손실 추정을 돕기 위해 롤아웃 및 학습 과정에서 얻은 피드백을 활용하는 새로운 학습 패러다임인 디노이징 피드백을 통한 강화학습(RLDF)을 소개합니다. RLDF는 계산 효율성과 추정 유효성 간의 트레이드오프를 조절하기 위해, 디노이징 타임스텝에 대한 가중치 타임스텝 샘플링과 결합하여 중간 노이즈 상태에서 클리핑된 깨끗한 상태(clean state)를 향해 모델을 최적화합니다. 광범위한 실험을 통해 RLDF가 여러 추론 벤치마크에서 LLaDA와 Dream이라는 두 가지 대표적인 DLM 아키텍처에 걸쳐 성능과 일반화 능력 모두에서 일관되고 상당한 개선을 달성함을 입증했습니다. 우리의 연구는 디퓨전 언어 모델에서 확장 가능한 강화학습을 위한 원칙적인 기반을 마련합니다. 또한 DLM을 위한 학습 프레임워크인 Drift를 구축하였으며, 이는 https://github.com/ant-research/Drift에서 확인할 수 있습니다.