치환을 넘어서: 확산 언어 모델을 위한 Levenshtein 편집
Beyond Replacement: Levenshtein Editing for Diffusion Language Models
한국어 초록
확산 언어 모델(DLM)은 임의 순서의 채우기(infilling)를 가능하게 하는, 자기회귀 모델의 유연한 대안이다. 대부분의 기존 디코딩 방법은 디코딩된 토큰을 고정된 것으로 취급하지만, 일부 최근 모델은 이전에 디코딩된 토큰을 다른 토큰으로 치환하는 방식으로만 수정할 수 있도록 허용하며, 우리는 이 패러다임을 치환 전용 편집(replacement-only editing, ROE)이라 부른다. ROE는 개별 토큰을 교정할 수 있지만, 누락되거나 추가된 토큰으로 인한 시퀀스 이동에는 비효율적이며 오류가 여러 위치에 걸쳐 발생할 때 어려움을 겪는다. 이러한 한계를 해결하기 위해 우리는 ROE를 삽입과 삭제로 확장하여 생성된 시퀀스의 Levenshtein 방식 정제를 가능하게 하는 사후 학습 프레임워크 LED(Levenshtein Editing for Diffusion Language Models)를 제안한다. LED는 두 가지 학습 설계를 사용한다. 첫째, 지도 미세조정 중에 최장 공통 부분 수열 정렬을 이용해 편집 지도 신호를 즉석에서 재구성하여, 수동 주석 레이블 없이 삽입과 삭제를 학습할 수 있게 한다. 둘째, 한 단계의 상태가 다음 단계의 입력이 되는 다단계 학습을 채택하여 모델이 자신의 이전 오류에 노출되고 이를 교정할 수 있게 한다. 160억 파라미터의 LLaDA2.1-Mini Base에 적용했을 때, LED는 신뢰도 기반 디코딩에서 12개 벤치마크 평균 점수를 54.86에서 57.10으로 높이면서 순전파당 토큰 수를 6.14에서 7.05로 늘렸고, 신뢰도 없는 디코딩에서는 평균 점수를 27.52에서 47.19로 높였다. 또한 LED가 편집 없는 임계값 디코딩보다 큰 k에서 더 높은 pass@k를 달성함을 보이며, 이는 생성 다양성의 향상과 신뢰도 유도 없는 DLM의 다양성 잠재력을 보여 준다. LED는 큰 블록 크기에 대한 강건성도 개선하여, 블록 크기 128에서 평균 점수를 36.97에서 51.34로 높였다. 종합하면 이러한 결과는 LED가 DLM에서 더 강건한 자기 교정을 지원함을 시사한다.
원문 초록
Diffusion language models (DLMs) offer a flexible alternative to autoregressive models, enabling any-order infilling. While most existing decoding methods treat decoded tokens as fixed, some recent models allow previously decoded tokens to be revised only by replacing them with alternative tokens, a paradigm we refer to as replacement-only editing (ROE). Although ROE can correct individual tokens, it is inefficient for sequence shifts caused by missing or extra tokens and struggles when errors occur across many positions. To address these limitations, we propose LED (Levenshtein Editing for Diffusion Language Models), a post-training framework that extends ROE with insertion and deletion, enabling Levenshtein-style refinement of generated sequences. It uses two training designs. First, it reconstructs edit supervision on the fly during supervised fine-tuning using longest-common-subsequence alignment, enabling insertion and deletion learning without manually annotated labels. Second, it adopts multi-stage training, where the state from one stage becomes the input to the next, exposing the model to its earlier errors and enabling it to correct them. When applied to the 16B-parameter LLaDA2.1-Mini Base, LED raises the average score across twelve benchmarks from 54.86 to 57.10 under confidence-guided decoding while increasing tokens per forward from 6.14 to 7.05, whereas under confidence-free decoding it raises the average score from 27.52 to 47.19. We further show that LED achieves higher pass@k at large k than thresholded decoding without editing, demonstrating improved generation diversity and revealing the diversity potential of DLMs without confidence guidance. LED also improves robustness to large block sizes, raising the average score from 36.97 to 51.34 at block size 128. Together, these results suggest that LED supports more robust self-correction in DLMs.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23750v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.