PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17175v1cs.CL

확산 언어 모델에서 토큰 편집을 위한 자기 생성 오류 학습

Self-Generated Error Training for Token Editing in Diffusion Language Models

토큰 대 토큰(T2T) 편집은 LLaDA2.1이 블록 확산(block-diffusion) 디코딩 중 확정된 토큰을 수정할 수 있게 한다. 공개된 방법은 이 편집기를 무작위 어휘 손상으로 학습하지만, 추론 시에는 편집기가 대신 모델 자신의 유창하고 높은 신뢰도 초안 오류를 마주한다. 우리는 이러한 학습-추론 불일치를 연구하고, 그래디언트 없는 초안 패스를 수행한 뒤 마스크된 위치를 예측 토큰으로 채우고, 이러한 자기 생성 손상 하에서 두 번째 패스에서 복구를 지도하는 자기 생성 T2T(self-generated T2T)를 제안한다. 우리는 LLaDA2.1-mini에서 짧은 LoRA 지속 사전학습(continued-pretraining) 패스로 업데이트를 구현하고, 추론 매개변수를 변경하지 않은 공식 Q-Mode T2T 절차 하에서 여러 벤치마크에서 평가한다. 이 방법은 일반적으로 T2T 편집 강도를 줄이면서 정확도를 향상시키며, 그 밖의 추론은 올바른 뒤 최종 자릿수 전사 오류나 짧은 사실적 답변 전 과도한 자기 수정과 같은 실패 양상을 완화한다.