lateralintelligence.org

이 이메일 도메인이 관측된 논문 1건

arXiv:2610.09145v2cs.LG

프롬프트에 노이즈 추가하기: 연속 확산 언어 모델에서 조건부 토큰 노이즈화

Noise Your Prompt: Noising Conditioning Tokens in Continuous Diffusion Language Models

본 연구에서는 연속 확산 언어 모델(continuous diffusion language model) 문헌에서 표준적으로 통용되던, 학습(training) 중 조건부 프롬프트(prompt) 토큰을 깨끗한 상태(clean)로 고정하는 관행을 재검토합니다. 우리는 매우 간단한 수정 사항을 적용하여, 학습 중 조건부 프롬프트 토큰에도 노이즈를 추가합니다. 이러한 수정된 학습 목적 함수 하에서 스도쿠(Sudoku) 및 N-퀸(N-Queens)과 같은 조합 추론(combinatorial reasoning) 태스크에서 더 우수한 일반화 성능을 달성함을 입증하였으며, 특히 더 어려운 변형에서 가장 큰 폭의 향상(Sudoku Hard 해결률 $3.73\% \to 24.65\%$)과 생성된 해의 다양성 증가(10x10 N-Queens 커버리지 $50.60\% \to 73.79\%$)를 확인했습니다. 또한 Gigaword 요약을 통한 적당한 데이터셋(dataset) 환경에서 자연어 생성 품질의 측정 가능한 개선을 보여주었으나, 이러한 이점이 모든 자연어 태스크(예: 개방형 대화 생성)로 전이되지는 않음을 명확히 보여줍니다. 본 논문의 방법론은 학습 목적 함수에 단 한 줄만을 변경하는 방식이며, 기본적으로 추가적인 추론(inference) 비용이 발생하지 않고, 분류기 없는 유도(classifier-free guidance)에서 영감을 얻은 유도 샘플링(guided sampling)의 유연성을 제공합니다. 공개된 \href{https://github.com/LateralIntelligence/noise-your-prompt}{코드}를 이용할 수 있습니다.