LMSpell: 사전학습 언어 모델을 활용한 맞춤법 교정
LMSpell: Spell Correction with Pre-Trained Language Models
맞춤법 교정(spell correction)은 많은 언어, 특히 저자원 언어(low-resource language, LRL)에서 여전히 어려운 문제이다. 사전학습 언어 모델(pre-trained language model, PLM)이 맞춤법 교정에 활용되어 왔지만, PLM들 간의 제대로 된 비교는 이루어진 적이 없었다. 본 논문에서는 저자원 언어를 포함한 여러 언어에 걸쳐 세 가지 유형의 PLM이 맞춤법 교정에 미치는 효과에 대한 최초의 실증 연구를 제시한다. 우리는 2억 7천만 매개변수 규모의 Gemma 3와 mBART50과 같이 비교적 작은 PLM도 단 5천 개 문장으로 구성된 데이터셋으로 파인튜닝(fine-tuning)하면 규칙 기반 맞춤법 교정기를 능가할 수 있음을 보이며, 이는 제한된 데이터로 효과적인 맞춤법 교정 시스템을 구축할 수 있는 실용적인 경로를 제시한다. 또한 저자원 언어의 맞춤법 교정이 처한 어려움을 조명하기 위해 싱할라어(Sinhala)에 대한 사례 연구도 제시한다.