LipSpell: 변별 자질 편집 거리, 키보드 기하, 코퍼스 빈도를 결합한 언어 독립적 음성 기반 철자 교정 점수화 프레임워크
LipSpell: A Language-Independent Phonetic Scoring Framework for Spelling Correction Combining Distinctive-Feature Edit Distance, Keyboard Geometry, and Corpus Frequency
한국어 초록
자동 철자 교정은 키보드 오타와, 작성자가 단어의 발음을 근사하여 생기는 인지적 또는 음성적 철자 오류를 모두 처리해야 한다. 기존 철자 검사기는 음성 오류가 여러 문자만큼 달라질 때 어려움을 겪는 정서법적 편집 거리와 키보드 근접성에 의존하거나, Soundex와 Metaphone 같은 영어 중심의 음성 해시에 의존한다. 우리는 교체 가능한 언어별 G2P 프런트엔드, 키보드 맵, 어휘 사전과 결합된, 통합적이고 언어 독립적인 음성 점수화 엔진 LipSpell을 제시한다. 이 엔진은 (1) 보편 IPA 변별 자질로부터 사전 계산한 |P|x|P| 음소 거리 행렬, (2) 물리적 키보드 기하, (3) 코퍼스 유니그램 빈도 사전 확률을 통합하며, 2단계 대칭 삭제와 7개 클래스 음성 코드 색인으로 가속된다. 여섯 개의 영어 벤치마크(TOEFL-Spell의 L2 오류 1,000개 포함)에서 LipSpell은 모든 데이터셋에서 Norvig와 Hunspell을 능가하며, Norvig1(78.52% 대 75.56%), Holbrook(32.00% 대 26.67%), TOEFL-Spell(77.30% 대 72.80%)에서는 Aspell도 앞선다. 다섯 개 계통(게르만어, 로망스어, 슬라브어, 셈어, 튀르크어), 세 개 어족(인도유럽어, 아프리카아시아어, 튀르크어), 세 가지 문자를 아우르는 여섯 개 언어에서 평가했을 때, LipSpell은 브라질 포르투갈어(n=500 위키백과에서 NFD 허용 없이 Top-1 73.00%, NFD 적용 시 75.80%, 반면 Norvig 66.40%, Hunspell 64.20%, Aspell 64.00%)와 러시아어 키릴 문자(85.67% 대 Norvig 78.50%)에서 고정 가중치로 강한 전이 성능을 보인다. 어휘 정제와 약한 문자 삽입·삭제를 적용한 50/50 비단어 분할에서 튜닝은 포르투갈어(86.97% 대 76.75%), 튀르크어(81.67% 대 79.05%), 히브리어 아브자드(74.59% 대 62.30%), 프랑스어(74.53% 대 67.92%)에서 Norvig 대비 큰 향상을 가져오는 반면, 영어(80.37%)와 러시아어(85.67%)에서는 고정 가중치가 여전히 최적이다.
원문 초록
Automatic spelling correction must handle both keyboard typographical slips and cognitive or phonetic misspellings where writers approximate a word's pronunciation. Conventional spell checkers rely either on orthographic edit distance and keyboard proximity--which struggle when phonetic errors diverge by multiple characters--or on English-centric phonetic hashes such as Soundex and Metaphone. We present LipSpell, a unified, language-independent phonetic scoring engine paired with swappable language-specific G2P frontends, keyboard maps, and lexicons integrating: (1) a precomputed |P|x|P| phone-distance matrix from universal IPA distinctive features, (2) physical keyboard geometry, and (3) corpus unigram frequency priors, accelerated by a two-stage symmetric-delete and seven-class phonetic-code index. Across six English benchmarks (including 1,000 L2 errors from TOEFL-Spell), LipSpell outperforms Norvig and Hunspell on every dataset and beats Aspell on Norvig1 (78.52% vs. 75.56%), Holbrook (32.00% vs. 26.67%), and TOEFL-Spell (77.30% vs. 72.80%). Evaluated across six languages spanning five branches (Germanic, Romance, Slavic, Semitic, Turkic), three families (Indo-European, Afro-Asiatic, Turkic), and three scripts, LipSpell achieves strong fixed-weight transfer on Brazilian Portuguese (73.00% Top-1 on n=500 Wikipedia without NFD tolerance and 75.80% with NFD vs. 66.40% Norvig, 64.20% Hunspell, 64.00% Aspell) and Russian Cyrillic (85.67% vs. 78.50% Norvig). On 50/50 clean non-word splits with lexicon cleaning and weak-character indels, tuning yields strong gains over Norvig in Portuguese (86.97% vs. 76.75%), Turkish (81.67% vs. 79.05%), Hebrew Abjad (74.59% vs. 62.30%), and French (74.53% vs. 67.92%), while fixed weights remain optimal for English (80.37%) and Russian (85.67%).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24285v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.