arXiv:1611.08358

Kannada Spell Checker with Sandhi Splitter

A N Akshatha, Chandana G Upadhyaya, Rajashekara S Murthy

제출 2016-11-25

원문 초록

Spelling errors are introduced in text either during typing, or when the user does not know the correct phoneme or grapheme. If a language contains complex words like sandhi where two or more morphemes join based on some rules, spell checking becomes very tedious. In such situations, having a spell checker with sandhi splitter which alerts the user by flagging the errors and providing suggestions is very useful. A novel algorithm of sandhi splitting is proposed in this paper. The sandhi splitter can split about 7000 most common sandhi words in Kannada language used as test samples. The sandhi splitter was integrated with a Kannada spell checker and a mechanism for generating suggestions was added. A comprehensive, platform independent, standalone spell checker with sandhi splitter application software was thus developed and tested extensively for its efficiency and correctness. A comparative analysis of this spell checker with sandhi splitter was made and results concluded that the Kannada spell checker with sandhi splitter has an improved performance. It is twice as fast, 200 times more space efficient, and it is 90% accurate in case of complex nouns and 50% accurate for complex verbs. Such a spell checker with sandhi splitter will be of foremost significance in machine translation systems, voice processing, etc. This is the first sandhi splitter in Kannada and the advantage of the novel algorithm is that, it can be extended to all Indian languages.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.11641v2math.NA공통 태그 Machine Translation공식 코드 · Papers with Code

에카르트-영-슈미트 관점에서 본 심층 대칭 오토인코더

Deep Symmetric Autoencoders from the Eckart-Young-Schmidt Perspective

심층 오토인코더(deep autoencoder)는 차원 축소와 편미분 방정식의 차수 축소 모델링부터 이상치 탐지 및 신경망 기계 번역에 이르기까지 다양한 머신러닝 응용 분야에서 핵심적인 도구로 자리 잡았습니다. 이러한 실증적 성공에도 불구하고, 특히 고전적인 사영 기반 기법들과 비교했을 때 이들의 표현력에 대한 확고한 이론적 기반은 여전히 부족한 실정입니다. 본 연구에서는 최근 문헌에서 자주 등장하고 있는 광범위한 심층 학습(deep learning) 아키텍처 군인 대칭 오토인코더(symmetric autoencoder)에 대한 종합적인 분석을 제시하여 이러한 방향으로 한 걸음 나아가는 것을 목표로 합니다. 구체적으로, 서로 다른 대칭 아키텍처 군 간의 형식적 구분을 도입하고 수학적 관점에서 이들의 장점과 한계를 분석합니다. 예를 들어, 정규직교성(orthonormality) 제약 조건을 가진 대칭 오토인코더의 재구성 오차는 널리 알려진 에카르트-영-슈미트(EYS) 정리를 활용하여 이해할 수 있음을 보입니다. 또한 분석의 부산물로서, 특잇값 분해(SVD)의 반복 적용에 기반한 대칭 오토인코더용 EYS 초기화(initialization) 전략을 개발합니다. 연구 결과를 검증하기 위해 기존의 심층 오토인코더를 대상으로 제안 기법을 벤치마크하는 일련의 수치 실험을 수행하고, 모델(model) 설계 및 초기화의 중요성을 논의합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.