arXiv:2609.00329v1 cs.CL

어휘 정규화에서의 다국어성의 저주

The Curse of Multilinguality in Lexical Normalization

Saman Rahbar

제출 2026-08-27

한국어 초록

어휘 정규화는 사용자 생성 텍스트에 널리 등장하는 잡음이 많고 비표준적인 단어(tmrw, u, gr8)를 표준 형태로 다시 쓰는 작업이다. 대부분의 언어에서는 레이블 데이터가 부족하기 때문에, 흔히 쓰이는 지름길은 여러 언어를 한꺼번에 단일 모델로 학습시키는 것이다. 우리는 단순한 질문을 던진다: 그러한 모델은 몇 개의 언어에 대해 학습되어야 하는가? 고정 용량의 문자 수준 모델 하나와 표준 벤치마크의 12개 언어를 사용해, 공동 학습 언어 수를 1개에서 12개까지 바꿔 가며 언어별 정확도를 측정한다. 우리는 뚜렷한 다국어성의 저주를 확인한다. 정확도는 한 언어가 다른 소수 언어, 종종 1~4개와만 함께 학습될 때 가장 높고, 이후 나머지 언어가 계속 더해지면서 꾸준하고 상당하게 떨어져, 모두 쌓였을 때 약 40%까지 감소한다. 총 학습 데이터량을 일정하게 유지하는 대조 조건에서는 하락이 더 일찍 시작되고 더 커지며, 이는 데이터 가용량보다는 고정 크기 하나의 모델을 두고 언어들이 서로 경쟁하는 현상을 시사한다. 또한 한 언어의 다른 언어들과의 유형론적 거리가 그 언어에 이상적인 공동 학습 언어 수를 예측하는지 검증했으나, 믿을 만한 규칙은 없었다. 겉보이는 관계는 소수 언어에 의존하며 일반화되지 않는다. 간결한 정규화 모델에서는 적을수록 나을 수 있다. 소수 언어만 학습하는 편이 모든 것을 단일 모델로 풀링하는 것보다 낫다.

원문 초록

Lexical normalization rewrites the noisy, non-standard words that fill user-generated text (tmrw, u, gr8) into their standard forms. Because labelled data is scarce for most languages, a popular shortcut is to train a single model on many languages at once. We ask a simple question: how many languages should such a model be trained on? Using one fixed-capacity character-level model and twelve languages from a standard benchmark, we vary the number of jointly trained languages from one to twelve and measure per-language accuracy. We find a clear curse of multilinguality: accuracy is highest when a language is trained with only a few others, often just one to four, and then falls steadily and substantially, dropping by about forty percent as the rest are piled on. A control that holds the total amount of training data constant makes the decline arrive sooner and fall further, which points to competition among the languages for one fixed-size model rather than to how much data is available. We also test whether a language's typological distance from the others predicts its ideal number of co-training languages, and find no dependable rule: any apparent relationship rests on a couple of languages and does not hold up. For compact normalization models, less can be more: a few languages beat pooling everything into a single model.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00329v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.