ciphersense.ai

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.24460v1cs.CL

The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs

상용 대규모 언어 모델(LLM)은 토큰 단위로 과금·지연·컨텍스트를 제한하는데, 20개 아프리카 언어와 11개 프론티어 토크나이저를 병렬 코퍼스(FLORES-200+)로 측정한 결과 영어보다 토큰화 프리미엄이 항상 발생하며(GPT-5/o200k_base 중앙값 1.88배, N’Ko 최대 8.92배) 추론 비용·지연·유효 컨텍스트 윈도우 손실로 이어진다. Gemma 4가 평균 프리미엄을 3.31배에서 2.38배로 줄이지만 페널티를 없애지는 못하며, afri-fertility 측정 도구·리더보드·완화 가이드를 공개한다.