arXiv:2608.18062v3 cs.CL

TokEval: 토크나이저 평가 스위트

TokEval: A Tokenizer Evaluation Suite

Clara Meister

제출 2026-08-18

한국어 초록

언어 모델 토크나이저는 설계상의 선택이 모델의 성능에 직접적인 영향을 미침에도 불구하고, 일반적으로 최소한의 평가만을 거쳐 선정됩니다. 이는 토크나이저의 어떤 특성이 다운스트림 성능의 어떤 측면에 영향을 미치는지에 대한 이해가 부족한 데 일부 기인합니다. 본 논문에서는 번식도(fertility)나 압축률과 같은 표준적인 측정 지표를 넘어 언어학적 및 구조적으로 유의미한 특성(예: UTF-8 문자 경계 무결성 및 수학을 위한 자릿수 경계 정렬)을 포착하는 토크나이저 평가 메트릭 프레임워크인 TokEval을 소개합니다. 이러한 지표들이 다운스트림 모델 성능을 예측할 수 있는지 검증하기 위해, 토크나이저의 학습 데이터 혼합, 사전 토큰화(pretokenization) 전략, 학습 알고리즘만을 변화시키며 통제된 언어 모델 사전학습 실험을 수행합니다. 연구진은 결과 모델들을 bits-per-byte(토크나이저에 구애받지 않는 퍼플렉서티 버전)와 언어 이해, 수학적 추론, 코드 생성을 아우르는 여러 벤치마크에서 평가합니다. 실험 결과, 서로 다른 내재적 특성이 모델 능력에 서로 다른 영향을 미치는 것으로 나타났습니다. 정보 이론적 메트릭은 언어 모델링 능력을 예측하는 반면(스피어만 상관계수 rho 최대 0.80), 숫자 및 줄바꿈 처리를 측정하는 것과 같은 구조 민감형 메트릭은 태스크 정확도와 상관관계를 보였습니다. TokEval이 더욱 원칙적인 토크나이저 평가를 가능하게 하여, 두 평가가 일치하는 영역에서는 사전학습 스윕(sweep)을 내재적 측정으로 대체할 수 있기를 기대합니다.

원문 초록

Language model tokenizers are typically selected with minimal evaluation, despite the fact that their design choices directly impact model capabilities. This can be partly attributed to a limited understanding of which tokenizer properties affect which aspects of downstream performance. We introduce TokEval, a framework of tokenizer evaluation metrics that goes beyond standard measures like fertility and compression rate to capture linguistically and structurally meaningful properties, e.g., UTF-8 character boundary integrity and digit place-value boundary alignment for mathematics. To validate whether these metrics are predictive of downstream model performance, we conduct controlled language model pretraining experiments, varying solely the tokenizers' training data mixture, pretokenization strategy, and training algorithm. We evaluate the resulting models on bits-per-byte (a tokenizer-agnostic version of perplexity) and several benchmarks, spanning linguistic understanding, mathematical reasoning, and code generation. Our experiments suggest that different intrinsic properties have different impacts on model abilities: information-theoretic metrics predict language modeling abilities (Spearman rho up to 0.80), while structure-sensitive metrics, such as those measuring digit and line-break handling, correlate with task accuracy. We hope TokEval enables more principled tokenizer evaluation, replacing pretraining sweeps with intrinsic measurement wherever the two agree.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.18062v3제출 시각 미확인
  2. arXiv:2608.18062v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.