Tokenization is a foundational step in NLP pipelines, yet standard evaluation metrics such as fertility rate fail to capture morphological correctness for agglutinative languages. We present QuechuaTok, a systematic benchmark comparing four tokenization strategies - BPE, Unigram LM, WordPiece, and a morphology-aware PRPE tokenizer - for Southern Quechua (quz), a low-resource agglutinative language spoken by 8-10 million people in South America. Using a 200k-sentence corpus and the SQUOIA finite-state morphological analyzer (Rios, 2016) as silver standard, we evaluate three metrics: fertility rate, OOV rate, and morphological boundary accuracy (MorphAcc). Our results show that BPE achieves the lowest fertility rate (1.636 at 16k vocab) by memorizing surface word forms, while achieving only 6.67% MorphAcc. PRPE achieves 83.33% MorphAcc - the highest of all systems - demonstrating that fertility rate alone is insufficient to evaluate tokenizers for agglutinative languages. We further validate this finding extrinsically: on a Spanish-to-Quechua (Chanka) neural machine translation task, a model trained with PRPE outperforms an identical BPE-trained model by +68.7% BLEU and +17.0% chrF, showing that morphological boundary accuracy translates into measurable downstream gains. All code and models are publicly available at kaggle.com/code/macmaky/quechuatok
터키어의 형태소 경계를 신경망으로 학습하는 Morpheus는 미분 가능한 Poisson-binomial 세그멘테이션으로 손실 없는 토큰화와 단어 임베딩 생성을 한 번의 순전파로 수행한다. 가역 토크나이저 중 최저 문자당 비트(1.425)와 골드 형태소 정렬(MorphScore macro-F1 0.61)을 달성했으며, 어휘 검색·동일 어근 검증에서는 BGE-M3·BERTurk를 능가하지만 NER 등 문맥·굴절 의존 작업에서는 문맥 인코더가 더 우수하다.
토큰 공간(Token Space)은 AI 연산을 위한 범주론적(categorical) 프레임워크이자 수학적 언어입니다. 이는 내부 관계, 프로그램 기술, 실행 상태 및 관찰을 연결하여 구조, 동작 및 비용에 관한 질문들을 적절한 수준에 배치합니다. 다섯 가지 핵심 관점은 구조적 내부, 범주론적 자기 기술, 인터페이스, 출현 동일성 및 확장 가능한 연산과 관련됩니다. 토큰(token)은 운반자 원소와 고정된 기호들의 유한한 레코드이며, 토큰 사상은 선택된 힙을 보존합니다. 기본 범주는 준토포스(quasitopos)이며, 따라서 국소 데카르트 닫힘(locally cartesian closed)이지만 토포스는 아닙니다. 대수적 토큰화(tokenization)는 고정된 유한 시그니처에 대해 충실충만(fully faithful)합니다. 표현된 유한 사상은 동시 그래프 실행, 접합, 함자적 경계, 그리고 커널(kernel) 포함으로 특징지어지는 정확한 상태 이전을 허용합니다. 트랜스포머는 하나의 구현 패밀리입니다. 일관된 출현 접두 문맥(prefix)은 자연스러운 수치 사상을 산출하며, 캐시 불변량은 전체 접두 문맥 평가와의 일치를 증명합니다. 규정된 접근 정책은 재구성 배제 원칙 하에서 최소 유지 인덱스 집합을 결정합니다. 매개변수화된 상태는 변화하는 인터페이스를 표현합니다. 지정된 미래 관찰 힙에 대해 구조적 비식별성은 동작적 동치성입니다. 인코딩이 정확한 점진적 실행을 허용하는 것은 해당 커널이 그 동치성에 포함되는 우합동(right congruence)일 때와 정확히 일치하며, 도달 가능한 모든 정확한 실현은 동작적 상(behavioral quotient) 위로 유일하게 사상됩니다. 교사 유도 힙과 선언된 리드아웃은 이러한 구성을 지식 증류(distillation) 및 명시적 지식과 연결합니다. 정의, 예시, 정리는 이 언어가 표현, 실행, 관찰을 구별하면서 추론의 흐름들을 어떻게 결합하는지 보여줍니다. 효과적인 구현과 정량적 성능은 추후 과제로 남아 있습니다.
이산 디노이징 확산 모델(DDM)은 최근 이산 데이터에 대한 자기회귀(AR) 모델링의 설득력 있는 대안으로 부상했으며, 병렬 생성과 반복적 전역 정제 능력을 제공한다. 상태 공간이 고정된 연속 확산과 달리, DDM은 이산 상태 공간이 어떻게 구성되는지—토큰화 방식, 어휘 토폴로지, 도메인별 구조적 알파벳—에 의해 근본적으로 형성된다. 본 연구는 기저 이산 상태 공간의 구성을 통해 이산 확산 모델을 조망하는 통합 개념 프레임워크를 제안한다. 이 프레임워크 내에서 전이 행렬(transition-matrix), 마스킹/흡수 상태(masking/absorbing-state), 점수/비율 기반(score/ratio-based) 접근법을 포함한 기존 공식화들이 공통 설계 공간의 서로 다른 인스턴스화로 나타난다. 이 프레임워크는 또한 학습 목표, 추론 알고리즘, 스케일링 행동, 시스템 최적화, 평가 프로토콜 전반에 걸친 공통 설계 트레이드오프를 드러내며, 향후 연구를 위한 여러 유망한 방향을 제시한다.
유니그램 토크나이저는 어휘를 편집하기 쉬운 우아한 표현을 사용하지만, 학습은 비교적 무겁고 복잡하다. 우리는 MinGram(Minimalist Unigram)을 제안하는데, 이는 토큰 목록 표현은 유지하면서 BPE에서 파생된 시드 어휘, 최소 토큰 경로에 대한 Hard EM, 단일 평면 점수 가지치기 단계를 통해 학습을 단순화한다. 이 방식은 접미사 배열, forward-backward 패스, 반복적 가지치기 루프를 제거하여, 토크나이저 추론 자체를 넘어서는 것이 거의 필요 없는 절차를 남긴다. 토큰 수를 주요 목표로 삼고 유니그램 점수는 동점 처리용으로만 사용함으로써, MinGram은 순수 토큰 수 기반 방법의 압축률을 유지하면서 확률적 방법의 형태소 정렬과 다운스트림 품질을 상당 부분 보존한다. 6개 언어에서 MinGram은 BPE와 표준 유니그램 모두보다 더 잘 압축하며, 압축 중심 변형은 가장 강력한 토큰 수 기반 압축기와 맞먹으면서도 훨씬 높은 형태소 정렬을 유지한다. 통제된 다운스트림 언어 모델 학습에서 MinGram이 최고 수준에 속하는 유니그램 계열 토크나이저들은 bits-per-byte에서 BPE를 일관되게 능가했다.
대규모 언어 모델(LLM)은 문자나나 단어를 직접 읽기보다 서브워드 토크나이저를 통해 텍스트를 처리한다. 이러한 토크나이저는 주로 영어 중심 코퍼스로 학습되기 때문에, 많은 비영어권 언어에 체계적이면서도 종종 간과되는 불리함을 초래한다. 본 연구에서는 FLORES-200 병렬 코퍼스를 사용하여 인도 언어에 대한 이러한 토크나이저 세금을 정량화하고, 6개의 널리 사용되는 토크나이저와 14개 언어에 걸쳐 토큰화(tokenization) 생성률(fertility)을 측정한다. cl100k_base(GPT-3.5 및 GPT-4에서 사용) 하에서 인도 언어는 영어 대비 평균 8.0배의 토큰화 세금을 겪으며, 말라얄람어에서는 13.0배에 달한다. 이는 동등한 의미 콘텐츠에 대해 영어 사용자에게 제공되는 것의 12%에 불과할 정도로 유효 컨텍스트 윈도우(context window)를 축소시킨다. 이러한 격차의 주요 메커니즘은 바이트-페어 병합(byte-pair merge) 실패로, 텍스트가 단일 바이트 토큰으로 분절되는 현상이며, 병합 실패는 토크나이저 세금과 강한 상관관계를 보인다(Pearson r = 0.89). 또한 이 현상이 인드 스크립트의 고유한 특성이 아니라 토크나이저 설계의 결과임을 보인다. XLM-R 및 OpenAI의 o200k_base와 같은 다국어 토크나이저는 평균 인도 언어 토크나이저 세금을 73% 줄여, 이러한 격차가 대부분 해소 가능함을 입증한다. 토큰 통계를 넘어, 고정된 컨텍스트 예산 하에서 인도 언어 문서가 동등한 영어 문서보다 원본 콘텐츠를 상당히 적게 보존함을 보여 실질적 결과를 정량화한다. 마지막으로 Belebele 벤치마크에서 토큰화 생성률과 독해 성능 간의 관계를 검토한 결과, 겉으로 보이는 상관관계는 토크나이저 동작만이 아니라 언어 자원 가용성에 의해 대부분 설명됨을 발견한다.
최근 연구는 서브워드(subword) 어휘를 Byte Pair Encoding(BPE)과 같은 탐욕적 휴리스틱에 의존하기보다, 특정 추론 규칙에 대한 압축을 최적화하도록 학습할 수 있음을 보여 주었다. 본 연구는 이 접근법을 WordPiece의 기반이 되는 빠르고 널리 쓰이는 추론 규칙인 좌→우 탐욕적 최장 일치(greedy longest-match) 디코딩으로 확장한다. 탐욕적 최장 일치 토큰화를 위한 공동 최적화(Joint Optimization for Greedy Longest-Match Tokenization, JOLT)를 제안하며, 이는 어휘 학습을 어휘 선택 변수와 분절(segmentation) 선택 변수에 대한 정수 프로그램(integer program)으로 형식화한다. 탐욕적 일관성(greedy-consistency) 제약은 각 최적화된 분절이 선택된 어휘 하에서 최장 일치 디코딩이 생성하는 분절과 정확히 일치하도록 보장하여, 학습 목표를 배포 시점의 토큰화와 정렬한다. 최적화를 확장하기 위해 선형 프로그래밍(linear programming) 완화(relaxation)를 풀고, 미해결 pretoken에 대해서만 고차(higher-order) 분절을 선택적으로 도입한다. 그 결과 얻어진 완화는 거의 정수(integral)적이다: 반올림된 해는 학습 범위(training scope)에서 LP 하한(lower bound)의 0.008 - 0.176 % 이내에 있다. 이 하한은 또한 BPE가 탐욕적 최장 일치 디코딩 하에서 달성 가능한 최상의 압축의 1 - 2 % 이내에 이미 있음을 보여 주며, JOLT는 남은 격차의 89.6 - 99.4 %를 메운다. 네 가지 학습 범위와 32,000 및 64,000의 어휘 크기에 걸친 보류(hold-out) 검증 데이터에서 JOLT는 BPE보다 최대 0.78 % 적은 토큰을 생성하며, 개선은 일반적으로 학습 범위가 커질수록 증가한다. 이 결과는 추론 정렬(inference-aligned) 어휘 최적화가 BPE가 남긴 제한된 압축 여유(headroom)의 대부분을 회복할 수 있음을 보여 주며, 동시에 근최적(near-optimality)성에 대한 증명(certificate)을 제공한다.
Byte-Pair Encoding(BPE)과 SentencePiece 같은 표준 서브워드 토큰화 알고리즘은 주로 현대어 코퍼스로 학습되며, 고전 인도어에 적용할 때 비효율적인 분할을 생성한다. 산스크리트어, 타밀어 및 기타 고전 인도어들은 교착적 형태론, 생산적인 sandhi(어 경계에서의 음운 융합), 그리고 범용 학습 데이터에 없는 도메인 특화 어휘를 보인다. 본 논문은 7개 언어(영어, 힌디어, 산스크리트어, 타밀어, 텔루구어, 칸나다어, 말라얄람어)에 걸친 균형 잡힌 781MB 코퍼스로 학습되고 모든 언어에 원문 문자 체계 지원을 제공하는 SentencePiece BPE 토크나이저 모음인 BHARATI를 제시한다. 세 가지 연속 토크나이저 버전을 설명한다: v1(영어와 산스크리트어만, 타밀어에 대해 깨진 바이트 fallback), v2(4개 언어 지원, 남부 언어에 바이트 수준 fallback), v3(7개 언어 전체의 원문 서브워드 커버리지). 서브워드 fertility 분석 결과, v3는 Indian Knowledge System(IKS) 기술 용어당 평균 2.6개 토큰을 사용하는 반면, GPT-2 토크나이저는 5.25개, 다국어 SentencePiece 기준선은 3.75개를 사용하며, 구조적으로 단일 토큰으로 표현되도록 예약된 IKS 용어 집합에서 가장 큰 이득을 보인다. 490개의 IKS 도메인 문장으로 구성된 홀드아웃 테스트 세트(7개 언어 각 70문장, 측정 스크립트와 함께 공개)에서 v3는 원문 인도어 서브워드가 없는 GPT-2 및 바이트 수준 인코딩 대비 시퀀스 길이를 약 90% 줄이고, 6개 인도어에 대해 평균한 mBART-50 다국어 기준선 대비 약 25% 줄여, 하위 언어 모델의 유효 컨텍스트 길이 증가로 직접 이어진다. 토크나이저 모델(32,000 어휘), 학습 스크립트, 평가 벤치마크는 오픈 라이선스로 공개된다.
토큰화는 다국어 언어 모델의 기반이지만, 기존 방법은 의미적으로 동등한 단어를 서로 다른 임베딩에 매핑함으로써 교차 언어 전이를 제한하는 경우가 많다. 예를 들어, 영어의 'I eat rice'와 하우사어의 'Ina cin shinkafa'는 일반적으로 서로 다른 어휘 인덱스에 매핑되어 공유 표현을 방해하고 교차 언어 일반화를 제한한다. 이 문제는 저자원 언어에서 더욱 두드러지며, 이러한 언어에서는 공유 표현이 가장 큰 이점을 제공할 수 있다. 우리는 병렬 토크나이저(parallel tokenizers)를 제안한다. 이는 먼저 토크나이저를 단일 언어로 학습한 다음, 이중 언어 사전 또는 단어-단어 번역을 사용하여 어휘를 포괄적으로 정렬하는 새로운 프레임워크이다. 이 정렬은 언어 간 공유 의미 공간을 강제하면서 자연스럽게 fertility 균형을 개선한다. 효과를 평가하기 위해, 우리는 13개의 저자원 언어에 대해 처음부터 트랜스포머 인코더를 사전학습하고, 감성 분석, 혐오 발언 탐지, 감정 분류, 문장 임베딩 유사도에서 평가한다. 모든 과제에서 병렬 토크나이저로 학습된 모델이 기존 다국어 베이스라인을 능가하며, 토큰화를 재고하는 것이 다국어 표현 학습—특히 저자원 환경에서—을 발전시키는 데 필수적임을 확인한다.
서로 다른 계열의 오픈 가중치 언어 모델은 상호 보완적인 능력을 보이며, 이는 온-정책 지식 증류(OPD)를 통해 이를 소형 학생 모델로 통합하려는 동기가 됩니다. 그러나 전체 어휘집 OPD는 일반적으로 공유 토크나이저를 가정하는 반면, 기존 크로스-토크나이저 방법은 교사 모델의 확률 질량을 버리거나 관련 없는 내용의 학생 토큰에 할당할 수 있습니다. 우리는 교사의 다음 토큰 분포를 공유 바이트 공간에서 학생 어휘집 위로 재표현하는 Byte-Prefix Marginalization(BPM)을 제안합니다. 구체적으로 BPM은 각 교사 토큰의 확률을, 해당 토큰의 바이트 표현이 교사 토큰 바이트의 접두사인 학생 토큰 중 가장 긴 토큰에 할당하고, 동일한 학생 토큰에 매핑된 질량을 집계하며, 그렇지 않아 매칭되지 않은 질량은 명시적 잔여 범주에 둡니다. 이는 dense OPD를 위한 어휘집 전체를 포괄하고 바이트 정렬되며 질량을 보존하는 목표를 생성합니다. 해당 목표는 관련 접두사가 여러 교사 토큰에 걸치지 않을 때(학습 위치의 99% 이상에서 충족되는 조건) 교사가 유도한 바이트 접두사 주변화를 정확히 복원하고, 그렇지 않은 경우에는 질량을 보존하는 연쇄 분해 하한을 사용합니다. Qwen3-32B, GLM-Z1-9B-0414, MiniMax-M2.7을 교사로 사용한 실험에서 BPM은 6개의 수학 및 프로그래밍 벤치마크에서 기존 크로스-토크나이저 방법을 일관되게 능가하며, 6개 벤치마크 avg@8에서 가장 강한 기준선 대비 3.7–6.6점을 개선했습니다.
통증은 인구의 상당 부분에 영향을 미치는 복잡하고 광범위한 현상이며, 정확한 평가는 효과적인 임상 관리와 개입에 필수적이다. 계산 기반 통증 인식 시스템은 지속적인 모니터링을 가능하게 하고, 임상 의사결정을 지원하며, 통증 관련 고통과 기능 저하를 완화하는 데 도움이 된다. 본 연구는 통증 인식에서 이질적 3D 모달리티를 위한 통합 토큰화 프레임워크를 제안하며, 이는 각 모달리티별 별도 아키텍처나 수작업 유도 편향(handcrafted inductive biases) 없이 행동 및 뇌 활동 3D 데이터 전반에 단일 처리 파이프라인을 제공한다. 이 프레임워크는 다양한 입력을 공유 토큰 공간으로 매핑하면서 공간적, 시간적, 시간-주파수 구조를 보존한다. 광범위한 실험 결과, 제안 방법은 원시 신호 및 스펙트로그램 기반 표현 모두에서 얼굴 영상과 fNIRS 데이터를 효과적으로 처리함을 보여준다. AI4Pain 벤치마크 데이터셋에서 제안 프레임워크는 높은 계산 효율성을 유지하면서 GPU 및 CPU 하드웨어 모두에서 실시간 평가를 가능하게 하며 최첨단(state-of-the-art) 성능을 달성한다.
화학 언어 모델에서 SMILES 토큰화에 쓰이는 BPE와 유니그램 언어 모델(Unigram-LM)을 고정된 165개 토큰 기반 어휘 위에서 세 가지 코퍼스 유형과 두 가지 경계 정책에 걸쳐 통제 비교한 결과, 두 알고리즘은 수렴하지 않으며 학습된 서브워드 어휘의 자카드 중첩이 최대 0.161에 불과한 거의 비겹침(near-disjoint) 어휘를 생성함을 보였다. Unigram-LM은 BPE보다 29~41% 더 세밀하게 분절하며, 이 분리는 코퍼스·경계 정책·어휘 크기 전반에 걸쳐 안정적으로 유지되어 서브워드 알고리즘 선택이 자유롭게 넘길 수 있는 기본값이 아닌 핵심 모델링 결정임을 입증한다.
토크나이저는 언어 모델(LM)이 텍스트를 표현하고 처리하는 근본적인 기반을 제공한다. 토큰화의 중요성에도 불구하고, 토큰화의 영향을 독립적으로 측정하기 어렵기 때문에 LM 성능 및 동작에서 토큰화가 수행하는 역할은 충분히 이해되지 않고 있다. 이러한 필요를 해결하기 위해 우리는 TokSuite를 제시한다. TokSuite는 토큰화가 LM에 미치는 영향을 연구할 수 있도록 지원하는 모델 컬렉션과 벤치마크다. 구체적으로, 동일한 아키텍처, 데이터셋, 학습 예산, 초기화를 사용하되 서로 다른 기성 토크나이저를 적용한 14개의 사전학습 모델을 공개한다. 또한 원어민 주석자가 큐레이션한, 영어·중국어·페르시아어·이탈리아어·터키어에서의 실제 변형에 대한 모델 성능을 측정하는 다국어 강건성 벤치마크도 공개한다. TokSuite는 이를 통해 모델의 토크나이저 영향을 견고하게 분리할 수 있으며, 다양한 인기 토크나이저의 장단점을 규명하는 일련의 새로운 발견을 지원한다.
토큰화는 대부분의 자연어 처리(NLP) 파이프라인에서 첫 번째이자 종종 가장 덜 검토되는 단계이다. 토크나이저 학습을 위한 표준 알고리즘은 빈도 기반 목적 함수에 의존하는데, 이는 학습 데이터에서 지배적인 언어를 우대하고 결과적으로 저자원 언어에 불균형적으로 긴, 형태론적으로 부자연스러운, 심지어 <UNK> 플레이스홀더로 가득 찬 토큰화를 초래한다. 이 현상은 궁극적으로 서로 다른 언어 배경을 가진 사용자들 간의 계산적·금전적 불평등을 증폭시킨다. 이를 해결하기 위해, 우리는 널리 사용되는 BPE 알고리즘의 변형인 패리티 인식 바이트 쌍 인코딩(Parity-aware Byte Pair Encoding, BPE)을 제안한다. Parity-aware BPE는 매 병합 단계에서 현재 압축률이 가장 낮은 언어의 압축 이득을 최대화하는 공정-최대(fair-max) 규칙을 적용하여, 소량의 전역 압축률을 희생하는 대신 교차 언어 공정성을 확보한다. 실험 결과, Parity-aware BPE는 언어별 토큰 비용의 지니 계수(Gini coefficient)로 측정한 토큰화 불평등을 기존 BPE 대비 최대 89%까지 감소시킴을 확인하였다. 이는 전역 압축률에 무시할 수 있는 수준의 영향만을 미치며, 다운스트림 언어 모델(LM) 성능의 체계적인 저하 증거도 나타나지 않는다.
역사적 언어 처리 난이도를 토큰화 비용, 예측 불확실성(surprisal), 의미적 견고성, 문맥 민감성 네 차원으로 나누는 진단 프레임워크를 제안하고, 17세기 이탈리아어·19세기 고전·18세기 러시아어 말뭉치에서 토큰화 세금과 이해 세금이 분리됨을 보였다. 17세기 이탈리아어는 현대 대비 평균 2.4배 더 높은 surprisal을 보이지만 임베딩 유사도는 0.85 이상으로 유지되며, 최소한의 시간적 문맥 프롬프트로 surprisal을 약 60% 줄일 수 있어 디지털 도서관의 의미 검색 작업에 LLM을 활용할 여지가 있음을 시사한다.
상용 대규모 언어 모델(LLM)은 토큰 단위로 과금·지연·컨텍스트를 제한하는데, 20개 아프리카 언어와 11개 프론티어 토크나이저를 병렬 코퍼스(FLORES-200+)로 측정한 결과 영어보다 토큰화 프리미엄이 항상 발생하며(GPT-5/o200k_base 중앙값 1.88배, N’Ko 최대 8.92배) 추론 비용·지연·유효 컨텍스트 윈도우 손실로 이어진다. Gemma 4가 평균 프리미엄을 3.31배에서 2.38배로 줄이지만 페널티를 없애지는 못하며, afri-fertility 측정 도구·리더보드·완화 가이드를 공개한다.
Twitter 데이터셋 감성 분석에서 전처리(preprocessing) 기법의 적용 순서를 체계적으로 비교·분석한 결과, 토큰화(tokenisation)가 가장 영향이 크고 철자 교정(spelling correction)은 가장 영향이 작으며 stemming과 불용어 제거는 상호 교환 가능하다. 최적 순서는 토큰화, 텍스트 클리닝, stemming, 불용어 제거이며, 부정어는 제거하지 않는 편이 더 낫다.
UnigramLM을 다국어 설정으로 확장한 LangMAP 토큰화는 단일 공유 어휘로 언어별 토큰화를 만들며, 어휘를 바꾸지 않고도 사전학습 모델의 토크나이저를 언어별로 조정할 수 있고 추론 시에는 입력 언어를 알 필요가 없다. 14개 오픈소스 토크나이저와 9개 자연어·9개 프로그래밍 언어 실험에서 형태소 경계 정렬과 코드의 AST 잎 경계 정렬이 개선되었고, 파인튜닝에서는 MultiBLiMP 문법 수용성은 향상되었으나 Global-PIQA·Belebele 같은 지식 과제에서는 이점이 일관되지 않았다.
다국어 언어 모델은 종종 토큰화 단계에서부터 발생할 수 있는 언어 간 성능 격차를 보인다. 널리 사용되는 서브워드(subword) 토큰화 방식은 고자원 언어에 유리하며, 토크나이저 없는(tokenizer-free) 방법도 문자당 바이트 비율이 높은 문자 체계(script)에서는 더 긴 시퀀스를 생성한다. 이러한 한계를 해결하기 위해, 우리는 다국어 토크나이저의 언어 독립적 입력 표현으로 국제음성기호(International Phonetic Alphabet, IPA) 사용을 제안한다. IPA는 간결한 기호 집합, 더 큰 교차 언어 문자 중첩, 그리고 언어 간 더 균형 잡힌 문자당 바이트 분포를 제공한다. 우리는 24개 언어와 14개 문자 체계에 걸쳐 텍스트 대 IPA 서브워드 토크나이저의 짝을 맞춰 학습하고, IPA 토크나이저가 특히 비라틴 문자 체계에서 토큰화 품질을 일관되게 향상시키며, 보지 못한 언어와 문자 체계에 더 효과적으로 일반화함을 보여준다.
무선 패킷 트레이스용 파운데이션 모델을 구축할 때 더 중요한 것은 토크나이저인가, 아키텍처인가, 아니면 둘 다인가? 이 질문에 답하기 위해, 802.11 트레이스에 대한 프로토콜 인식 토큰화를 도입한 PLUME Anonymous [2026]을 기반으로 한다. 모델 깊이를 확장하고 동일한 토크나이저를 근본적으로 다른 아키텍처 계열로 이전한다. 더 깊은 GPT(PLUME-DEEP, 24층)는 top-1 정확도 98.2%에 도달하며, 원래 12층 설계 대비 32점 향상을 보인다. 한편 Mamba-2 상태 공간(state-space) 변형(PLUME-MAMBA)은 96.1%를 달성하면서 처리량은 1.7배 높고 컨텍스트는 2배 길다. 핵심 통찰은 토크나이저와 아키텍처에 걸친 통제된 2x2 비교에서 도출된다: 토크나이저를 바꾸면 정확도가 32점 변동하고, 아키텍처를 바꾸면 2점만 변동한다. 프로토콜 인식 토큰화가 주요 성능 레버이며, 백본은 정확도와 속도를 절충하는 배포 조절 요소가 된다.