트리 안에는 무엇이 있을까? 언어를 제어 가능하게 근사하는 계층형 $n$-그램 모델
What's in a Tree ? Hierarchical $n$-gram models as controlled approximators of language
한국어 초록
언어를 연구하기 위한 합성 환경으로 계층형 모델이 제안됐지만, 실제 언어 말뭉치와 얼마나 관련이 있는지는 충분히 연구되지 않았다. 이 연구에서는 2차 및 3차 텐서를 계층적으로 합성해 조건부 확률 텐서 $p(x_n \mid x_{1:n-1})$를 구성하는 자기회귀 생성 $n$-그램 모델인 트리그램을 소개한다. $n$은 최대 문맥 윈도 크기를, 랭크 하이퍼파라미터 $d$는 모델 용량을 제어한다. 이를 통해 해석할 수 있고 규모를 체계적으로 늘릴 수 있는 언어 근사 모델 제품군을 얻는다. 트리그램은 기존 $n$-그램 기준선보다 우수하면서도 심층 트랜스포머 기반 언어 모델과 경쟁력 있는 성능을 보인다. 트리그램을 생성 모델로 사용해 이러한 제어 가능한 근사의 유용성을 입증한다. 특히 중간 수준의 $n$과 $d$를 가진 트리그램으로 생성한 더 단순한 데이터에서 폭이 좁은 모델을 조정하면 $\mu$P에서 하이퍼파라미터 전이의 강건성을 높일 수 있다. 또한 엔트로피와 상관관계의 유효 범위가 미세조정 이후의 성능 차이를 좌우함을 보인다. 이는 트리그램에서 문맥 범위와 모델 용량을 명시적으로 제어할 수 있기 때문이다. 여러 후보 토폴로지로 라우팅을 허용하자 트리그램에서 희소성이 나타났다. 라우팅이 일부 토폴로지에 집중되므로 성능을 크게 바꾸지 않고도 토폴로지를 최대 95%까지 가지치기할 수 있었다.
원문 초록
Hierarchical models have been proposed as synthetic settings for studying language. However, their relevance to realistic language corpora remains underexplored. In this work, we introduce tree-grams, autoregressive generative $n$-gram models that build the conditional probability tensor $p(x_n \mid x_{1:n-1})$ through a hierarchical composition of order-2 and order-3 tensors. $n$ controls the maximal context window, whereas a rank hyperparameter $d$ controls model capacity, yielding an interpretable and systematically scalable family of approximators of language. We show how tree-grams outperform existing $n$-gram baselines, while remaining competitive with deep transformer-based language models. We demonstrate the utility of such controlled approximations by using tree-grams as generative models. In particular, we show that hyperparameter transfer under $\mu$P can be made more robust when narrower models are tuned on simpler data, generated by tree-grams with moderate $n$ and $d$. In addition, we show that entropy and effective range of correlations control performance gap after fine-tuning. This is because tree-grams allow us to explicitly control horizon and capacity. When allowed to route across candidate topologies, we observe emergent sparsity in tree-grams. Such concentrated routing permits pruning upto 95\% of topologies without significant change in performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23093v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.