arXiv:2406.00048

Towards a theory of how the structure of language is acquired by deep neural networks

Francesco Cagnetta, Matthieu Wyart

제출 2024-05-28

원문 초록

How much data is required to learn the structure of a language via next-token prediction? We study this question for synthetic datasets generated via a Probabilistic Context-Free Grammar (PCFG) -- a tree-like generative model that captures many of the hierarchical structures found in natural languages. We determine token-token correlations analytically in our model and show that they can be used to build a representation of the grammar's hidden variables, the longer the range the deeper the variable. In addition, a finite training set limits the resolution of correlations to an effective range, whose size grows with that of the training set. As a result, a Language Model trained with increasingly many examples can build a deeper representation of the grammar's structure, thus reaching good performance despite the high dimensionality of the problem. We conjecture that the relationship between training set size and effective range of correlations holds beyond our synthetic datasets. In particular, our conjecture predicts how the scaling law for the test loss behaviour with training set size depends on the length of the context window, which we confirm empirically in Shakespeare's plays and Wikipedia articles.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21284v1cs.CL공통 태그 Language Modeling, Articles

news-crawler-LM: 고품질 뉴스 크롤링을 위한 소형 장문맥 모델

news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling

뉴스 페이지에서 구조화된 콘텐츠를 추출하는 것은 이질적인 HTML 레이아웃, 불일치하는 마크업, 내비게이션 요소 및 광고와 같은 상당한 보일러플레이트(boilerplate)로 인해 여전히 어려운 과제입니다. 규칙 기반 뉴스 크롤러는 사이트별 구조를 인코딩함으로써 높은 추출 정확도를 달성할 수 있지만, 새로운 출판사에 일반화하려면 수동 설정이 필요합니다. 대규모 언어 모델(LLM)은 수작업 규칙의 필요성을 줄여 더 유연한 대안을 제공하지만, 높은 계산 비용이 실용적 배포를 제한합니다. 본 논문에서는 Fundus 뉴스 크롤링 라이브러리의 고품질·인간 검증 추출 결과로 파인튜닝(fine-tuning)한 소형 장문맥 언어 모델인 news-crawler-LM을 소개합니다. 우리 모델은 원시 HTML을 평문(plaintext)과 구조화된 JSON으로 변환하며, 헤드라인, 저자, 게재일, 기사 본문 등의 필드를 포함합니다. 실험에서 news-crawler-LM은 HTML-to-Markdown 및 HTML-to-JSON 추출에서 강력한 베이스라인을 능가하며, HTML-to-Markdown 과제에서 BLEU +4.8, METEOR +6.1, HTML-to-JSON 과제에서 BLEU +2.2, METEOR +4.1의 성능 향상을 보였습니다. 다만, 이전에 보지 못한 출판사에 대한 평가에서 HTML-to-plaintext 과제에서는 다른 규칙 기반 파싱 라이브러리와 비교해 우리 모델이 약간만 더 나은 수준임을 확인했습니다. 모든 모델과 산출물을 연구 커뮤니티에 공개합니다.

arXiv:2607.11515v1cs.CL공통 태그 Language Modeling, Language Modelling

종카어 다음 단어 예측 시스템

Dzongkha Next Word Prediction System

종카어(Dzongkha)는 부탄의 국가 언어로서 국내에서 광범위하게 사용되는 언어이다. 공식 문서, 경전, 기타 문학 작품은 문화적 가치를 보존하기 위해 종카어로 작성된다. 그러나 종카어 문서화는 스크립트의 복잡성, 음절당 다수의 키 입력 필요성, 효율적인 입력 도구의 부족으로 인해 어렵고 시간이 많이 소요되는 과정이다. 종카어에 대해 가능한 단어 목록을 예측하고 표시하는 즉각적인 시스템이 이 문제의 해결책이다. 본 프로젝트는 키 입력 횟수를 줄여 종카어 타이핑을 최대한 편리하게 만드는 것을 주요 목표로 한다. 데이터셋은 DCDD에서 수집하였으며 총 100,000개의 문장, 1,331,282개의 단어, 28,344개의 고유 단어로 구성된다. 데이터 전처리는 모든 영숫자 문자 제거, 토큰화, N-gram 시퀀스 생성 및 패딩을 통해 수행되었다. 학습에 선택된 세 가지 모델은 LSTM, Bi-LSTM, GRU이다. 학습 과정에는 모델의 하이퍼파라미터 미세조정이 포함되었다. GRU는 경량이면서 대규모 데이터셋을 처리할 수 있어 74.03%의 정확도로 가장 우수한 성능을 보였으며 과적합 문제도 해결하였다.

arXiv:2607.11703v1cs.CL공통 태그 Language Modeling, Language Modelling

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.