언어 모델의 사전학습에서 나타나는 그로킹 유사 현상: 지연된 문법적 일반화 추적
A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization
한국어 초록
신경망이 학습(training) 데이터를 피팅한 후 한참 뒤에 일반화되는 현상인 그로킹(grokking)은 많은 에포크(epoch)를 거치는 지도학습 환경에서 주로 연구되어 왔습니다. 반면 대규모 언어 모델(LLM)의 사전학습(pre-training)은 라벨이 없는 코퍼스에 대한 다음 토큰 예측(next-token prediction)으로 이루어지며, 데이터 반복이 제한적이고 명시적인 학습/검증(validation) 분할이 없습니다. 이를 해결하기 위해, 본 연구에서는 LLM 사전학습 도중 그로킹과 유사한 역동성을 연구할 수 있도록 하는 노출 기반 프레임워크를 제안합니다. 통제된 문법적 대조를 제공하는 BLiMP 최소 대립쌍(minimal pairs)을 기반으로 평가를 수행합니다. 모든 BLiMP 최소 대립쌍에 대해 문법적 대조와 현상 관련 문맥을 포착하는 가장 작은 연속 구간인 핵심 구(critical phrase)를 식별합니다. 핵심 구가 사전학습 윈도우에 나타나는 예제는 대리 학습(proxy-train) 분할에 할당되고, 나머지 예제는 대리 검증(proxy-validation) 분할에 할당됩니다. 5가지 문법 현상 전반에 걸쳐 지연된 일반화가 관찰됩니다. 일반화 전후의 사전학습 체크포인트를 분석한 결과, 문법 개념 벡터는 문법적 수용성을 더 잘 예측하게 되며 일반화 이후 더 고차원의 부분공간(subspace)을 차지함을 보여줍니다. 또한 핵심 토큰(token)에서 관련 문맥 토큰으로 향하는 어텐션(attention)이 소수의 헤드에 집중되어 있음을 발견했습니다.
원문 초록
Grokking, the phenomenon in which neural networks generalize long after fitting their training data, has been studied in supervised settings on many epochs. LLM pre-training instead involves next-token prediction over an unlabeled corpus, with limited data repetition and no explicit train/validation split. To address this, we propose an exposure-based framework that enables the study of grokking-like dynamics during LLM pre-training. We ground our evaluation in BLiMP minimal pairs, which provide controlled grammatical contrasts. For every BLiMP minimal pair, we identify a critical phrase, the smallest continuous span that captures the grammatical contrast and the phenomenon-relevant context. Examples whose critical phrase appears in the pre-training window are assigned to the proxy-train split; the remaining examples are assigned to the proxy-validation split. Across five grammatical phenomena, we observe delayed generalization. Analyzing pre-training checkpoints before and after generalization shows that grammatical concept vectors become more predictive of grammatical acceptability and occupy a higher-dimensional subspace after generalization. We also find that attention from the critical token to the relevant context token is concentrated in a small number of heads.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
서프라이즈 이론은 동어반복이다 (합리적 그라운딩이 없다면)
Surprisal Theory is Tautological (without Rational Grounding)
서프라이즈 이론(Surprisal theory)은 맥락 속 언어 단위에 대한 인간의 처리 난이도가 어떤 언어 모델(language model) 하에서 해당 단위가 갖는 서프라이즈(surprisal)의 아핀 함수(affine function)라고 주장한다. 본 논문은 추가적인 제약이 없다면 이러한 주장이 동어반복(tautology)에 불과하다고 논증한다. 완만한 기술적 조건 하에서, 맥락 속 단위에 대한 임의의 음이 아닌(non-negative) 난이도 척도에 대해 서프라이즈가 그 난이도의 아핀 함수가 되는 언어 모델이 항상 존재하기 때문이다. 따라서 어떠한 난이도 패턴도 특정 언어 모델과 일치할 수 있으므로, 언어 모델에 대한 추가적인 제약이 없다면 서프라이즈 이론은 반증 가능한 예측을 전혀 내놓지 못한다. 이러한 동어반복은 지난 20년간의 심리언어학 연구에 내재되어 있던 가정, 즉 관련 언어 모델이 학습(training) 말뭉치를 생성한 분포이며 말뭉치 적합도를 개선하면 인간 행동에 대한 예측도 개선된다는 가정에 의해 오랫동안 가려져 있었다. 그러나 최근의 실증 연구들은 더 나은 말뭉치 모델이 오히려 처리 난이도를 더 못 맞히는 예측 변수가 될 수 있음을 입증하며 이 가정을 흔들었다. 결론적으로 이러한 동어반복을 타파하기 위해서는 합리주의적 개입(rationalist intervention)이 필요하다. 즉, 관련 언어 모델은 이해자(comprehender)에 대한 비경험적으로 동기 부여된 모델(예컨대 기억 제약이나 처리 목표에 기반할 수 있으며, 따라서 서프라이즈 이론이 설명하고자 하는 행동 데이터에 의존하지 않는 모델)로부터 도출되어야 한다.
MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다
MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors
장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.
FineWeb-CLaR: 벤치마크 정렬 코퍼스 감사를 위한 문화·언어·지역 어노테이션
FineWeb-CLaR: Culture, Language, and Region Annotations for Benchmark-Aligned Corpus Auditing
언어 모델의 문화적 평가 커버리지와 견고성(robustness)은 사전학습 코퍼스와 문화 벤치마크가 비교 가능한 메타데이터로 거의 색인되지 않아 진단하기 어렵다. 벤치마크는 점점 언어, 지역, 로케일별 관행 수준의 문화적으로 맥락화된 현상을 대상으로 하는 반면, 웹 규모 코퍼스는 보통 언어로만 구성된다. 공유 문화-언어-지역 층은 이러한 자원을 비교 가능하게 하여, 대상 문화적 현상이 사전학습 데이터에 반영되는지, 벤치마크로 평가되는지, 또는 둘 다인지에 대한 감사(auditing)를 가능하게 한다. 이를 위해 FineWeb과 FineWeb-2에서 파생된 대규모 주석 데이터셋인 FineWeb-CLaR을 제안한다. FineWeb-CLaR은 코퍼스 감사 및 벤치마크 정렬을 위해 웹 문서를 공유 문화-언어-지역 축에 배치한다. FineWeb-CLaR은 URL에서 유도한 지역 레이블과 문화 주제 출처(provenance)로 FineWeb 및 FineWeb-2의 전체 30.9B개 문서 컬렉션에 어노테이션한다. 우리의 지역 해석기(region resolver)는 문서의 25.61%(7.92B)에 비어 있지 않은 지역을 할당한다. 문화 주제 분석을 위해 로케일별 주제를 유도하고 Liu et al. (2025)의 Cultural Taxonomy 14개 리프에 투영하여 코퍼스 측 비교를 위한 Locale Topic Distributions(LTD)를 생성한다. 또한 277개의 문화 NLP 벤치마크에 동일한 분류 체계, 언어 커버리지, 지역 커버리지로 어노테이션한다. 이 자원들을 함께하면 코퍼스 측 사전학습 근거와 벤치마크 측 평가 커버리지 간의 직접 비교가 가능하다.
MemoryAthena: 잠재 및 생성 메모리에 대한 적응형 라우팅
MemoryAthena: Adaptive Routing over Latent and Generated Memories
학습된 메모리(learned-memory) 방법은 정보를 명시적 테이블에 저장하고 별도의 리더(reader)를 통해 소비하여 addressing, storage, reading을 서로 독립적으로 수정할 수 있게 한다. 우리는 유용한 메모리가 검색만이 아니라 생성될 수 있는지도 연구한다. MemoryAthena는 세 경로를 사용한다: 직접 Engram 검색(E), 검색된 Engram 단서로부터의 생성(GE), 메모리 테이블을 참조하지 않고 인과적 백본(backbone) 상태로부터의 생성(GH). 생성된 메모리는 조건부로 유용하다: 한 맥락에서는 E를 보완할 수 있지만 다른 맥락에서는 방해할 수 있다. 따라서 MemoryAthena는 E를 앵커(anchor)로 두고 생성 표현이 언제 개입해야 하는지 학습한다. 백본, 메모리, 생성기, 리더를 고정(frozen)한 상태에서, 경량 인과적 라우팅 헤드(routing head)는 E 대비 GE와 GH의 반사실적(counterfactual) 미래 토큰 가능도 이점(advantage)으로부터 학습된다. 추론 시 허용된(admitted) 후보는 유계(bounded) 보간(interpolation)을 통해 E 잔차(residual)를 수정하고, 거부(rejection) 시 직접 경로를 정확히 복구한다. 질의응답(question answering)에서 MemoryAthena는 동일 체크포인트의 직접 경로 대비 5개 과제 평균을 37.65에서 39.28로 높이며, 6개 과제 general-NLP 평균은 76.73에서 79.13으로 증가한다. 완전한 메모리 측 시스템은 고정된 백본을 제외하고 약 201M 파라미터를 포함한다. 추가 분석은 과제와 입력에 걸쳐 E, GE, GH 간의 상보적 강점을 보여 준다. 이러한 결과는 생성 메모리가 직접 검색에 대한 선택적 교정(selective correction)임을 뒷받침하고, 언제·어떤 것을·얼마나 강하게 개입할지에 대한 라우팅을 핵심 과제로 부각한다.
미분 가능한 퍼지 추론 층: 대규모 언어 모델을 위한 단조·구성적 서열 추론 헤드
Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models
최신 언어 모델에게 "most of most students passed"를 해석하라고 하면 대개 "most"라고 답하지만, "most"를 두 번 구성하면 비율은 "some"에 더 가깝다. 우리는 이 실패를 데이터 부족이 아니라 아키텍처 선택에서 비롯된 것으로 본다. 표준 분류기 헤드는 서열 범주를 서로 독립적인 레이블로 취급하며, 자연스러운 순서를 지키거나 대수적으로 구성할 메커니즘이 없다. 우리는 미분 가능한 퍼지 추론 층(Differentiable Fuzzy Inference Layer, DFIL)을 제안한다. 이는 표준 분류기와, 순서가 있는 소속 함수(membership function) 뱅크에 기반한 스칼라 병목 분기를 짝지은 이중 경로 예측 헤드이다. DFIL은 레이블만 쓰는 헤드가 갖출 수 없는 두 가지 구조적 원시를 제공한다. 하나는 기저 양에 대한 단조성(monotonicity)이고, 다른 하나는 구성적 학습 데이터 없이 t-norm 연산으로 이루는 구성적 추론이다. 스칼라 분기는 또한 잔차 오류를 분석하기 위한 해석 가능한 인터페이스를 제공한다. 우리는 다양한 LLM 계열에 걸친 서열 자연어 과제에서 DFIL을 구현한다.
신경 언어 모델에서 문법성의 선형 표현
Linear representations of grammaticality in neural language models
신경 언어 모델(NLM)이 문법성에 따라 문자열을 구별할 수 있는지 여부는 계산언어학 문헌에서 여전히 논쟁적인 주제이다. 기존 증거는 대부분 확률 기반 측정에 의존해 왔으며, 모델이 문법적인 문자열보다 비문법적인 문자열에 더 높은 확률을 부여하는지를 검증했다. 그러나 확률 비교는 문법성이 본질적으로 가능도와 얽혀 있다는 가정에 근거해 문법 지식의 측정 방법으로 비판받아 왔다. 모델이 부여하는 확률은 어휘 빈도, 타당성, 세계 지식 등 여러 관련 문장 속성의 함수이다. 본 연구에서는 확률 기반 평가를 넘어 문법성이 NLM의 내부 표현에 인코딩되는지 조사한다. mass-mean probing을 사용해 문법적 문장과 비문법적 문장이 표현 공간에서 체계적으로 분리되는지 검증한다. 또한 이러한 표현이 문법성과 상관관계가 있는 문장 속성으로부터 얼마나 독립적인지, 그리고 다양한 문법 현상과 언어에 걸쳰 일반화되는 정도를 추가로 조사한다. 결과는 문법성이 다양한 사전학습 NLM의 문장 표현에 견고하게 인코딩되어 있으며, 대안적인 문장 수준 요인만으로는 완전히 설명할 수 없는 문법성 차원에서의 명확한 표현적 분리를 산출한다는 증거를 제공한다. 게다가 이 인코딩은 광범위한 문법 현상에 걸쳐 일반화되며, 어느 정도는 언어 간에도 일반화되어, 문법성이 현대 NLM에서 일관된 표현 차원을 구성함을 시사한다. 이러한 발견은 언어 모델에서 구문 지식의 본질에 관한 논쟁에 새로운 증거를 제공하며, 문자열 확률에만 의존하지 않는 문법 능력 평가를 위한 보완적 프레임워크를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
18 pages, 10 figures, 9 tables; Accepted to AACL-IJCNLP 2026 Main Conference