PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.00230v2cs.LG

언어 모델의 사전학습에서 나타나는 그로킹 유사 현상: 지연된 문법적 일반화 추적

A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization

신경망이 학습(training) 데이터를 피팅한 후 한참 뒤에 일반화되는 현상인 그로킹(grokking)은 많은 에포크(epoch)를 거치는 지도학습 환경에서 주로 연구되어 왔습니다. 반면 대규모 언어 모델(LLM)의 사전학습(pre-training)은 라벨이 없는 코퍼스에 대한 다음 토큰 예측(next-token prediction)으로 이루어지며, 데이터 반복이 제한적이고 명시적인 학습/검증(validation) 분할이 없습니다. 이를 해결하기 위해, 본 연구에서는 LLM 사전학습 도중 그로킹과 유사한 역동성을 연구할 수 있도록 하는 노출 기반 프레임워크를 제안합니다. 통제된 문법적 대조를 제공하는 BLiMP 최소 대립쌍(minimal pairs)을 기반으로 평가를 수행합니다. 모든 BLiMP 최소 대립쌍에 대해 문법적 대조와 현상 관련 문맥을 포착하는 가장 작은 연속 구간인 핵심 구(critical phrase)를 식별합니다. 핵심 구가 사전학습 윈도우에 나타나는 예제는 대리 학습(proxy-train) 분할에 할당되고, 나머지 예제는 대리 검증(proxy-validation) 분할에 할당됩니다. 5가지 문법 현상 전반에 걸쳐 지연된 일반화가 관찰됩니다. 일반화 전후의 사전학습 체크포인트를 분석한 결과, 문법 개념 벡터는 문법적 수용성을 더 잘 예측하게 되며 일반화 이후 더 고차원의 부분공간(subspace)을 차지함을 보여줍니다. 또한 핵심 토큰(token)에서 관련 문맥 토큰으로 향하는 어텐션(attention)이 소수의 헤드에 집중되어 있음을 발견했습니다.

arXiv:2606.30815v1cs.CL

트랜스포머가 "불가능한" 언어를 학습할 때, 무엇을 학습하는가?

When transformers learn "impossible" languages, what do they learn?

트랜스포머 언어 모델이 "불가능한" 언어(인간 언어에 없는 어순 변형)를 학습할 때 어떤 능력을 획득하는지 분석하기 위해, BLiMP 최소 대립쌍으로 문법적 민감도를, 생성 품질 평가로 생성 능력을 각각 측정했다. 그 결과 불가능한 언어로 학습된 모델은 문법적 민감도는 점진적으로만 저하된 반면 생성에서는 뚜렷한 실패를 보였으며, 이는 생성적 결함(generative deficiency)과 전달 실패(transmission failures)가 불가능한 언어의 비증거성을 설명하는 더 타당한 연결 가설임을 시사한다.