arXiv:2611.00921v2 cs.LG

문맥 내 학습의 풀이 가능한 동역학 모델

Solvable dynamical model of in-context learning

Ruoran Bai, Haiping Huang

제출 2026-11-03

한국어 초록

사전학습된 트랜스포머 아키텍처는 추가 학습 없이도 놀라운 문맥 내 학습 능력을 보인다. 학습 과정이 네트워크를 이러한 흥미로운 능력으로 이끄는 방식은 아직 해결되지 않았다. 본 연구에서는 학습을 위해 경험적 위험 최소화가 정의된 단일 층 단일 헤드 선형 어텐션 모델에 초점을 맞춘다. 유한한 수의 학습 예제가 주어졌을 때, 학습 오차 및 일반화 오차와 연결되는 네트워크 파라미터 동역학의 정확한 해를 구하고, 이를 통해 학습으로부터 암기와 일반화가 어떻게 나타나는지, 그리고 이러한 전이가 경험적 위험 지형의 곡률과 어떻게 관련되는지 규명한다. 나아가 데이터 의존적 자유 에너지를 계산하며, 이로부터 학습 동역학의 장시간 극한에서의 학습 오차와 일반화 오차를 잘 예측할 수 있다. 본 연구는 특히 학습 동역학의 관점에서 문맥 내 학습의 메커니즘을 이해하는 데 통찰을 더한다.

원문 초록

Pretrained Transformer architectures display a surprising in-context learning ability without additional training. How the learning process guides the network to achieve this intriguing capability remains unsolved. In this study, we focus on a single-layer single-head linear attention model, where an empirical risk minimization is defined for learning. Given a finite number of training examples, we determine the exact solution of network-parameter dynamics, which is linked to the training error and generalization error, characterizing how memorization and generalization emerge from learning and how these transitions are related to curvatures of the empirical risk landscape. Furthermore, we calculate a data-dependent free energy, from which the training and generalization errors in the long time limit of learning dynamics can be well predicted. Our work adds insights toward understanding the mechanism of in-context learning especially from a learning dynamics perspective.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.00921v2제출 시각 미확인
  2. arXiv:2611.00921v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.