arXiv:2611.23197v1 cs.CL

언어 모델 사전학습을 위한 구조·잔차 귀납적 바이어스

Structure--Residual Inductive Biases for Language Model Pretraining

Hai Huang, Bartosz \.Zuk, Rassul Magauin, Jiaxin Huang, Xue Liu

제출 2026-11-18

한국어 초록

언어 모델은 다음 토큰을 예측하는 과제로 예측 능력과 내부 표현을 함께 학습한다. 우리는 표현 구조 자체를 명시적인 귀납적 바이어스로 삼아야 하는지 묻는다. 콜모고로프 복잡도의 두 부분 부호화 관점에서 출발해 표현을 구조와 구현 세부 정보로 분리하는 구조·잔차 원리를 살펴본다. 이 원리를 상호 보완적인 두 방식으로 구현한다. 경계 병목 개념(BBC)은 국소 자기회귀 연산을 유지하면서 토큰 구간의 정보를 경계 전달자를 거쳐 보낸다. 연속 개념(CC)은 표현의 기하 구조를 정규화해 저주파 구조와 고주파 잔차로 스펙트럼을 분해하도록 유도한다. 두 관점에서 부호화의 한계를 유도하고, 구간 내부 경로 에너지가 0으로 사라지면 중복도를 보정한 경계 어텐션이 정확해짐을 보인다. 실험에서 BBC와 CC가 효과적인 층의 깊이는 뚜렷이 달랐다. BBC는 앞쪽 층에서, CC는 뒤쪽 층에서 가장 효과적이었다. 학습 토큰 3억 개로 GPT-2 Medium을 학습했을 때 BBC와 CC를 결합하면 음의 로그 가능도(NLL)가 1.44% 개선됐다. 학습 토큰을 최대 200억 개로 늘려도 개선이 유지됐다. 표현을 분석한 결과, BBC는 경계 상태가 예측에 기여하는 상대적 중요도를 높였고 CC는 스펙트럼 잔차 에너지를 줄였다. 이 결과는 구조·잔차 바이어스가 다음 토큰 예측에 더해 언어 모델의 사전학습을 개선할 수 있음을 시사한다. 코드는 https://github.com/haihuang-ml/structure-residual 에 공개되어 있다.

원문 초록

Next-token prediction is relied upon to learn both predictive behavior and internal representations. We ask whether representation structure itself should be an explicit inductive bias. Motivated by the two-part coding view of Kolmogorov complexity, we study a structure--residual principle in which a representation separates structure from realization detail. We instantiate this principle in two complementary ways. Boundary Bottleneck Concept (BBC) routes information from token segments through boundary carriers while preserving local autoregressive computation. Continuous Concept (CC) regularizes representation geometry and induces a spectral decomposition into low-frequency structure and high-frequency residual. We derive coding bounds for both views and show that multiplicity-corrected boundary attention becomes exact as the within-segment path energy vanishes. Empirically, BBC and CC exhibit strikingly different depth preferences: BBC works best in early layers, whereas CC is most effective in later layers. At 300M training tokens, combining BBC and CC improves NLL by 1.44\% on GPT-2 Medium. These gains persist with training runs up to 20B tokens. Representation diagnostics show that BBC increases the relative predictive importance of boundary states, while CC reduces spectral residual energy. Together, these results suggest that structure--residual biases can improve language-model pretraining beyond next-token prediction. Code: https://github.com/haihuang-ml/structure-residual

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23197v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.