신경 언어 모델(NLM)이 합성 문법 학습 과정에서 어떤 통계적 지식을 먼저 습득하는지를 발달적 접근법으로 분석한 결과, 트랜스포머 모델은 학습 초기에 가장 추상적인 전역 통계 패턴을 먼저 습득하고 이후 상대적으로 지역적인 의존성을 학습하는 과잉 일반화(over-generalization) 경로를 따름을 발견했다. 이 관찰을 바탕으로 NLM의 통계적 학습과 언어 인지를 설명하는 새로운 프레임워크를 제안한다.
통계적 학습(statistical learning)의 경험적 위험 원칙(ERP)에서 두 종류 오류 확률에 대한 농축 부등식(concentration inequalities)을 증명해, 최소 경험적 위험을 기준으로 최소 위험(minimal risk)의 비점근적(non-asymptotic) 상·하한을 높은 신뢰도로 제시한다. 경험적 위험 함수의 유계(boundedness) 조건을 가우시안 또는 지수 적분 가능(integrability) 조건으로 완화했으며, 하한 신뢰도는 학습 파라미터 수와 입력 차원과 무관해 학습기의 비효율을 빠르게 검증할 수 있고, 상한은 표본 크기 n이 위험 함수 관련 Orlicz 메트릭 d_{ψ_1}에서 파라미터 집합 Θ의 box dimension보다 충분히 클 때 높다.