PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27460v1cs.CL

발달적 접근법이 신경 언어 모델의 통계적 학습을 밝힘: 트랜스포머는 가장 추상적인 통계 패턴으로부터 일반화한다

Developmental approach reveals the statistical learning of Neural Language Models: Transformers generalize from the most abstract statistical patterns

신경 언어 모델(NLM)이 합성 문법 학습 과정에서 어떤 통계적 지식을 먼저 습득하는지를 발달적 접근법으로 분석한 결과, 트랜스포머 모델은 학습 초기에 가장 추상적인 전역 통계 패턴을 먼저 습득하고 이후 상대적으로 지역적인 의존성을 학습하는 과잉 일반화(over-generalization) 경로를 따름을 발견했다. 이 관찰을 바탕으로 NLM의 통계적 학습과 언어 인지를 설명하는 새로운 프레임워크를 제안한다.

arXiv:2606.23295v1cs.LG

통계적 학습에서 최소 위험의 비점근적 추정

Non-asymptotic estimates of the minimal risk in statistical learning

통계적 학습(statistical learning)의 경험적 위험 원칙(ERP)에서 두 종류 오류 확률에 대한 농축 부등식(concentration inequalities)을 증명해, 최소 경험적 위험을 기준으로 최소 위험(minimal risk)의 비점근적(non-asymptotic) 상·하한을 높은 신뢰도로 제시한다. 경험적 위험 함수의 유계(boundedness) 조건을 가우시안 또는 지수 적분 가능(integrability) 조건으로 완화했으며, 하한 신뢰도는 학습 파라미터 수와 입력 차원과 무관해 학습기의 비효율을 빠르게 검증할 수 있고, 상한은 표본 크기 n이 위험 함수 관련 Orlicz 메트릭 d_{ψ_1}에서 파라미터 집합 Θ의 box dimension보다 충분히 클 때 높다.