PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2505.24849v2stat.ML공식 코드 · Papers with Code

보간 근처 광확 너비 베이지안 신경망의 통계역학

Statistical mechanics of extensive-width Bayesian neural networks near interpolation

30년 동안 통계역학은 신경망을 분석하는 프레임워크를 제공해 왔다. 그러나 이론적으로 다루기 쉬운 모델들—예를 들어 퍼셉트론(perceptron), 랜덤 특징 모델, 커널 머신, 또는 뉴런 수가 적은 다중 지표(multi-index) 모델과 위원회(committee) 머신—은 응용에서 사용되는 모델에 비해 단순한 상태로 남아 있다. 본 논문에서는 일반적인 가중치 분포와 활성화 함수를 갖춘 2층 완전연결 신경망의 지도 학습에 대한 통계물리학 분석을 통해, 실용적 네트워크와 이에 대한 이론적 이해 사이의 격차를 줄이는 데 기여한다. 이 네트워크의 은닉층은 크지만 입력 차원에 비례하는 크기를 유지한다. 이는 특징 학습이 일어나지 않는 무한 너비 네트워크보다 현실적이면서, 좁은 네트워크나 내부 가중치가 고정된 네트워크보다 표현력이 크다. 우리는 교사-학생(teacher-student) 시나리오에서 베이즈 최적 학습에 초점을 맞춘다. 즉, 동일한 구조의 다른 네트워크가 생성한 데이터셋을 사용한다. 우리는 학습 가능한 파라미터 수와 데이터 수가 비슷하고 특징 학습이 나타나는 보간 근처에서 분석을 수행한다. 우리의 분석은 데이터 수가 증가함에 따라 다양한 학습 전이가 나타나는 풍부한 현상론을 밝혀낸다. 특히, 특징(즉, 타깃의 은닉 뉴런)이 관측된 응답에 더 강하게 기여할수록, 이를 학습하는 데 필요한 데이터는 더 적다. 게다가 데이터가 부족할 때, 모델은 교사의 가중치와 정렬(align)하여 "특화(specialise)"하는 대신 교사 가중치의 비선형 결합만을 학습한다. 특화는 충분한 데이터가 확보될 때만 일어나지만, 실용적 학습 알고리즘에서는 이를 찾기 어려울 수 있으며, 이는 아마도 통계-계산(statistical-to-computational) 격차 때문일 것이다.