PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2501.18530v3stat.ML

보간 근처 광폭(extensive-width) 얕은 신경망에서의 최적 일반화와 학습 전이

Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation

폭 $k$와 입력 차원 $d$가 크고 비례하는, 완전히 학습된 2층 신경망을 사용하는 지도 학습의 teacher-student 모델을 고려한다. 임의의 활성화 함수에 대해, 표본 크기 $n$이 입력 차원과 이차적으로 스케일링하는 영역, 즉 학습 가능한 파라미터 수 $kd+k$와 데이터 $n$이 비슷한 보간 임계값 근처에서, 신경망의 베이즈 최적 일반화 오차를 근사하는 유효 이론을 제공한다. 분석은 일반적인 가중치 분포를 다룬다. "범용(universal)" 단계와 "특화(specialisation)" 단계를 구분하는 불연속 상전이를 밝혀낸다. 전자에서는 일반화 오차가 가중치 분포와 무관하며 샘플링 비율 $n/d^2$에 따라 느리게 감쇠하고, 학생 모델은 교사 가중치의 일부 비선형 결합만 학습한다. 후자에서는 오차가 가중치 분포에 의존하며, 학생 모델이 교사 신경망을 향해 정렬(alignment)되면서 더 빠르게 감쇠한다. 따라서 보간 근처에 매우 예측력 있는 해가 존재함을 밝히지만, 실용적인 알고리즘으로는 찾기 어려울 수 있다.

arXiv:2606.13045v1cond-mat.dis-nn

비지도 연합 학습을 위한 풀이 가능한 모델

A solvable model for unsupervised federated learning

교사-학생 시나리오를 기반으로 생성형 비지도 연합 학습(unsupervised federated learning)을 분석하는 이론적 프레임워크를 제안하여, 학생 간 상호작용이 학습 성능을 체계적으로 향상시킴을 입증합니다. 해당 동역학은 제한된 볼츠만 머신(Restricted Boltzmann Machine)의 평형 샘플링으로 매핑되어 분산 생성 모델링에 대한 이론적 통찰을 제공합니다.