arXiv:2611.19798v1 cs.LG

얕은 신경망의 배런 근사와 국소 최적 가중치 밀도

Barron Approximation and locally optimal weight densities for shallow neural networks

G. Welper

제출 2026-11-17

한국어 초록

평균장 이론은 신경망 폭이 무한대로 가는 극한에서 가중치 분포를 분석해 얕은 신경망의 최적화 결과를 제공한다. 유한한 크기의 신경망에 대한 대응 결과는 입자 근사로 얻을 수 있지만, 이 근사에 대한 정밀한 정량 경계를 밝히는 일은 아직 미해결 문제다. 본 논문은 유한한 크기의 신경망을 더 세밀하게 제어할 수 있는 변형 평균장 손실을 다룬다. 볼록성과 균등 분포 성질을 증명한다. 이를 통해 국소 손실 최소점에서 표본 추출한 신경망의 배런 유형 근사 결과를 직접 도출한다. 또한 새 손실 함수의 입자 근사가 드롭아웃 형태의 정규화를 적용한 경사하강법으로 자연스럽게 이어짐을 보인다.

원문 초록

Mean field theories provide optimization results for shallow neural networks by analyzing the weight distribution in infinite width limits. Corresponding results for finite sized networks are obtained by particle approximations, for which sharp quantitative bounds are still an open problem. In this paper, we consider a modified mean field loss, which allows a more fine grained control over finite sized networks. We prove convexity and equidistribution properties, which directly lead to Barron type approximation results for networks sampled from local loss minimizers. We demonstrate that particle approximations of the new loss function naturally lead to gradient descent methods with dropout type regularization.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19798v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.