arXiv:2605.10878v2 cs.LG

최소 신경망 가중치 노름 = 콜모고로프 복잡도

Minimum Neural Weight Norm = Kolmogorov Complexity

Tiberiu Musat

제출 2026-11-19

한국어 초록

신경망은 왜 매개변수 노름이 작을 때 더 잘 일반화되는가? 우리는 상수 정밀도 가중치를 갖는 루프형 신경망에서, 어떤 함수를 계산하는 네트워크의 최소 가중치 노름이 점근적으로 그 함수의 콜모고로프 복잡도를 그 로그로 나눈 값과 동등함을 증명한다. 증명은 두 가지 환원으로 이루어진다. 루프형 신경망은 희소성 패턴을 통해 0이 아닌 매개변수당 로그 개수의 비트라는 비율로 정보를 인코딩할 수 있으며, 반면 임의의 고정 정밀도 네트워크는 로그 수준의 주소 지정 비용으로 0이 아닌 매개변수를 열거함으로써 기술될 수 있다. 두 한계는 동일한 선도 상수 인자를 가지므로 점근적 동등성이 성립한다. 더 나아가 노름 최소화와 알고리즘적 단순성 사이의 이론적 연결을 확립함으로써, 현대 딥러닝에서의 일반화를 이해하기 위한 길을 제시한다.

원문 초록

Why do neural networks generalize better when their parameter norm is small? We prove that, in looped neural networks with constant-precision weights, the smallest weight norm of a network computing a function is asymptotically equivalent to the Kolmogorov complexity of that function, divided by its logarithm. The proof has two reductions: looped neural networks can encode information at a rate of logarithmically many bits per non-zero parameter encoded via the sparsity pattern, while any fixed-precision network can be described by enumerating its non-zero parameters with logarithmic addressing cost. Both bounds have the same leading constant factors, giving an asymptotic equivalence. More broadly, by establishing a theoretical link between norm minimization and algorithmic simplicity, we provide an avenue towards understanding generalization in modern deep learning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.10878v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.