콜모고로프-아놀드 네트워크의 신경망 스케일링 법칙 및 학습 가능한 활성화 함수의 진화
Neural scaling laws and evolution of learnable activation functions of Kolmogorov-Arnold networks
한국어 초록
콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Networks, KAN)는 전통적인 다층 퍼셉트론(MLP) 기반 신경망을 대체할 매력적인 대안을 제시합니다. 활성화 함수를 학습 가능한 요소로 활용함으로써 KAN은 뛰어난 해석 가능성을 제공하여 과학 분야에 적합합니다. 본 연구에서는 데이터셋 확장에 따른 KAN의 신경망 스케일링 법칙(neural scaling laws)과 학습 가능한 활성화 함수의 구조적 진화를 조사합니다. 구체적으로 표준 이미지 분류 벤치마크(MNIST 및 Fashion-MNIST)와 특화된 과학 회귀 태스크(무아레 자기 텍스처의 도메인 이미지로부터 자기 매개변수 추정)에 걸쳐 BSRBF-KAN, Gottlieb-KAN, Faster-KAN 등 세 가지 KAN 변형 모델의 스케일링 동작을 평가합니다. 연구 결과, 테스트 손실 ${\cal L}$은 데이터셋 크기 $N_D$의 함수로서 꺾인 신경망 스케일링 법칙(broken neural scaling law, BNSL) 형태를 보임을 입증합니다. 무작위 추측 구간(random-guess regime)을 지난 후, 손실은 아키텍처 및 태스크에 따른 스케일링 거동을 따릅니다. 이미지 분류 태스크의 경우 손실은 더 빠른 스케일링 가지에서 더 느린 스케일링 가지로 전이되며, 이는 ${\cal L}\propto N_D^{-α}$ 및 ${\cal L}\propto N_D^{-β}$ ($α>β$) 형태를 가집니다. 지수 $α$와 $β$는 특정 네트워크 아키텍처와 데이터셋 크기 구간 모두에 강하게 의존하며, 각각 0.4에서 1.5, 0.06에서 0.6의 범위를 보입니다. 자기 매개변수 회귀 태스크의 경우 손실은 1.28에서 2.59 범위의 지수를 갖는 단일 스케일링 법칙을 따릅니다. 또한 데이터양이 증가함에 따라 활성화 함수가 복잡도를 어떻게 정교화하는지에 대한 구조적 분석을 제공하며, 데이터셋 확장이 단순한 선형 유사 근사에서 안정적이고 해석 가능한 기호적 형태로의 전이를 유도함을 발견했습니다. 이러한 결과는 모델의 표현력과 연산 오버헤드 간의 상충 관계를 관리하면서 KAN을 효율적으로 적용하기 위한 정량적 로드맵을 제공합니다.
원문 초록
Kolmogorov-Arnold Networks (KANs) represent a compelling alternative to traditional Multi-Layer Perceptron (MLP)-based neural networks. By employing activation functions as learnable elements, KANs offer superior interpretability, making them suited for scientific domains. In this work, we investigate the neural scaling laws of KANs and the structural evolution of their learnable activation functions under dataset expansion. Specifically, we evaluate the scaling behavior of three KAN variants---BSRBF-KAN, Gottlieb-KAN, and Faster-KAN---across standard image classification benchmarks (MNIST and Fashion-MNIST) and a specialized scientific regression task (magnetic parameter estimation from domain images of moiré magnetic textures). Our results demonstrate that the test loss ${\cal L}$ exhibits a broken neural scaling law (BNSL) behavior as a function of the dataset size $N_D$. After passing through a random-guess regime, the loss follows architecture- and task-dependent scaling behavior. The loss crosses from a faster- to a slower-scaling branch, ${\cal L}\propto N_D^{-α}$ and ${\cal L}\propto N_D^{-β}$ with $α>β$ for image classification tasks. The exponents $α$ and $β$ depend strongly on both the specific network architecture and the dataset-size regime, ranging from 0.4 to 1.5 and from 0.06 to 0.6, respectively. For the magnetic parameter-regression task, the loss follows a single scaling law with its exponent ranging from 1.28 to 2.59. Additionally, we provide a structural analysis of how activation functions refine their complexity as data volume increases, finding that dataset expansion drives a transition from simple linear-like approximations toward stable, interpretable symbolic forms. These findings provide a quantitative roadmap for the efficient application of KANs while managing the trade-off between model expressivity and computational overhead.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
13 pages, 10 figures. Supplementary Notes will be provided in the published version