콜모고로프-아놀드 네트워크의 신경망 스케일링 법칙 및 학습 가능한 활성화 함수의 진화
Neural scaling laws and evolution of learnable activation functions of Kolmogorov-Arnold networks
콜모고로프-아놀드 네트워크(Kolmogorov-Arnold Networks, KAN)는 전통적인 다층 퍼셉트론(MLP) 기반 신경망을 대체할 매력적인 대안을 제시합니다. 활성화 함수를 학습 가능한 요소로 활용함으로써 KAN은 뛰어난 해석 가능성을 제공하여 과학 분야에 적합합니다. 본 연구에서는 데이터셋 확장에 따른 KAN의 신경망 스케일링 법칙(neural scaling laws)과 학습 가능한 활성화 함수의 구조적 진화를 조사합니다. 구체적으로 표준 이미지 분류 벤치마크(MNIST 및 Fashion-MNIST)와 특화된 과학 회귀 태스크(무아레 자기 텍스처의 도메인 이미지로부터 자기 매개변수 추정)에 걸쳐 BSRBF-KAN, Gottlieb-KAN, Faster-KAN 등 세 가지 KAN 변형 모델의 스케일링 동작을 평가합니다. 연구 결과, 테스트 손실 ${\cal L}$은 데이터셋 크기 $N_D$의 함수로서 꺾인 신경망 스케일링 법칙(broken neural scaling law, BNSL) 형태를 보임을 입증합니다. 무작위 추측 구간(random-guess regime)을 지난 후, 손실은 아키텍처 및 태스크에 따른 스케일링 거동을 따릅니다. 이미지 분류 태스크의 경우 손실은 더 빠른 스케일링 가지에서 더 느린 스케일링 가지로 전이되며, 이는 ${\cal L}\propto N_D^{-α}$ 및 ${\cal L}\propto N_D^{-β}$ ($α>β$) 형태를 가집니다. 지수 $α$와 $β$는 특정 네트워크 아키텍처와 데이터셋 크기 구간 모두에 강하게 의존하며, 각각 0.4에서 1.5, 0.06에서 0.6의 범위를 보입니다. 자기 매개변수 회귀 태스크의 경우 손실은 1.28에서 2.59 범위의 지수를 갖는 단일 스케일링 법칙을 따릅니다. 또한 데이터양이 증가함에 따라 활성화 함수가 복잡도를 어떻게 정교화하는지에 대한 구조적 분석을 제공하며, 데이터셋 확장이 단순한 선형 유사 근사에서 안정적이고 해석 가능한 기호적 형태로의 전이를 유도함을 발견했습니다. 이러한 결과는 모델의 표현력과 연산 오버헤드 간의 상충 관계를 관리하면서 KAN을 효율적으로 적용하기 위한 정량적 로드맵을 제공합니다.