PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.17886v1cs.LG

Monotonic Kolmogorov-Arnold Networks: A Theoretical and Empirical Study of Monotonicity as an Inductive Bias

단조성(Monotonicity)은 신경망의 오랜 아키텍처적 귀납적 바이어스로, 출력이 특정 입력에 단조적으로 반응하는 것으로 알려진 표 형식(tabular), 과학적, 경제적 환경에 의해 동기가 부여되어 왔다. 기존 접근법은 MLP 또는 흐름 기반(flow-based)이며 엣지별 함수적 투명성이 결여되어 있다. 단조성을 갖는 유일한 콜모고로프-아놀드 네트워크(KAN) 변형인 MonoKAN은 제한된 매개변수 부분집합에만 제약을 적용하며 투영 방식의 학습 절차를 필요로 한다. 본 연구는 B-스플라인 계수의 지수적 재매개변수화(exponential reparameterization), 양의 엣지 가중치, 단조 기저 활성화 함수를 통해 모든 매개변수 값에 대해 강한 단조성을 보장하는 KAN인 MKAN으로 이 격차를 해소한다. 학습은 표준 비제약 경사하강법으로 귀결된다. 핵심 이론적 기여는 표현 비용 정리(representation-cost theorem)로, 구형 의미적 이웃 분할(ball-shaped semantic-neighborhood partition)을 유도하는 임의의 $C^K, K > 0$ 특징 추출기는 $k$가 원래의 비단조 좌표 수일 때 $N' = N^* + k \le 2N^*$에서 동등한 이웃 구조의 단조 실현(monotone realization)을 허용함을 보인다. 이 경계는 아키텍처에 무관하며 단조 인코더를 위한 원칙적인 크기 결정 규칙을 제공한다. 실험적으로 MKAN은 SMM/ICML-2024 벤치마크에서 최신 단조 신경망들과 경쟁력 있는 성능을 달성하면서, 강한 비제약 단조성과 KAN의 엣지별 함수적 투명성을 결합한 유일한 방법이다. $2N^*$ 예측은 네 개의 실제 데이터셋에 대한 자기지도(self-supervised) 특징 크기 탐색에서 검증되었으며, 제어된 단조 생성 데이터셋에서 MKAN은 KAN, MLP, 선형 기준선 대비 스피어만 정렬(Spearman alignment)이 실질적으로 더 높은 수준으로 실제 요인(ground-truth factors)을 복원한다.