PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21083v2stat.ML

매끄러운 가법 모델에서의 자동 매듭 선택

Automatic knot selection in smooth additive models

B-스플라인 회귀는 비모수 모델링을 위한 널리 사용되는 프레임워크이다. 이 방법론의 성능은 추정 과정 이전에 변화점(changepoint), 즉 매듭(knot)의 개수와 위치를 지정하는 것에 달려 있다. 이러한 매듭 시퀀스는 회귀 함수를 표현하는 데 사용되는 B-스플라인 기저(basis)의 차원과 추정해야 할 계수의 개수를 결정한다. 따라서 매듭 선택은 모델의 유연성에 영향을 미치며, 매끄러움과 적합도(goodness-of-fit)에 영향을 준다. 전통적으로 이 문제는 매듭 선택 알고리즘을 통해 매듭을 명시적으로 선택하거나, P-스플라인과 같이 회귀자의 매끄러움을 자동으로 조정하는 정규화(regularization) 방법으로 해결해 왔다. 후자는 일반화 가법 모델(GAM)에서 표준이 되었다. 반면, 계산적 또는 모델링상 한계로 인해 종종 간과되는 매듭 선택 기법은 일부 맥락에서 유용할 수 있는 특정 장점을 제공한다. 본 연구에서는 적응형 스플라인(A-splines) 매듭 선택 방법론의 확장에 기반하고, 관련 매개변수 조정을 위해 맞춤형 Fellner-Schall 방식을 결합한 GAM을 위한 새로운 명시적 매듭 선택 기법을 제안한다. 제안 방법은 다양한 합성 및 실제 데이터셋(dataset)에서 평가되었으며, P-스플라인 및 최신 매듭 선택 기법과 비교되었다. 결과는 유사한 성능을 보이면서, 훨씬 적은 수의 기저 원소로 구성된 모델(model)을 생성함을 나타낸다.

arXiv:2606.23575v1cs.LG

하이퍼파라미터를 풀어 구하고 탐색은 생략: 스플라인 회귀의 Kolmogorov-최적 스케일링 법칙

Solve for the Hyperparameter, Skip the Search: Kolmogorov-Optimal Scaling Laws for Spline Regression

스플라인 회귀의 해상도 하이퍼파라미터는 Kolmogorov n-width와 PRESS 기반 leave-one-out 오차로 편향-분산 곡선을 해석적으로 균형 맞출 수 있어, 그리드 탐색 없이 최적값을 구할 수 있다. KORE 알고리즘은 두 파일럿 해상도만으로 닫힌 형식 해를 추정해 전체 탐색 대비 약 8배 적은 모델 적합으로 3-fold 교차검증·GCV·AIC·BIC와 맞먹는 성능을 보였고, 36개 실제 tabular 데이터셋 21개 방법 중 계산량 대비 정확도 1위를 기록했다.