arXiv:1703.06777

On the Use of Default Parameter Settings in the Empirical Evaluation of Classification Algorithms

Anthony Bagnall, Gavin C. Cawley

제출 2017-03-20

원문 초록

We demonstrate that, for a range of state-of-the-art machine learning algorithms, the differences in generalisation performance obtained using default parameter settings and using parameters tuned via cross-validation can be similar in magnitude to the differences in performance observed between state-of-the-art and uncompetitive learning systems. This means that fair and rigorous evaluation of new learning algorithms requires performance comparison against benchmark methods with best-practice model selection procedures, rather than using default parameter settings. We investigate the sensitivity of three key machine learning algorithms (support vector machine, random forest and rotation forest) to their default parameter settings, and provide guidance on determining sensible default parameter values for implementations of these algorithms. We also conduct an experimental comparison of these three algorithms on 121 classification problems and find that, perhaps surprisingly, rotation forest is significantly more accurate on average than both random forest and a support vector machine.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13413v1cs.LG공통 태그 General Classification, Model Selection

통계적 이점이 비용을 정당화하는가? 구조화 데이터 분류에서 KAN과 MLP의 실증 비교

Is the Statistical Advantage Worth the Cost? An Empirical Comparison of KANs and MLPs for Structured Data Classification

본 연구는 구조화된 표 형식 데이터 분류 작업에서 Kolmogorov-Arnold Networks(KAN)와 Multi-Layer Perceptrons(MLP) 간의 실증적 벤치마크 비교를 제시한다. 함수 근사 아키텍처의 대안으로 KAN에 대한 관심이 커지고 있다는 점에 영감을 받아, 이진, 다중 클래스, 다중 레이블, 순서형 문제에 걸친 12개의 공개 데이터셋에서 즉시(out-of-the-box) 성능을 평가했다. 두 모델 모두 표준화된 전처리, 아키텍처, 고정 하이퍼파라미터 설정 하에서 학습했으며, 성능은 테스트 정확도와 F1-Score, 대응 가설 검정, 효과 크기 분석으로 평가했다. 결과는 KAN이 이진 및 다중 클래스 영역에서 통계적으로 MLP보다 우수한 성능을 보이며, 모든 데이터셋에서 유의미한 전체적 우위를 달성함을 보여준다. 그러나 관찰된 중간 효과 크기(d = -0.46)는 중요한 비용-편익 고려를 제기한다. KAN은 적응형 스플라인 기반 매핑을 통해 우수한 일반화를 제공하지만, 이 우위는 MLP 기준선 대비 매개변수 및 계산 복잡도가 상당히 더 높다는 대가를 수반한다. 이러한 결과는 KAN이 높은 정밀도가 요구되는 응용에 선호되는 선택이며, MLP는 자원이 제한된 환경에서 견고하고 효율적인 옵션으로 남아 있음을 시사한다. 향후 연구는 이러한 아키텍처 선택 기준을 더욱 정교화하기 위해 추가 데이터 모달리티로 이 분석을 확장해야 한다.

arXiv:2606.20874v1cs.LG공통 태그 General Classification, Model Selection

크리오패시 증후군의 머신러닝 분류: 포괄적 비교 연구

Machine Learning Classification of Cryopathy Syndromes: A Comprehensive Comparative Study

크리오패시 증후군은 진단 범주 간에 검사실 패턴이 자주 겹치고 일부 진단이 드문 경우가 있어 분류가 어렵다. 이로 인해 크라이오글로불린 관련 검사의 일상적 해석이 어려워지고 전문가 판단에 대한 의존도가 높아진다. 본 연구의 목적은 검사실 데이터로부터 크리오패시 증후군을 자동 분류하기 위한 머신러닝 접근법을 개발·비교하고, 임상 의사결정 지원을 위한 실용적 전략을 찾는 것이었다. 방법: 14개 진단 범주에 배정된 2,686명 환자의 검사실 기록을 분석했다. 데이터셋에는 인구통계학적 변수, 크라이오글로불린 측정값, 침전 검사, 그리고 혈구응집소 및 용혈소 적가가 포함되었다. 데이터 전처리에는 정제, 인코딩, 결측치 대체(imputation), 정규화, 그리고 임상적으로 정보를 반영한 상호작용 특징 구성이 포함되었다. Random Forest, Gradient Boosted Trees, Multi-Layer Perceptron, 소프트 보팅(soft-voting) 앙상블, Synthetic Minority Over-sampling Technique(SMOTE)을 이용한 클래스 균형화, 계층적 분류, 기간 인식(period-aware) 모델, 표적 이진 분류기, 확률 보정(probability calibration)을 포함해 12가지 모델링 전략을 평가했다. 성능은 계층화된 train-test 평가와 계층화 5-fold 교차검증으로 평가했다. 주요 지표는 매크로 평균 F1 점수, 정확도(accuracy), Top-3 정확도, 기대 보정 오차(expected calibration error)였다. 뚜렷한 클래스 불균형과 진단 간 임상적 중첩으로 인해 전체 과제는 어려운 것으로 나타났다. 최고의 다중 클래스 성능은 Random Forest와 Gradient Boosted Trees의 소프트 보팅 앙상블이 달성했다. 교차검증은 균형화된 Random Forest 모델의 안정적인 성능을 확인했다. 트리 기반 방법은 신경망 모델보다 일관되게 우수한 성능을 보였다. 특징 공학(feature engineering)은 판별력을 향상시켰으며, 가장 정보가 풍부한 예측 변수는 크라이오글로불린 기반 파생 상호작용 특징에서 나왔다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.