그래디언트 섭동을 통한 커널 방법의 비모수적 불확실성 정량화
Distribution-Free Uncertainty Quantification for Kernel Methods by Gradient Perturbations
본 논문에서는 커널(kernel) 방법으로 구축된 모델(model)의 불확실성을 정량화하기 위한 데이터 기반 접근 방식을 제안합니다. 제안하는 접근 방식은 필요한 분포 가정을 최소화하므로, 가령 가우시안 프로세스(Gaussian process)나 지수족(exponential family)을 다루는 대신 측정 노이즈가 대칭적이거나 교환 가능하다는 등 노이즈의 완만한 정칙성(regularity)에 대한 지식만을 필요로 합니다. 최근의 유한 표본 시스템 식별 결과를 바탕으로, 목적 함수의 그래디언트(gradient) 내 잔차(residual)를 섭동시킴으로써 모델이 지닌 불확실성의 크기에 대한 정보를 추출할 수 있음을 보입니다. 구체적으로, 추정하고자 하는 함수의 이상적인 노이즈 없는 표현에 대해 정확하고 비점근적으로 보장되는 비모수적(distribution-free) 신뢰 영역을 구축하는 알고리즘을 제공합니다. 일반적인 볼록 이차 문제 및 대칭 노이즈의 경우, 이 영역은 주어진 공칭 추정치를 중심으로 하는 스타 볼록(star convex) 형태를 가지며 효율적인 타원체 외접 근사가 가능합니다. 마지막으로, LS-SVC, KRR, $\varepsilon$-SVR, 커널화된 LASSO와 같은 대표적인 커널 방법에 이러한 아이디어를 적용하여 설명합니다.