PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07495v1cs.LG

머신러닝에서의 2차 경로 커널 보간 공식

Second-Order Path Kernel Interpolation Formulas in Machine Learning

학습 데이터가 신경망 예측을 어떻게 형성하는지 이해하는 것은 현대 학습 이론의 핵심 문제입니다. 2020년 Pedro Domingos는 결정론적 경사하강법으로 학습된 모든 모델에 대해 유효한 보간 공식을 제안했습니다. 이 공식은 모델의 예측을 최적화 경로를 따른 데이터 종속 커널의 적분으로 표현하는데, 해당 커널은 테스트 데이터와 학습 데이터에서 모델의 그래디언트를 정렬시킵니다. 이러한 1차 특성화는 배치 기반 확률적 최적화로 학습된 모델에 대해서도 여전히 유효합니다. 본 논문에서는 이러한 보간 공식의 2차 형태를 개발합니다. 우리는 주요 경로 커널 보간이 곡률 가중치가 적용된 보간 항에 의해 보완됨을 보여줍니다. 확률적 경사하강법의 경우, 예측의 곡률을 미니배치 그래디언트 노이즈의 공분산과 결합하는 추가적인 샘플링 유발 성분이 나타납니다. 또한 우리는 모멘텀이 적용된 확률적 경사하강법으로 표현을 확장하며, 여기서는 보간 구조가 유지되되 가중치가 메모리 관련 인자에 의해 수정됩니다. 더 나아가, 우리는 최종 예측에 대한 집중 추정을 확립하여 기대되는 2차 표현 주변의 변동 스케일을 식별합니다. 종합적으로, 이러한 결과들은 신경망 예측에 대한 경로 커널 해석을 정교화합니다.