분수 브라운 운동으로 구동되는 신경망을 위한 샘플별 역전파 방법
A samplewise backpropagation method for neural networks driven by fractional Brownian motion
본 논문에서는 분수 브라운 운동(fractional Brownian motion)으로 구동되는 잔차 동역학(residual dynamics)을 갖는 분수 확률적 신경망(fractional stochastic neural network)을 개발한다. 이 신경망에 대한 이산 확률적 최대 원리(discrete stochastic maximum principle)를 도입하여 이에 대응하는 인접 재귀(adjoint recursion)를 구성한다. 결정론적(deterministic) 신경망 파라미터에 대해, 투영된 샘플별 확률적 경사하강법(projected samplewise stochastic gradient descent)의 평균제곱 수렴(mean square convergence)을 증명한다. 수치 실험에는 닫힌 형태(closed form) 수렴 테스트, 불확실성 정량화(uncertainty quantification)를 포함한 잡음이 있는 회귀(noisy regression), 장기 기억(long memory) 시간 시계열 생성, 그리고 구조화된 섭동(structured perturbation) 하에서의 이미지 분류가 포함된다. 결과는 분수 구동 항(fractional driver)이 브라운 운동 및 결정론적 기준선(baseline) 대비 장기 기억 복원 또는 강건성(robustness)을 개선하는 설정을 식별한다.