온라인 적응을 위한 베이지안 신경망의 전체 공분산 스무딩
Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation
신경망의 층은 상태 공간 모델의 시간 단계로 취급할 수 있으며, 이는 베이지안 학습을 스무딩 문제로 바꾼다. 순전파는 네트워크를 통해 가우시안 모멘트를 전파하고, 역방향 Rauch–Tung–Striebel 패스는 가중치 사후분포를 닫힌 형으로 갱신한다. 이러한 방법은 불확실성을 고려하여 각 관측치로부터 단일 패스로 학습하며, 그래디언트 기반 반복이나 replay 없이 수행되므로 온라인 적응과 데이터 효율적 학습에 잘 맞는다. 그러나 기존 스무딩 기반 방법은 활성화에 걸친 공분산이 대각에만 제한되어 뉴런 간 상관을 버린다. 우리는 네트워크의 비선형 활성화를 통한 전체 공분산 전파를 가능하게 하는 교차 공분산 항등식으로 이 한계를 극복한다. 각 층의 아핀 출력만 가우시안으로 근사하는 층당 한 단계 스무더를 유도하며, 이는 잡음이 있는 관측을 갖는 결정론적 시스템과 출력 통계로 기술되는 확률적 시스템 모두에 적용된다. 비정상 분류, 온라인 역학 학습, 비전-언어-행동 모델의 정책 적응에서 이 방법을 시연하였고, 다른 스무딩 기반 방법보다 일반적으로 더 정확함을 확인하였다.