PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27244v1cs.LG

온라인 적응을 위한 베이지안 신경망의 전체 공분산 스무딩

Full-Covariance Smoothing of Bayesian Neural Networks for Online Adaptation

신경망의 층은 상태 공간 모델의 시간 단계로 취급할 수 있으며, 이는 베이지안 학습을 스무딩 문제로 바꾼다. 순전파는 네트워크를 통해 가우시안 모멘트를 전파하고, 역방향 Rauch–Tung–Striebel 패스는 가중치 사후분포를 닫힌 형으로 갱신한다. 이러한 방법은 불확실성을 고려하여 각 관측치로부터 단일 패스로 학습하며, 그래디언트 기반 반복이나 replay 없이 수행되므로 온라인 적응과 데이터 효율적 학습에 잘 맞는다. 그러나 기존 스무딩 기반 방법은 활성화에 걸친 공분산이 대각에만 제한되어 뉴런 간 상관을 버린다. 우리는 네트워크의 비선형 활성화를 통한 전체 공분산 전파를 가능하게 하는 교차 공분산 항등식으로 이 한계를 극복한다. 각 층의 아핀 출력만 가우시안으로 근사하는 층당 한 단계 스무더를 유도하며, 이는 잡음이 있는 관측을 갖는 결정론적 시스템과 출력 통계로 기술되는 확률적 시스템 모두에 적용된다. 비정상 분류, 온라인 역학 학습, 비전-언어-행동 모델의 정책 적응에서 이 방법을 시연하였고, 다른 스무딩 기반 방법보다 일반적으로 더 정확함을 확인하였다.

arXiv:2605.08446v4cs.LG

베이지안 신경망을 위한 Bethe 자유 에너지 직접 최소화

Direct Bethe Free Energy Minimization for Bayesian Neural Networks

베이지안 신경망은 일반적으로 증거 하한(ELBO)으로 학습되며, 이는 결합 가능도를 유지하지만 모든 관측마다 Jensen gap을 지불한다. 우리는 대신 지역 일관성으로 학습한다: Bethe 자유 에너지의 직접 최소화이며, 그 데이터 항은 gap을 지불하지 않는다—처리 가능한 예측 합성곱을 갖는 모든 가능도에 대해, 각 관측을 예측 밀도로 정확히 채점하는 엄격한 적절(proper) 규칙이다. 우리의 차별점은 free routing이다: 신념(beliefs)은 폐형식으로 계산된 켤레 사후분포에 묶이는(closed routing) 대신, 백본과 함께 이 목적함수의 자유 매개변수로 학습된다. 결정론적 백본 위의 가우시안 마지막 층으로 구현하면, 정확한 추론은 알려진 closed-routed 코너—결합을 유지하는 증거 최적인 신경-선형 주변 가능도—로 나타난다. 공유 cavity 대신 이를 배치 가능한 per-plate 예측 점수와 교환하고, free routing은 그 점수의 최적에 도달한다—잡음이 이분산(heteroscedastic)일 때마다 바인딩 하에서는 달성 불가능한—정확한 코너 대비 NLL과 보정(calibration)을 개선한다. 이 사례인 SCROLL(Shared-Cavity fRee-rOuting Last-Layer)은 단일 패스, 임의 가능도 베이지안 신경망으로, 하나의 그래디언트 패스에서 암묵적으로 경험적 베이즈 사전 정밀도, 관측 잡음, 공분산, 백본 적합을 수행한다. 아키텍처당 단일 학습 실행과 순전파에서—기존 참조 방법들이 정규화 가중치를 교차 검증하고 앙상블은 추론 시 5–50배 비용을 지불하는—고정 SCROLL 변형은 8개 UCI 회귀 벤치마크 중 7개에서 NLL과 보정에서 최고 또는 동률이며, 세 개의 대규모 표 형식 데이터셋과 두 개의 고정 텍스트/비전 임베딩에서 5개 중 4개에서 최고이다.

arXiv:2503.10496v2stat.ML공식 코드 · Papers with Code

입력 스킵 잠재 이진 베이지안 신경망을 통한 설명 가능한 베이지안 심층 학습

Explainable Bayesian deep learning through input-skip Latent Binary Bayesian Neural Networks

잠재 이진 베이지안 신경망(LBBNN)을 발전시킨 ISLaB는 공변량이 임의의 후속 레이어로 직접 스킵하거나 모델에서 완전히 제외될 수 있도록 하여, 표준 LBBNN 대비 네트워크 밀도를 99% 이상 감소시키면서도 높은 예측 정확도와 불확실성 정량화를 유지한다. 핵심 기여는 활성 경로(active path) 개념의 도입으로, 사후(post hoc) 외부 도구 없이 이론적 보증이 있는 전역·지역 설명 가능성을 LBBNN 프레임워크 내에 직접 내장하며, MNIST에서 단 935개의 가중치로 97% 정확도를 달성해 신경망 압축 분야의 최신 성능에 도달했다.