불확실성 인식 강화학습을 위한 일반화 가우시안 시간차 오차
Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning
기존의 불확실성 인식 시간차(TD) 학습은 TD 오차를 영평균(zero-mean) 가우시안으로 모델링하는 경우가 많다. 이 가정은 부트스트래핑과 탐험(exploration)으로 인해 발생하는 heavy-tailed 및 이분산(heteroscedastic) 잔차를 놓칠 수 있다. 우리는 일반화 가우시안 분포(GGD)에 기반한 상태 조건부 형상(shape) 헤드를 도입하고, 수치적으로 수정된 GGD 손실(loss)을 비정상(nonstationary) TD 잔차에 대한 온라인 대리(surrogate)로 사용한다. 때로 혼동되는 두 가지 수학적 사실을 구분한다: 정확한 GGD 가능도(likelihood)는 모든 $β>0$에 대해 정규화되어 있지만, 그 지수 밀도 커널(kernel)은 $β\in(0,2]$에서 양의 정부(positive definite)이다. 학습된 형상을 이용해 단순한 단조 가중 휴리스틱을 구성하고, 앙상블(ensemble) TD 오차의 분산과 표본 초과 첨도(sample excess kurtosis)로부터 Batch Inverse Error Variance(BIEV) 정규화(regularization)를 제안한다. 연속 및 이산 제어 벤치마크(benchmark) 전반에서 형상 인식 변형이 여러 설정에서 가우시안 기반 변형보다 개선되지만, 이득은 과제와 체제(regime)에 따라 달라진다.