SteinGate: Stein Discrepancy를 통한 꼬리 민감 안전 강화학습
SteinGate: Tail-Sensitive Safe Reinforcement Learning via Stein Discrepancy
안전 강화learning은 일반적으로 기대 누적 비용의 상한을 두어 안전성을 강제하지만, 이 기준은 드물지만 치명적인 꼬리 이벤트를 감지하는 데 실패하는 경우가 많다. 이러한 한계를 극복하기 위해 본 논문은 SteinGate를 제안한다. SteinGate는 클리핑된(clipped) 비용으로 인해 발생하는 경계 원자(boundary atoms)를 고려하면서, 취약한 꼬리 적합(tail fitting) 대신 커널화 Stein Discrepancy(Kernelized Stein Discrepancy)를 이용한 견고한 일관성 검사로 대체하는 경계 인식(boundary-aware) 분포적 안전성 증명서(distributional safety certificate)이다. SteinGate는 관측된 정책 롤아웃 비용이 안전한 기준 분포와 일치하는지를 평가하며, 비모수적(non-parametric) 안전성 증명서를 제공한다. 이 증명서는 학습 체제를 동적으로 조정하는 데 사용된다. 롤아웃이 안전 기준과 일치할 때는 보상을 개선하는 정책 업데이트를 우선하고, 비용 꼬리가 벗어날 때는 복구(recovery) 행동으로 전환한다. 연속 제어(continuous-control) 벤치마크 실험에서 SteinGate는 최첨단(state-of-the-art) 기준선 대비 경쟁력 있는 수익(return)을 유지하면서, 학습 중 제약 위반의 빈도와 심각도를 모두 크게 줄인다.