시변 시스템에서 하이브리드 ES-DRL 제어를 위한 마할라노비스 기반 잠재 공간 분포 외 검출
Mahalanobis-Guided Latent OOD Detection for Hybrid ES-DRL Control in Time-Varying Systems
본 논문에서는 비선형 시변 시스템에서 테스트 시 강화학습(RL) 제어기 전환을 위한 마할라노비스 기반 잠재 공간 분포 외(OOD) 검출을 연구한다. RL 제어기는 학습 분포 내에서 고차원 시스템을 빠르게 제어할 수 있지만, 시변 동역학이 학습 중 보지 못한 관측을 생성할 경우 성능이 저하될 수 있다. 본 연구에서는 ES-DRL 결합 제어기를 고려하며, RL은 분포 내에서 빠른 행동을 제공하고 경계 극값 탐색(ES)은 OOD 동작 하에서 강인한 모델 독립적 제어를 제공한다. 핵심 과제는 전환 시점을 결정하는 것이다. 분포 내 빔 프로파일 관측으로 변분 오토인코더(VAE)를 학습하고, 테스트 시 OOD 빔 프로파일을 검출하기 위해 VAE 잠재 공간에서 마할라노비스 거리를 사용한다. 이 OOD 판단은 RL 제어기 또는 ES 제어기를 선택하는 이진 스위치를 설정한다. 안전이 중요한 입자 가속기 제어 환경에서 해당 접근법을 평가한다. 이 환경에서 공간 자석의 이동은 RL 학습 중 나타나지 않았던 OOD 빔 프로파일을 생성한다. VAE 잠재 공간의 시각화를 통해, 제안된 방법이 이 OOD 시나리오를 식별하고 결합 제어기에서 RL과 ES 간 전환을 위한 해석 가능한 신호를 제공함을 확인한다.