신경기호 자율 사이버 에이전트를 위한 관측 기반 레드 에이전트 정책 학습
Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents
점점 더 정교한 사이버 공격이 확산됨에 따라, 현대 네트워크에는 강화학습(RL)으로 학습된 지능형 자율 사이버 방어 에이전트가 필요하다. 이러한 에이전트는 행동 트리(behavior tree)와 학습 활성화 구성요소(LEC) 같은 신경기호적 접근법을 사용하여 중요 운영을 유지하면서 학습하고, 추론하고, 적응하며, 보안 규칙을 구현한다. 그러나 이러한 자율 네트워크는 부분 관측 가능(partially observable) 시스템이며, 즉 사이버 공격자(레드 에이전트)의 행동은 관측할 수 없어 방어자가 레드 행동을 예측하고, 레드 정책을 학습하거나, 공격자의 침입 수준을 평가하기 어렵다. 이를 해결하기 위해, 우리는 이산 상태와 이산 행동을 가진 부분 관측 가능 강화학습 에이전트의 정책을 학습하기 위해 모방 학습(imitation learning)을 사용하는 정책 학습 기법(Policy Learning Technique)을 제안한다. 우리는 이 기법을 자율 사이버 환경에 적용하여 네트워크 관측 및 방어자 행동으로부터 레드 에이전트의 행동을 예측한다. 신경기호 사이버 방어 에이전트와 통합된 본 방법은 다양한 레드 정책을 효과적으로 처리하며, 다양한 시뮬레이션 시나리오에서 높은 예측 정확도를 달성한다.