대규모 언어 모델을 활용한 계층적 사이버 방어를 향하여: 계획부터 실행까지
Towards Hierarchical Cyber Defense with Large Language Models: From Planning to Execution
강화학습(RL)으로 학습된 자율 사이버 방어 에이전트는 일반적으로 학습된 특정 네트워크에 종속되어 네트워크 규모가 변할 때 일반화 능력이 제한됩니다. 계층적 강화학습은 전략적 목표 설정과 전술적 실행을 분리하여 의사결정 복잡도를 줄이지만, 이러한 재학습 의존성을 완전히 제거하지는 못합니다. 본 연구에서는 파라미터가 고정된(frozen) 제로샷 대규모 언어 모델(LLM)이 계층적 사이버 방어에서 재학습이 필요 없는 제어를 제공할 수 있는지, 그리고 LLM 제어가 계획에서 실행으로 확장됨에 따라 성능이 어떻게 변화하는지 조사합니다. 우리는 계획자가 고정된 기간 동안 방어할 서브넷을 선택하고 실행자가 해당 서브넷 내에서 방어 행동을 선택하는 제어기 독립적(controller-agnostic) 계획자-실행자 계층 구조를 정식화합니다. MITRE ATT&CK 프레임워크와 매핑된 자동화된 레드팀 에이전트가 내장된 고충실도 Cyberwheel 환경을 활용하여, 소형, 중형, 대형 네트워크 전반에서 사이버 보안 특화 모델 2종을 포함한 3B~70B 파라미터 규모의 6개 모델을 바탕으로 RL+RL, LLM+RL, LLM+LLM 구성을 비교합니다. 계획자만 LLM으로 교체하는 것은 네트워크 크기가 커짐에 따라 제한적인 성능 향상만을 보였습니다. 반면, 실행 단계까지 LLM 제어를 확장하면 충분한 역량을 갖춘 모델에서 주목할 만한 성능 개선이 나타났습니다. 예를 들어, 고정된 범용 70B 모델은 RL 기준선이 각 규모마다 재학습되는 동안 동일한 모델 가중치를 사용하여 세 가지 네트워크 규모 모두에서 성공적인 횡적 이동(lateral movement) 비율을 약 1% 수준으로 억제하고 공격자 영향을 거의 0에 가깝게 유지했습니다. 본 연구 결과는 충분한 역량을 갖춘 고정된 LLM이 과제 특화 재학습 없이도 평가된 네트워크 규모 전반에 걸쳐 강력한 방어 성능을 유지할 수 있음을 보여주는 동시에, LLM 기반 제어의 이점을 실현하는 데 강력한 전술적 실행이 중요하다는 점을 시사합니다.