PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00590v1cs.CR

대규모 언어 모델을 활용한 계층적 사이버 방어를 향하여: 계획부터 실행까지

Towards Hierarchical Cyber Defense with Large Language Models: From Planning to Execution

강화학습(RL)으로 학습된 자율 사이버 방어 에이전트는 일반적으로 학습된 특정 네트워크에 종속되어 네트워크 규모가 변할 때 일반화 능력이 제한됩니다. 계층적 강화학습은 전략적 목표 설정과 전술적 실행을 분리하여 의사결정 복잡도를 줄이지만, 이러한 재학습 의존성을 완전히 제거하지는 못합니다. 본 연구에서는 파라미터가 고정된(frozen) 제로샷 대규모 언어 모델(LLM)이 계층적 사이버 방어에서 재학습이 필요 없는 제어를 제공할 수 있는지, 그리고 LLM 제어가 계획에서 실행으로 확장됨에 따라 성능이 어떻게 변화하는지 조사합니다. 우리는 계획자가 고정된 기간 동안 방어할 서브넷을 선택하고 실행자가 해당 서브넷 내에서 방어 행동을 선택하는 제어기 독립적(controller-agnostic) 계획자-실행자 계층 구조를 정식화합니다. MITRE ATT&CK 프레임워크와 매핑된 자동화된 레드팀 에이전트가 내장된 고충실도 Cyberwheel 환경을 활용하여, 소형, 중형, 대형 네트워크 전반에서 사이버 보안 특화 모델 2종을 포함한 3B~70B 파라미터 규모의 6개 모델을 바탕으로 RL+RL, LLM+RL, LLM+LLM 구성을 비교합니다. 계획자만 LLM으로 교체하는 것은 네트워크 크기가 커짐에 따라 제한적인 성능 향상만을 보였습니다. 반면, 실행 단계까지 LLM 제어를 확장하면 충분한 역량을 갖춘 모델에서 주목할 만한 성능 개선이 나타났습니다. 예를 들어, 고정된 범용 70B 모델은 RL 기준선이 각 규모마다 재학습되는 동안 동일한 모델 가중치를 사용하여 세 가지 네트워크 규모 모두에서 성공적인 횡적 이동(lateral movement) 비율을 약 1% 수준으로 억제하고 공격자 영향을 거의 0에 가깝게 유지했습니다. 본 연구 결과는 충분한 역량을 갖춘 고정된 LLM이 과제 특화 재학습 없이도 평가된 네트워크 규모 전반에 걸쳐 강력한 방어 성능을 유지할 수 있음을 보여주는 동시에, LLM 기반 제어의 이점을 실현하는 데 강력한 전술적 실행이 중요하다는 점을 시사합니다.

arXiv:2604.09523v3cs.LG

NetForge RL: 지속형 행동을 갖춘 사이버 방어용 다중 에이전트 시뮬레이션 환경

NetForge RL: A Multi-Agent Simulation Environment for Cyber Defense with Durative Actions

사이ber 방어를 위한 강화학습(RL) 에이전트 학습에는 운영 환경을 반영하는 환경이 필요하다: 잡음이 있는 부분 관측, 네트워크 전반에 걸쳐 협력하는 여러 방어자, 자기 대결(self-play)을 통해 구현되는 적응형 적대자. 본 논문은 절차적으로 생성된 기업 및 운영기술(operational-technology, OT) 네트워크에서 이러한 설정을 위한 다중 에이전트 환경인 NetForge RL을 제시한다. 레드 에이전트는 부분 가시성 하에서 호스트를 침해하고, 구역별로 분할된 3개의 블루 에이전트는 실측(ground-truth) 상태 벡터 대신 합성 SIEM 텔레메트리와 Windows/Sysmon 이벤트 로그를 밀집 임베딩(dense embedding)으로 인코딩한 관측을 바탕으로 방어한다. 이 환경은 고정 형상(fixed-shape) 관측과 MITRE ATT&CK에 매핑된 행동을 갖춘 PettingZoo 병렬 API를 따르며, 명명된 난이도 프리셋과 홀드아웃 평가 분할을 포함한 5개 시나리오를 제공하고, 시드(seed) 하에서 결정론적으로 재현된다. JAX 백엔드는 축소된 전이(transition) 코어를 벡터화하여, 학습 루프 반복을 위한 빠른 대리(surrogate)로 CPU에서 배치 4096일 때 초당 2.5 x 10^5 환경 스텝을 달성한다. 환경과 함께 참조 기준선(스크립트 기반, JAX IPPO 트레이너, 자기 대결 토너먼트), 각각 하나의 방어 기술을 측정하는 6개의 진단 프로브, 95% 신뢰구간을 보고하는 평가 실행기를 제공한다. 환경 뒤에 있는 재현성(reproducibility) 엔지니어링을 설명하고 책임 있는 사용 성명을 포함한다.