arXiv:2308.05978

CyberForce: A Federated Reinforcement Learning Framework for Malware Mitigation

Chao Feng, Alberto Huertas Celdran, Pedro Miguel Sanchez Sanchez, Jan Kreischer, Jan von der Assen, Gerome Bovet, Gregorio Martinez Perez, Burkhard Stiller

제출 2023-08-11

원문 초록

Recent research has shown that the integration of Reinforcement Learning (RL) with Moving Target Defense (MTD) can enhance cybersecurity in Internet-of-Things (IoT) devices. Nevertheless, the practicality of existing work is hindered by data privacy concerns associated with centralized data processing in RL, and the unsatisfactory time needed to learn right MTD techniques that are effective against a rising number of heterogeneous zero-day attacks. Thus, this work presents CyberForce, a framework that combines Federated and Reinforcement Learning (FRL) to collaboratively and privately learn suitable MTD techniques for mitigating zero-day attacks. CyberForce integrates device fingerprinting and anomaly detection to reward or penalize MTD mechanisms chosen by an FRL-based agent. The framework has been deployed and evaluated in a scenario consisting of ten physical devices of a real IoT platform affected by heterogeneous malware samples. A pool of experiments has demonstrated that CyberForce learns the MTD technique mitigating each attack faster than existing RL-based centralized approaches. In addition, when various devices are exposed to different attacks, CyberForce benefits from knowledge transfer, leading to enhanced performance and reduced learning time in comparison to recent works. Finally, different aggregation algorithms used during the agent learning process provide CyberForce with notable robustness to malicious attacks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01845v1cs.AI공통 태그 Reinforcement Learning, Transfer Learning

드래곤체스를 위한 시간차 학습

Temporal-Difference Learning for Dragonchess

본 연구는 두 가지 적응형 AI 방법론인 진화적 전이학습(evolutionary transfer learning)과 TD(lambda)가 3차원 체스 환경인 드래곤체스(Dragonchess)에서 어떻게 작동하는지 조사합니다. 이 게임은 고유한 보드 구조와 계산 부하로 인해 플레이어에게 도전 과제를 제시하므로, 적응형 방법론이 새로운 환경에서 평가 휴리스틱을 어떻게 업데이트할 수 있는지 연구하기에 이상적인 환경을 제공합니다. 본 연구에서는 드래곤체스 엔진을 PyGame 엔진에서 C++로 다시 구현했습니다. 이를 통해 더 빠른 게임 플레이가 가능해져, 단일 소규모 토너먼트 대신 신뢰구간과 유의성 검정을 포함한 10,000회의 게임을 진행할 수 있었습니다. 라운드 로빈 토너먼트에서 두 적응형 방법론 모두 다른 모든 에이전트보다 뛰어난 성능을 보였습니다. 실험 결과, 진화된 평가 방식과 학습된 평가 방식 간에 통계적으로 유의미한 성능 차이는 없는 것으로 나타났습니다. 본 연구는 구조적으로 복잡하고 새로운 게임 도메인에서 적응형 방법론의 효용성을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.