신경기호 자율 사이버 에이전트를 위한 관측 기반 레드 에이전트 정책 학습
Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents
한국어 초록
점점 더 정교한 사이버 공격이 확산됨에 따라, 현대 네트워크에는 강화학습(RL)으로 학습된 지능형 자율 사이버 방어 에이전트가 필요하다. 이러한 에이전트는 행동 트리(behavior tree)와 학습 활성화 구성요소(LEC) 같은 신경기호적 접근법을 사용하여 중요 운영을 유지하면서 학습하고, 추론하고, 적응하며, 보안 규칙을 구현한다. 그러나 이러한 자율 네트워크는 부분 관측 가능(partially observable) 시스템이며, 즉 사이버 공격자(레드 에이전트)의 행동은 관측할 수 없어 방어자가 레드 행동을 예측하고, 레드 정책을 학습하거나, 공격자의 침입 수준을 평가하기 어렵다. 이를 해결하기 위해, 우리는 이산 상태와 이산 행동을 가진 부분 관측 가능 강화학습 에이전트의 정책을 학습하기 위해 모방 학습(imitation learning)을 사용하는 정책 학습 기법(Policy Learning Technique)을 제안한다. 우리는 이 기법을 자율 사이버 환경에 적용하여 네트워크 관측 및 방어자 행동으로부터 레드 에이전트의 행동을 예측한다. 신경기호 사이버 방어 에이전트와 통합된 본 방법은 다양한 레드 정책을 효과적으로 처리하며, 다양한 시뮬레이션 시나리오에서 높은 예측 정확도를 달성한다.
원문 초록
With sophisticated cyber-attacks becoming increasingly prevalent, modern networks require intelligent autonomous cyber-defense agents trained via Reinforcement Learning (RL). These agents employ neurosymbolic approaches such as behavior trees with learning-enabled components (LECs) to learn, reason, adapt, and implement security rules while maintaining critical operations. However, these autonomous networks are partially observable systems, i.e., the cyber-attacker's (red agent's) actions are not observable, making it difficult for the defender to predict red actions, learn red policies, or assess the attacker's intrusion levels. To address this, we propose a Policy Learning Technique using imitation learning to learn policies for partially observable RL agents with discrete states and discrete actions. We apply this technique in an autonomous cyber environment to predict red agent's actions from network observations and defender actions. Integrated with a neurosymbolic cyber-defense agent, our method effectively handles different red policies and achieves high prediction accuracy across diverse simulated scenarios.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.18223v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Amadeus: 인간 모델들이 만날 때
Amadeus: When Models of People Meet
AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반
Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration
탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어
Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술
AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.
JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다
JevOut: Natural Context Can Flip Decision Models
평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.