대규모 언어 모델 기반 AI 시스템에서 자율 침투 능력의 창발
The Emergence of Autonomous Penetration Capabilities in Large Language Model-Powered AI Systems
한국어 초록
요즘, 상당한 실세계 피해를 일으킬 수 있는 사이버공격의 자율 실행은 선단 AI 시스템이 넘지 말아야 할 핵심 레드라인(red line) 중 하나로 널리 여겨진다. 이 더 넓은 레드라인 시나리오 안에서, 자율 침투는 핵심 기반 능력이자 하위 작업을 나타낸다. 즉, LLM 기반 AI 시스템이 인간 개입 없이 목표 서버에 대해 독립적으로 적대적 작전을 수행하고, 취약점을 식별·이용하여 무단 접근 또는 제어를 획득하는 능력이다. AI 시스템의 자율 침투 능력을 평가하려는 연구가 점점 늘고 있다. 그러나 기존 평가들은 종종 불투명한 방법론을 사용하거나, 비현실적이거나 지나치게 단순화된 침투 테스트 시나리오에 의존하거나, LLM에 과도한 사전 지식과 작업별 안내를 제공하여, 현대 AI 시스템이 더 넓은 고영향 사이버공격 시나리오 내에서 이 핵심 능력을 얼마나 자율적으로 수행할 수 있는지를 정확히 파악하지 못한다. 이러한 한계를 해결하기 위해, 우리는 목표 서버와 에이전트 스캐폴딩(agent scaffolding)의 두 구성 요소로 이루어진 새로운 자율 침투 평가 프레임워크를 구축한다. 구체적으로 목표 서버 측면에서는, 알려진 취약점이 없는 보안 서비스의 수에 따라 두 단계의 목표 환경을 설계한다. Tier 1(보안 서비스 1개)과 Tier 2(보안 서비스 3개)는 취약한 서비스와 함께 배치되며, 총 300개의 목표 서버를 만든다. 한편 에이전트 스캐폴딩은 범용 에이전트 아키텍처를 채택하며, 범용 사이버보안 도구 세트를 갖추되 목표별 사전 지식은 전혀 제공하지 않는다. 우리는 19개의 오픈웨이트 및 독점 LLM을 평가한 결과, 현재 모델들의 침투 성공률이 10.7%에서 69.3%에 이른다는 것을 확인한다. 또한 자율 침투 능력이 전반적인 모델 역량의 향상과 함께 지속적으로 개선되고 있음을 관찰한다.
원문 초록
Nowadays, the autonomous execution of cyberattacks capable of causing substantial real-world harm is widely regarded as one of the critical red lines that frontier AI systems must not cross. Within this broader red-line scenario, autonomous penetration represents a core enabling capability and subtask: the ability of LLM-powered AI systems to independently conduct adversarial operations against a target server without human intervention, identify and exploit vulnerabilities, and obtain unauthorized access or control. A growing body of work has sought to assess the autonomous penetration capabilities of AI systems. However, existing evaluations often employ opaque methodologies, rely on unrealistic or overly simplified penetration-testing scenarios, or provide LLMs with excessive prior knowledge and task-specific guidance, and cannot accurately capture the extent to which modern AI systems can autonomously perform this core capability within broader high-impact cyberattack scenarios. To address these limitations, we construct a new autonomous penetration evaluation framework consisting of two components: target servers and agent scaffolding. Specifically, on the target-server side, we design two levels of target environments based on the number of secure services without known vulnerabilities deployed alongside a vulnerable service: Tier~1 (one secure service) and Tier~2 (three secure services), resulting in a total of 300 target servers. Meanwhile, the agent scaffolding adopts a general-purpose agent architecture equipped with a set of general-purpose cybersecurity tools, without any target-specific prior knowledge. We evaluate 19 open-weight and proprietary LLMs, and find that current models achieve penetration success rates ranging from 10.7% to 69.3%. Moreover, we observe that autonomous penetration capability continues to improve alongside advances in overall model capability.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13079v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가
APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.
음성 품질 지표는 얼마나 해킹에 취약한가? 수정된 프로토콜, 벤치마크, 그리고 패치 적용의 실효성
How Hackable Is Your Speech Quality Metric? A Corrected Protocol, a Benchmark, and What Patching Buys
음성 품질 예측기는 보상(reward)으로 점점 더 널리 사용되고 있으나, 이들의 해킹 취약성(hackability)에 대한 합의된 측정 기준은 존재하지 않는다. 기존의 측정 방식에는 두 가지 결함이 있다. 첫째, 섭동(perturbation)은 그 자체로 점수를 변화시키는 처리 체인(여기서는 신경망 코덱)을 거쳐 예측기에 도달하는데, 원시 입력(raw input)을 기준으로 점수를 매기면 이러한 점수 변화를 공격 탓으로 돌리게 된다. 대신 섭동이 없는 왕복 처리를 참조하면 측정된 해킹 취약성이 최대 4배까지 달라진다(한 방어 기법의 경우 0.31에서 0.08로 변화). 둘째, 학습된 공격자 하나는 하나의 표본일 뿐 측정치 자체가 아니다. 무작위 시드만 다른 다섯 공격자가 하나의 고정된 예측기를 상대로 0.00에서 0.38에 이르는 성공률을 기록하므로, 방어 성능을 입증하려면 여러 공격자에 대한 최악의 경우를 평가해야 한다. 이 프로토콜 하에서 공개된 4개의 예측기는 큰 차이를 보인다. NISQA는 발화의 90%에서 해킹되었고, SSL-MOS는 21%, DNSMOS는 14%, UTMOS는 6%에서 해킹되었다. 이어 우리는 폐쇄형 공격-탐지-패치(attack-detect-patch) 루프를 점검한다. 이는 공격자들 간의 편차보다도 작은 수준으로 자체 공격 공간 내에서만 예측기를 방어할 뿐이며, 무작위 섭동 기준선(baseline)만으로도 이와 대등한 수준을 달성할 수 있고, 도메인 외(out of domain) 환경에서는 시스템 SRCC가 최대 0.30 감소하는 대가를 치른다. 패치된 예측기를 대상으로 사후학습(post-training)된 음성 향상 모델은 해당 지표를 훨씬 덜 해킹한다(PESQ -0.03 대 -0.23). 코드, 사전 등록 정보 및 실행 결과는 모두 공개된다.
MLCommons 탈옥 벤치마크 v1.0
MLCommons Jailbreak Benchmark v1.0
현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.
분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기
Securing Computer-Use Agents Against Branch Steering Attacks
현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.
EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크
EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents
워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.
모든 것에 적합한 단일 아키텍처는 없다: 계층적 레드팀 에이전트의 교차 환경 평가
No One Architecture Fits All: A Cross-Environment Evaluation of Hierarchical Red Team Agents
자율 레드팀 에이전트는 전략을 계획하고 다단계 공격을 실행함으로써 AI 기반 사이버 방어를 스트레스 테스트하는 데 점점 더 많이 활용되고 있습니다. 강화학습(RL)과 대규모 언어 모델(LLM)은 이러한 에이전트가 요구하는 계획 및 실행에 대해 상호보완적인 메커니즘을 제공하며, 이전 연구들은 이들을 하이브리드 계층 구조로 결합해 왔습니다. 그러나 특정 아키텍처는 일반적으로 단일 환경 내에서 개발 및 평가되므로, 관찰된 이점이 전반적으로 더 강력한 의사결정 메커니즘을 반영하는 것인지 아니면 특정 설정에 대한 정렬에 불과한 것인지는 명확하지 않았습니다. 본 연구에서는 RL 계획기와 RL 실행기로 구성된 구조(RL+RL), 그리고 LLM 계획기와 LLM 실행기로 구성된 구조(LLM+LLM)라는 두 가지 동질적 계층형 레드팀 아키텍처에 대한 통제된 교차 환경 비교를 통해 이러한 공백을 해결합니다. CybORG CAGE-4 환경 및 두 가지 네트워크 규모의 Cyberwheel 환경에서, 단일 통합 무력화(disruption) 지표 하에 18개 구성을 바탕으로 전문가 자율 방어자를 상대로 두 아키텍처를 모두 평가했습니다. 그 결과 뚜렷한 환경 의존적 역전 현상을 발견했습니다. RL+RL은 조밀한 보상이 주어지는 소규모 CAGE-4(가장 강력한 LLM 구성의 18.0% 대비 78.5% 무력화 성공률)와 100대 호스트 규모의 Cyberwheel 네트워크(50.5% 대비 81.0%)에서 우세했던 반면, 사전학습된 사이버 보안 LLM 에이전트는 권한 상승이 관문 역할을 하는 더 큰 규모의 1010대 호스트 Cyberwheel 네트워크에서 우세했습니다(RL의 0.0% 대비 55.0%). 킬체인(kill-chain) 분석을 통해 전체 성공률에 가려져 있던 아키텍처별 병목 현상으로 이러한 역전을 설명합니다. 1010대 호스트 Cyberwheel 네트워크에서 RL은 호스트를 탐색하고 침해하지만 권한 상승 단계에서 정체되는 반면, CAGE-4에서는 LLM 에이전트가 특권 접근 권한을 획득하고도 이를 실제 운영상의 타격으로 전환하지 못합니다. 이러한 결과는 단일 환경에서 도출된 결론이 일반화되지 않을 수 있음을 시사하며, 하이브리드 계획기-실행기 설계는 특정 아키텍처가 보편적으로 우월하다는 가정보다는 구체적인 실패 모드를 기반으로 타당성을 확보해야 함을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.