arXiv:2610.13623v1 cs.CR

APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가

APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces

Ziyi Yang, Adel Bibi, Guohao Li, Bernard Ghanem, Carlos Hinojosa

제출 2026-10-09

한국어 초록

전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.

원문 초록

Professional agents increasingly work through command-line interfaces and multiple tools over shared workspaces containing files, messages, and business applications. These environments create safety risks that are difficult to capture with attacks placed at a single, known read location. We introduce APEX-Harm, a benchmark for evaluating prompt and script injection against long-horizon agents performing finance, consulting, and legal tasks in large workspaces. Each task contains 115 to 328 files, together with email, calendar, chat, document, spreadsheet, PDF, and code-execution tools exposed through MCP servers. The benchmark includes six attack categories covering static and dynamic injections, task-specific script replacement, and attacker-provided generic scripts, and evaluates attack success, exposure, and task performance. We evaluate 12 frontier models on 180 task instances per model. Opus 5 and Sonnet 5 have the lowest overall attack success rates (8% and 20%), while task-specific script replacement and attacker-provided generic script attacks remain substantially more effective, averaging 81-84% and 73% attack success, respectively. Gemini 3.8 Flash achieves the highest mean task score (0.877) while still exhibiting a 33% attack success rate. These results show that completing the requested task is not sufficient evidence of safe behavior: an agent can produce a correct deliverable while also performing an unauthorized action in the workspace.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13623v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03153v1cs.CR공통 태그 Benchmarking, Adversarial Attack, llm agents, agent safety

EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크

EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents

워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.

arXiv:2610.03089v1cs.CR공통 태그 Benchmarking, Adversarial Attack, prompt injection

분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기

Securing Computer-Use Agents Against Branch Steering Attacks

현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.

arXiv:2610.01349v1cs.CR공통 태그 Adversarial Attack, prompt injection, llm agents

PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제

PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.

arXiv:2610.01535v1cs.CR공통 태그 Benchmarking, Adversarial Attack, prompt injection

잘못된 하한선: 분포 변화에서 무너지는 LLM 안전 라우팅 평가

False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift

안전 라우터는 각 요청을 여러 모델 중 하나로 보내며, 단일 최선 모델과 비교하여 평가된다. 주요 라우팅 벤치마크는 평가 데이터 상에서 이러한 비교 대상을 선택한다. 벤치마크 자체의 설정에서는 이것이 무해하지만, 분포 변화(distribution shift) 하에서는 그렇지 않다. HELM Safety에서 이러한 선택 비용은 무작위 분할 시 0.003-0.030의 위해(harm) 수준이며, 홀드아웃(held-out) 범주에서는 0.045-0.113으로, 라우팅 탓으로 돌려진 전체 결손과 맞먹는 수준이고 그 방향성은 기발표된 어느 한 심사자(judge) 기준 단독으로도 유지된다. AgentDojo에서 스위트(suite)가 홀드아웃될 때는 이것이 7배에서 9배까지 증가한다. 사전에 고정된 규칙에 따라 선택된 7개 안전 말뭉치 전반에서 3개는 사전 등록된 구간 검정을 충족하고 4개는 사후 순열 영가설(permutation null)을 능가하며, 구간 검정을 통과하지 못한 4개 중 3개는 일부 모델의 관측된 위해가 0인 말뭉치들이다. 선행 연구는 이러한 바이어스의 방향성을 입증한다. 본 연구는 위해와 정확도 측면에서 그 크기를 측정하고, 우리가 측정한 홀드아웃 분할 하에서 이것이 더 큼을 보이며, 낙관주의(optimism)와 변화 의존적 리그렛(regret)의 합으로 이를 한계 짓는다. 변화 하에서 정직하게 채점할 경우, 이러한 벤치마크들에서 라우팅이 가져다주는 이점은 거의 없다. 대부분의 풀 셀(pool cell)에서 중첩된 라우터는 정직한 기준선의 모델을 제공하며, 거의 포화 상태인 AgentDojo 말뭉치에서 완벽한 사전 디스패치(pre-dispatch) 라우터의 가치는 최대 2포인트의 위해 감소에 불과하다. 또한 우리는 후기 주입(late injection)에 대해 모델이 표출하는 인식이 조향 가능(steerable)함을 발견했다. 홀드아웃 재실행에서 자신이 마주한 모델을 아는 공격자는 GPT-5.4의 판정된 인식을 19.6포인트 낮추며, 이는 독립적인 레이블에 의해서도 확인된다. 제어기로의 오프라인 반사실적 합성(counterfactual composition)에서, 동일한 공격은 대체(fallback) 모델에 따라 추정 위해를 높이거나 낮춘다. 안전 라우팅은 변화 하에서, 테스트 레이블 없이 선택된 기준선과 비교하여 평가되어야 하며, 인식 기반 방어는 모델이 보는 것을 선택하는 공격자에 맞서 위해를 기준으로 채점되어야 한다.

arXiv:2610.01564v1cs.CR공통 태그 Adversarial Attack, prompt injection, llm agents

스킬 체이닝을 통한 LLM 에이전트 하이재킹

Chaining Skills to Hijack LLM Agents

대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.