OSGuard: 컴퓨터 사용 에이전트의 안전성 평가를 위한 벤치마크
OSGuard: A Benchmark for Safety in Computer-Use Agents
한국어 초록
컴퓨터 사용 에이전트(computer-use agent)는 악의가 없는 사용자 지시를 완수하는 과정에서 사용자의 환경(environment)이 갖는 중요한 제약 조건을 위반할 수 있습니다. 본 연구에서는 로컬 차원의 실행 전 가드레일 결정과 엔드투엔드(end-to-end) 작업 실행을 통해 안전성(safety)을 평가하는 이중 세분성(dual-granularity) 벤치마크 스위트인 OSGuard를 소개합니다. 액션 수준 벤치마크에는 원본 지시와 현재 인터페이스 상태가 주어졌을 때 가드레일이 후보 액션을 허용(allowed), 무관(unrelated), 불안전(unsafe)으로 분류하는 324개의 인간 주석 예제가 포함되어 있습니다. 위험 증강(risk-augmented) 실행 스위트는 40개의 OSWorld 작업에서 파생된 45개의 작업을 포함하며, 원본 지시는 유지하면서 환경을 수정하여 상태 의존적 안전성 제약 조건을 도입하고 안전한 완수 경로를 보존합니다. 증강된 평가자는 기존의 작업 성공 기준을 유지하면서 명시적인 상태 기반 안전성 검사를 추가하여, 안전한 완수와 이러한 제약 조건을 위반하는 명목상 성공을 구분합니다. 액션 수준 벤치마크에서 평가된 가장 강력한 가드레일은 79.9%의 정확도와 0.80의 매크로-F1에 도달하지만, 위험 증강 실행에서 파생된 액션에 대해서는 성능이 크게 하락합니다. 전체 작업 평가에서 가드레일이 없는 에이전트는 작업의 62.2%를 안전하게 완수하지만 37.8%는 불안전한 완수로 이어집니다. 가장 강력한 가드레일을 추가하면 안전한 성공률은 그대로 유지하면서 불안전한 완수 비율을 33.3%로 낮춥니다. 이러한 결과는 상태 의존적 안전성 제약 조건을 로컬에서 인식하는 것과 엔드투엔드 컴퓨터 사용 과정에서 유지하는 것 모두 여전히 도전적인 과제임을 보여줍니다.
원문 초록
Computer-use agents can complete benign user instructions while violating important constraints of the user's environment. We introduce OSGuard, a dual-granularity benchmark suite for evaluating safety through local, pre-execution guardrail decisions and end-to-end task execution. Its action-level benchmark contains 324 human-annotated examples in which guardrails classify candidate actions as allowed, unrelated, or unsafe given the original instruction and current interface state. Its risk-augmented execution suite contains 45 tasks derived from 40 OSWorld tasks, keeping original instructions unchanged while modifying the environment to introduce state-dependent safety constraints and preserve a safe path to completion. Augmented evaluators retain the original task-success criteria and add explicit state-based safety checks, distinguishing safe completion from nominal success that violates these constraints. On the action-level benchmark, the strongest evaluated guardrail reaches 79.9\% accuracy and 0.80 macro-F1, but performance drops substantially on actions from risk-augmented executions. In full-task evaluation, an unguarded agent completes 62.2\% of tasks safely while 37.8\% result in unsafe completion; adding the strongest guardrail reduces unsafe completion to 33.3\% while leaving safe success unchanged. These results show that state-dependent safety constraints remain challenging both to recognize locally and to preserve during end-to-end computer use.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가
APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.
AgentHorizon: 장기 컴퓨터 사용 작업을 위한 에이전틱 심사자 평가
AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks
컴퓨터 사용 에이전트(computer-use agent)는 복잡한 작업을 완료할 수 있으며, 이는 학습을 위해서든 인간의 개입 없는 평가를 위해서든 성공 여부를 판정하는 자동 심사자(judge)의 사용을 늘리고 있다. 이러한 유연성에도 불구하고, 여러 애플리케이션에 걸친 장기 작업(long task)에 대한 신뢰성은 아직 명확하지 않다. 스크린샷과 행동(action)의 긴 시퀀스로 구성된 궤적(trajectory)은 완료된 것처럼 보일 수 있지만, 실제로는 지시문(instruction)의 제약 조건을 위반하거나 의도치 않은 부작용을 일으킬 수 있다. 이러한 오류를 식별하기 위해서는 심사자가 사용자의 지시문을 기준으로 궤적을 검토해야 한다. 이를 위해 우리는 세 가지 운영체제에 걸친 166시간의 인간 기록 궤적에서 추출한 1,373개의 컴퓨터 사용 작업(지시문-궤적 쌍)으로 구성된 벤치마크인 AgentHorizon을 소개한다. 밀접하게 관련된 지시문에 대한 궤적을 기록함으로써, 우리는 지시문을 교체하여 네거티브(negative) 작업을 구성할 수 있다. 이 짝지어진(paired) 설계는 성공적인 궤적과 유사하지만 호환되지 않는 요청을 완료한 궤적을 구별하는 심사자의 능력을 평가한다. 우리는 이 벤치마크를 프런티어(frontier) 분할인 AgentHorizon(AH), 단순화된 분할인 AgentHorizon-Simple(AH-S), 개발용 분할인 AgentHorizon-Development(AH-D)의 세 가지 분할로 공개한다. 나아가 우리는 (1) 전체 궤적(최대 300개의 스크린샷과 행동 포함)을 직접 전달하는 방식과 (2) 다섯 가지 에이전트 하니스(agent harness)에 걸쳐 코딩 에이전트로 사용하는 방식으로 11개의 심사자를 평가한다. 우리의 최고 성능 에이전틱 심사자인 GPT-5.5는 AH 부분집합에서 80.9%의 균형 정확도(balanced accuracy)를 달성한다는 것을 발견했다. 또한 도구 사용(tool-use)이 특정 모델의 성능을 향상시키지만 오픈 가중치(open-weight) 모델에서는 오히려 성능을 저하시키며, 심사자들이 유효한 궤적을 수락하고 실패한 궤적을 거부하는 능력에서 큰 차이를 보인다는 것을 발견했다. 우리의 연구 결과는 긴 상호작용 기록(interaction history) 안에서 작업이 제대로 완료되었다는, 종종 숨겨져 있는 증거를 찾아내고 검증할 수 있는 심사자가 필요하다는 점을 강조한다.
분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기
Securing Computer-Use Agents Against Branch Steering Attacks
현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.
EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크
EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents
워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.
PASTABench: 에이전트 안전을 위한 순차 궤적의 선제적 평가
PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety
대규모 언어 모델(LLM)이 실제 세계 상태를 바꾸는 자율 에이전트로 발전하면서, 다단계 워크플로우 전반의 운영 안전성 확보는 핵심 과제가 되었다. 최근 연구는 단일 턴 평가를 넘어 다중 턴 패러다임으로 확장했지만, 중요한 한계가 남아 있다. 단계 수준 방법은 행동을 개별적으로 다루어 위험이 누적되는 방식을 놓치고, 궤적 수준 평가는 사후적으로 수행되어 적시 개입의 여지를 주지 못한다. 이러한 한계를 해결하기 위해, 개입 여부, 개입 시점, 위험의 성격이라는 세 차원에 걸친 분리형 선제적 안전 모니터링(Decoupled Proactive Safety Monitoring)을 형식화한다. 5개 위험 범주와 13개 하위 범주에 걸친 1,139개의 다중 턴 궤적로 구성된 벤치마크 PASTABench를 제안한다. 또한 주석이 달린 Earliest-Signal 및 Trigger 턴을 기준으로 하는 최적 개입 구간(Optimal Intervention Window, OIW)을 도입하여 개입 적시성을 정량화한다. 16개 LLM에 대한 평가 결과, 선제적 개입은 여전히 대체로 미해결 상태이며 최고 성능 모델도 최적 시점 개입에서 40.74%에 그쳤다. 세밀한 진단은 만연한 어휘 과적합을 더 밝혔다. 소형 모델의 경쟁력 있는 안전성 점수는 진정한 위험 이해가 아니라 키워드 과민 반응을 가리며, 위험 관련 어휘가 중립화되면 선제적 능력이 대부분 붕괴한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.