arXiv:2606.23189v1 cs.AI

유능하지만 부주의한: 컴퓨터 사용 에이전트는 맥락적 무결성을 따르는가?

Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity?

Anmol Goel, Iryna Gurevych

제출 2026-06-22

한국어 초록

컴퓨터 사용 에이전트(CUA)는 이제 이메일, 캘린더, 할 일 목록 등 개인 애플리케이션 전반에 걸쳐 사용자를 대신해 행동한다. 이러한 교차 애플리케이션 접근은 유용하지만, 지금까지 크게 간과되어 온 프라이버시 위험을 초래한다. 에이전트가 하나의 맥락에서 작업할 때 해당 맥락에서는 부적절한 다른 맥락의 정보를 끌어올 수 있다는 점이다. 이에 우리는 이 위험을 실행 가능하고 결정론적으로 채점 가능한 시나리오로 변환하는 평가 프레임워크인 AgentCIBench를 소개한다. 우리는 CUA의 세 가지 주요 실패 유형을 대상으로 한다: UI에서 작업 대상 옆에 위치한 금지 항목을 에이전트가 끌어오는 시각적 공동 배치(visual co-location), 불충분하게 지정된 프롬프트에 응답하여 에이전트가 밀도 높은 개인 정보를 과도하게 공유하는 작업 모호성 과잉 공유(task-ambiguity overshare), 그리고 에이전트가 부적절한 수신자에게 콘텐츠를 전송하는 수신자 불일치(recipient misalignment)이다. 15개의 최전선 에이전트를 평가한 결과, 놀랍도록 높은 실패율이 나타났다: 15개 중 11개가 50% 이상의 시나리오에서 정보를 유출하였으며 평균 유출률은 67.9%였고, 에이전트가 환경 내에서 작업을 완수하기 위해 엔드투엔드로 행동할 때도 동일한 실패가 지속되었다. 우리는 더 안전한 컴퓨터 사용 에이전트 개발을 장려하고 맥락적 정보 공개 테스트를 배포 전 안전성 점검으로 자리매김하기 위해 AgentCIBench를 공개한다.

원문 초록

Computer-use agents (CUAs) now act on a user's behalf across personal applications such as email, calendars, and to-do lists. This cross-application access is useful, but it also creates a privacy risk that has been largely overlooked: when an agent works in one context, it can pull in information from another that is inappropriate in that context. Hence, we introduce AgentCIBench, an evaluation harness that turns this risk into executable, deterministically scored scenarios. We target three common failure modes in CUAs: visual co-location, where the agent pulls in prohibited items that sit next to the task target in the UI; task-ambiguity overshare, where the agent dumps dense personal state in response to an under-specified prompt; and recipient misalignment, where the agent sends content to an addressee for whom it is inappropriate. We evaluate 15 frontier agents and find a surprisingly high failure rate: 11 of 15 leak on more than 50% of scenarios, with an average leakage of 67.9%, and the same failures persist when agents act end-to-end in the environment to complete the task. We release AgentCIBench to encourage the development of safer computer-use agents and position contextual disclosure testing as a pre-deployment safety check.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.23189v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10610v1cs.SE공통 태그 Benchmarking, Instruction Following, Large Language Model

코드 이해는 코딩 에이전트의 병목 현상이다

Code Understanding is a Bottleneck for Coding Agents

코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.

arXiv:2610.11050v1cs.AI공통 태그 Benchmarking, Instruction Following, computer-use agents

AgentHorizon: 장기 컴퓨터 사용 작업을 위한 에이전틱 심사자 평가

AgentHorizon: Evaluating Agentic Judges for Long-Horizon Computer-Use Tasks

컴퓨터 사용 에이전트(computer-use agent)는 복잡한 작업을 완료할 수 있으며, 이는 학습을 위해서든 인간의 개입 없는 평가를 위해서든 성공 여부를 판정하는 자동 심사자(judge)의 사용을 늘리고 있다. 이러한 유연성에도 불구하고, 여러 애플리케이션에 걸친 장기 작업(long task)에 대한 신뢰성은 아직 명확하지 않다. 스크린샷과 행동(action)의 긴 시퀀스로 구성된 궤적(trajectory)은 완료된 것처럼 보일 수 있지만, 실제로는 지시문(instruction)의 제약 조건을 위반하거나 의도치 않은 부작용을 일으킬 수 있다. 이러한 오류를 식별하기 위해서는 심사자가 사용자의 지시문을 기준으로 궤적을 검토해야 한다. 이를 위해 우리는 세 가지 운영체제에 걸친 166시간의 인간 기록 궤적에서 추출한 1,373개의 컴퓨터 사용 작업(지시문-궤적 쌍)으로 구성된 벤치마크인 AgentHorizon을 소개한다. 밀접하게 관련된 지시문에 대한 궤적을 기록함으로써, 우리는 지시문을 교체하여 네거티브(negative) 작업을 구성할 수 있다. 이 짝지어진(paired) 설계는 성공적인 궤적과 유사하지만 호환되지 않는 요청을 완료한 궤적을 구별하는 심사자의 능력을 평가한다. 우리는 이 벤치마크를 프런티어(frontier) 분할인 AgentHorizon(AH), 단순화된 분할인 AgentHorizon-Simple(AH-S), 개발용 분할인 AgentHorizon-Development(AH-D)의 세 가지 분할로 공개한다. 나아가 우리는 (1) 전체 궤적(최대 300개의 스크린샷과 행동 포함)을 직접 전달하는 방식과 (2) 다섯 가지 에이전트 하니스(agent harness)에 걸쳐 코딩 에이전트로 사용하는 방식으로 11개의 심사자를 평가한다. 우리의 최고 성능 에이전틱 심사자인 GPT-5.5는 AH 부분집합에서 80.9%의 균형 정확도(balanced accuracy)를 달성한다는 것을 발견했다. 또한 도구 사용(tool-use)이 특정 모델의 성능을 향상시키지만 오픈 가중치(open-weight) 모델에서는 오히려 성능을 저하시키며, 심사자들이 유효한 궤적을 수락하고 실패한 궤적을 거부하는 능력에서 큰 차이를 보인다는 것을 발견했다. 우리의 연구 결과는 긴 상호작용 기록(interaction history) 안에서 작업이 제대로 완료되었다는, 종종 숨겨져 있는 증거를 찾아내고 검증할 수 있는 심사자가 필요하다는 점을 강조한다.

arXiv:2610.03153v1cs.CR공통 태그 Benchmarking, Large Language Model, agent safety

EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크

EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents

워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.