PASTABench: 에이전트 안전을 위한 순차 궤적의 선제적 평가
PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety
한국어 초록
대규모 언어 모델(LLM)이 실제 세계 상태를 바꾸는 자율 에이전트로 발전하면서, 다단계 워크플로우 전반의 운영 안전성 확보는 핵심 과제가 되었다. 최근 연구는 단일 턴 평가를 넘어 다중 턴 패러다임으로 확장했지만, 중요한 한계가 남아 있다. 단계 수준 방법은 행동을 개별적으로 다루어 위험이 누적되는 방식을 놓치고, 궤적 수준 평가는 사후적으로 수행되어 적시 개입의 여지를 주지 못한다. 이러한 한계를 해결하기 위해, 개입 여부, 개입 시점, 위험의 성격이라는 세 차원에 걸친 분리형 선제적 안전 모니터링(Decoupled Proactive Safety Monitoring)을 형식화한다. 5개 위험 범주와 13개 하위 범주에 걸친 1,139개의 다중 턴 궤적로 구성된 벤치마크 PASTABench를 제안한다. 또한 주석이 달린 Earliest-Signal 및 Trigger 턴을 기준으로 하는 최적 개입 구간(Optimal Intervention Window, OIW)을 도입하여 개입 적시성을 정량화한다. 16개 LLM에 대한 평가 결과, 선제적 개입은 여전히 대체로 미해결 상태이며 최고 성능 모델도 최적 시점 개입에서 40.74%에 그쳤다. 세밀한 진단은 만연한 어휘 과적합을 더 밝혔다. 소형 모델의 경쟁력 있는 안전성 점수는 진정한 위험 이해가 아니라 키워드 과민 반응을 가리며, 위험 관련 어휘가 중립화되면 선제적 능력이 대부분 붕괴한다.
원문 초록
As Large Language Models (LLMs) evolve into autonomous agents that alter real-world states, ensuring operational safety across multi-step workflows has become a critical challenge. While recent work has moved beyond single-turn evaluation toward multi-turn paradigms, key limitations persist: step-level methods treat actions in isolation, missing how risks accumulate, while trajectory-level evaluations operate post-hoc, offering no opportunity for timely intervention. To address these limitations, we formalize Decoupled Proactive Safety Monitoring along three dimensions: whether to intervene, when to intervene, and what the risk is. We introduce PASTABench, a benchmark of 1,139 multi-turn trajectories spanning 5 risk categories and 13 subcategories. We further propose the Optimal Intervention Window (OIW), anchored by annotated Earliest-Signal and Trigger turns, to quantify intervention timeliness. Evaluation of 16 LLMs reveals that proactive intervention remains largely unsolved, with the best model achieving only 40.74% optimal-timing interventions. Fine-grained diagnosis further uncovers pervasive lexical overfitting: competitive safety scores of smaller models mask keyword hypersensitivity rather than genuine risk comprehension, as their proactive capability largely collapses once hazard vocabulary is neutralized.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.28197v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
핸드오프 곡선: 멀티턴 LLM 라우팅에서의 초기 선택, 사후 핸드오프 및 지도 타깃
Handoff Curves: Initial Selection, Later Handoff, and Supervision Targets in Multi-turn LLM Routing
본 연구에서는 여러 턴(turn)에 걸친 대규모 언어 모델(LLM) 태스크에서 초기 모델(model) 선택, 사후 핸드오프(handoff), 그리고 학습(training) 타깃이 성공률과 비용에 미치는 영향을 연구합니다. 핸드오프 단계 변화에 따른 태스크 성공률과 비용을 기록하는 핸드오프 곡선을 활용하여 여러 라우터 아키텍처를 비교합니다. 연구진이 구축한 데이터셋(dataset)은 BFCL, MultiWOZ, $τ$-retail 전반에 걸친 3개 Qwen 모델의 34,204건의 완전한 실행 기록을 포함하며, 라우팅 결정을 위한 오프라인 지도 정보를 제공합니다. 주요 비교 분석에서 Qwen3.5 35B-A3B를 시작 모델로 사용했을 때, 사후 핸드오프를 허용하는 것은 BFCL 또는 MultiWOZ에서 초기 선택 대비 효용 개선을 보이지 못했으며 다양한 비용 가중치 범위에 걸쳐 BFCL에서 비용을 증가시켰습니다. 지도 타깃을 변경하면 자체 데이터셋과 TwinRouterBench 모두에서 라우터 성능이 향상됩니다. 자체 데이터셋의 경우 노이즈가 있는 학습 성공 곡선을 단조 적합(monotone fit)으로 대체함으로써 보고된 작동 지점 전반에 걸쳐 동일한 비용에서 성공률이 0.2~4.1%포인트 향상되었습니다. TwinRouterBench에서는 남은 작업 및 앞으로 닥칠 어려운 단계에 필요한 모델 성능을 기술하는 타깃을 구성했습니다. 벤치마크의 단계별 라벨로 학습하는 것과 비교하여, 이러한 타깃은 전체 정적 뱅크에서 궤적 통과 점수를 7.8%포인트, 비용 절감 효과를 6.3%포인트 높였습니다. 이 타깃으로 학습된 라우터의 실제 배포에서는 인스턴스당 0.59달러의 라우터 비용으로 100개 인스턴스 중 79개를 해결했습니다.
Humanize MLE 에이전트: 단일 에이전트 한계를 넘어서는 다중 에이전트 세션 교대
Humanize MLE Agents: Multi-Agent Session Alternation Beyond Single-Agent Limits
장기 시계(long-horizon) 머신러닝 엔지니어링(MLE)을 위한 기존 LLM 기반 에이전트 접근법들은 흔히 컨텍스트 엔지니어링을 사용하며, 이는 도구, 스킬, 축적된 경험을 관리하는 커스텀 하니스(harness)를 통해 구현된다. 그러나 우리는 단일 세션 실행이 길어질수록 에이전트의 추론 강도가 저하되며 진행 속도가 느려진다는 것을 발견했으며, 이를 장기 시계 둔화(long-horizon deceleration)라고 요약한다. 또한 기반 모델이 개선됨에 따라 이러한 커스텀 하니스의 이점이 사라진다는 것을 발견했으며, 이를 하니스 노후화(harness staleness)라고 요약한다. 이러한 발견은 이러한 이점이 버전 간에 지속되지 않을 수 있음을 시사하며, 이는 에이전트들이 세션에 걸쳐 서로의 작업을 기반으로 발전시키는 워크플로우 수준의 접근법을 동기화한다. 우리는 이러한 교대하는 에이전트 세션을 컨텍스트 재설정 준-마르코프 결정 과정(context-reset semi-Markov decision process, CR-SMDP)으로 모델링하고, 교대가 단일 에이전트 기준선 한계를 초과하기 위한 충분 조건을 수립하며, 명시적인 실험 예산 경계를 도출하고, 세션 상한이 이러한 이점을 보존하는 시점을 규명한다. 이러한 분석에 따라, 우리는 Humanize MLE 에이전트(HMA)를 소개한다. HMA는 공유 작업공간에서 두 에이전트를 교대시키며, 각 세션을 최대 k개의 실험으로 제한하고 세션 간 컨텍스트를 재설정하며, 추가적인 태스크별 하니스나 사전 지식 보강 없이 동작한다. MLE-bench의 75개 캐글(Kaggle) 과제에서 HMA는 78.2%의 최신(state-of-the-art) any-medal 비율을 달성하며, 가장 강력한 오픈소스 기준선을 8.0포인트 상회하면서도 그 시간 예산의 4분의 1만을 사용한다. 또한 다섯 개의 이질적인 에이전트 쌍에 걸친 여섯 가지 구성 중에서, HMA는 구성 요소 기준선들에 비해 any-medal 비율을 평균 6.4포인트 향상시켜, 에이전트 쌍 간 일반성을 입증한다. 커널(kernel) 최적화에 대한 보충 사례에서는 878 사이클에 도달하여 커뮤니티 리더보드 선두와 1.6% 이내의 차이를 보이며, MLE를 넘어선 적용 가능성을 입증한다.
EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크
EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents
워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
토론
이 논문과 연결된 포럼 글이 아직 없습니다.