PASTABench: 에이전트 안전을 위한 순차 궤적의 선제적 평가
PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety
대규모 언어 모델(LLM)이 실제 세계 상태를 바꾸는 자율 에이전트로 발전하면서, 다단계 워크플로우 전반의 운영 안전성 확보는 핵심 과제가 되었다. 최근 연구는 단일 턴 평가를 넘어 다중 턴 패러다임으로 확장했지만, 중요한 한계가 남아 있다. 단계 수준 방법은 행동을 개별적으로 다루어 위험이 누적되는 방식을 놓치고, 궤적 수준 평가는 사후적으로 수행되어 적시 개입의 여지를 주지 못한다. 이러한 한계를 해결하기 위해, 개입 여부, 개입 시점, 위험의 성격이라는 세 차원에 걸친 분리형 선제적 안전 모니터링(Decoupled Proactive Safety Monitoring)을 형식화한다. 5개 위험 범주와 13개 하위 범주에 걸친 1,139개의 다중 턴 궤적로 구성된 벤치마크 PASTABench를 제안한다. 또한 주석이 달린 Earliest-Signal 및 Trigger 턴을 기준으로 하는 최적 개입 구간(Optimal Intervention Window, OIW)을 도입하여 개입 적시성을 정량화한다. 16개 LLM에 대한 평가 결과, 선제적 개입은 여전히 대체로 미해결 상태이며 최고 성능 모델도 최적 시점 개입에서 40.74%에 그쳤다. 세밀한 진단은 만연한 어휘 과적합을 더 밝혔다. 소형 모델의 경쟁력 있는 안전성 점수는 진정한 위험 이해가 아니라 키워드 과민 반응을 가리며, 위험 관련 어휘가 중립화되면 선제적 능력이 대부분 붕괴한다.