Sapien: 자율 AI 에이전트를 위한 상태 기반 정책 엔진
Sapien: A Stateful Policy Engine for Autonomous AI Agents
문맥 기반 보안 방어(contextual security defense)는 작업별 정책을 합성하고 이를 에이전트의 도구 호출에 적용함으로써 AI 에이전트(agent)가 비정상적인 행동을 하지 못하도록 방지합니다. 그러나 다단계 작업에서는 어떤 행동이 유효한지가 에이전트가 이미 수행한 작업과 학습한 내용에 따라 달라지는 경우가 많습니다. 본 논문에서는 상태 기반(stateful) 문맥 정책을 적용하기 위한 정책 엔진인 Sapien을 제시합니다. Sapien 정책은 상태 기반 술어(stateful predicate), 지연 정책 생성(deferred policy generation), 범위 한정 의미론적 검사(scoped semantic check)로 확장된 정규 표현식을 사용하여 허용된 도구 호출 시퀀스를 지정합니다. 실험을 통해 Sapien이 제약 없는 에이전트의 유용성(utility)과 비교했을 때 수 퍼센트 이내의 성능을 유지함을 보입니다. 에이전트가 완전히 탈취되더라도, Sapien의 정책은 AgentDojo에서 공격의 93~95%, Toolathlon에서 62~85%를 차단합니다(장기적 작업(long-horizon tasks)에서 도구 허용 목록 대비 2배 많은 수치).