ActGov: 정책 제약 검증을 통한 LLM 에이전트 행동 거버넌스
ActGov: Governing LLM Agent Actions via Policy-Constrained Validation
대규모 언어 모델(LLM) 에이전트는 외부 도구를 통해 장기적인(long-horizon) 워크플로우를 점점 더 많이 실행하고 있으며, 이로 인해 신뢰할 수 없는(untrusted) 출력이 이후 행동에 영향을 미치고 사용자 권한을 초과하도록 허용될 수 있다. 기존 방어 기법들은 주입된 콘텐츠를 격리하거나 사전 정의된 계획과 정적 정책으로 실행을 제한하지만, 이러한 접근 방식은 동적 워크플로우에서는 취약하며 확장 가능한 도구 생태계 전반에 걸쳐 잘 확장되지 않는다. 본 연구에서는 LLM이 제안한 각 도구 행동이 외부 효과를 유발하기 전에 이를 검증하는 런타임 강제(enforcement) 프레임워크인 ActGov를 제시한다. 권한(authorization), 행동(action), 런타임 컨텍스트, 보안 제약 조건에 대한 통합된 의미론적 모델을 기반으로, ActGov-Policy 컴포넌트는 도구 명세(specification), 정상(benign) 작업, 관찰된 실패 흔적(trace)으로부터 정책 집합을 반복적으로 구성하며, 각 업데이트는 SMT 기반 반례(counterexample) 검사를 통해 검증된다. 런타임에서 ActGov-Runtime은 각 도구 호출을 유한한 정책 레코드로 추상화하고, 이 호출이 작업 범위 내(task-scoped) 권한 경계를 벗어나지 않고 적용 가능한 모든 정책을 만족하는 경우에만 이를 허용한다. 이러한 행동 단위(per-action)의 강제 방식은 장기적이고 동적으로 분기하는 워크플로우 전반에 걸쳐 권한을 유지한다. 우리는 AgentDojo 및 AgentDyn 벤치마크에서 여러 모델과 공격 구성에 걸쳐 ActGov를 평가하였다. 그 결과 ActGov는 작업 유용성(task utility)을 유지하면서 간접 프롬프트 주입(indirect prompt-injection) 공격의 성공률을 일관되게 감소시켰으며, 기존 방어 기법들을 크게 상회하는 성능을 보였다. 이러한 결과는 ActGov가 기반 LLM이 악의적인 지시를 올바르게 식별하는 데 의존하지 않고도 동적인 에이전트 실행에 대해 세밀한(fine-grained) 권한을 강제할 수 있음을 보여준다.