arXiv:2604.15505 cs.CL

PolicyBank: Evolving Policy Understanding for LLM Agents

제출 2026-04-16

한국어 초록

조직 정책 하에서 작동하는 대규모 언어 모델(LLM) 에이전트는 일반적으로 자연어로 지정되는 권한 부여 제약을 준수해야 합니다. 실제로 이러한 명세에는 필연적으로 모호성과 논리적 또는 의미적 공백이 포함되어 있어, 에이전트의 행동이 실제 요구사항과 체계적으로 어긋나게 됩니다. 우리는 다음과 같이 묻습니다. 배포 전 테스트에서의 상호작용과 교정 피드백을 통해 에이전트가 정책에 대한 이해를 진화시킨다면, 명세의 공백을 메우기 위해 해석을 자율적으로 정교화할 수 있을까요? 우리는 PolicyBank를 제안합니다. 이는 구조화된 도구 수준의 정책 인사이트를 유지하고 이를 반복적으로 정제하는 메모리 메커니즘으로, 정책을 불변의 정답으로 간주해 “준수하지만 잘못된” 행동을 강화하는 기존 메모리 메커니즘과는 다릅니다. 또한 널리 사용되는 도구 호출 벤치마크를 통제된 정책 공백으로 확장하여 정렬 실패를 실행 실패와 분리하는 체계적인 테스트베드를 구성합니다. 기존 메모리 메커니즘이 정책 공백 시나리오에서 거의 0에 가까운 성공률을 보이는 반면, PolicyBank는 인간 오라클에 대한 격차의 최대 82%를 줄입니다.

요약

대규모 언어 모델(LLM) 에이전트가 조직의 정책 아래에서 도구를 사용해 업무를 수행하는 환경에서는, 단순히 작업을 성공적으로 끝내는 것만으로는 충분하지 않으며, 자연어로 주어진 권한 제약과 절차를 얼마나 정확히 이해하고 따르는지가 핵심 과제가 됩니다. 그러나 실제 정책 문서는 애매한 표현, 생략된 예외, 논리적 공백을 포함하는 경우가 많아, 에이전트가 표면적으로는 규칙을 준수하는 것처럼 보여도 실제 요구사항과 어긋난 행동을 반복할 수 있습니다. 저자들은 이러한 문제를 실행 능력의 한계가 아니라 정책 해석의 불완전성으로 재정의하며, 명세된 정책(specified policy)과 실제 요구 정책(required policy) 사이의 차이를 메우는 방향으로 접근합니다. 이를 위해 제안된 PolicyBank는 정책을 불변의 정답으로 저장하는 대신, 도구 수준에서 구조화된 정책 통찰을 축적하고 사전 배포 테스트 과정에서 얻는 교정 피드백을 바탕으로 이를 반복적으로 갱신하는 메모리 메커니즘입니다. PolicyBank의 핵심 방법론은 정책을 태스크 단위가 아니라 도구 기능 수준으로 분해해 저장하고, 각 항목을 TRIGGER, PRECONDITIONS, ELIGIBILITY, ACTION과 같은 구조로 정리한 뒤, 정책 문장과 실제 요구 간의 차이를 KEY INSIGHT로 누적하는 데 있습니다. 이렇게 하면 에이전트는 단순히 과거 성공 사례를 기억하는 수준을 넘어, 어떤 상태에서 어떤 행동이 허용되어야 하는지를 더 정교하게 추론할 수 있으며, 잘못된 준수(compliant but wrong)를 강화하는 기존 메모리의 한계를 줄일 수 있습니다. 또한 PolicyBank는 retrieve_policy()라는 도구형 검색을 통해 현재 문맥과 관련된 정책 조각만 능동적으로 불러오도록 설계되어, 긴 대화와 복잡한 상황 변화 속에서도 필요한 규칙을 유연하게 참조할 수 있게 합니다. 정책 갱신 단계에서는 별도의 Policy Agent가 태스크 궤적과 개발자 피드백을 검토하여 새 규칙을 추가하거나 기존 규칙을 수정하는데, 이 과정에서 이진 보상과 자연어 설명을 함께 활용함으로써 단순한 성공 여부가 아니라 실패 원인의 구조를 학습하도록 유도합니다. 이 연구의 또 다른 중요한 기여는 평가 문제를 재구성한 데 있습니다. 저자들은 널리 쓰이는 도구 호출 벤치마크인 τ-Bench를 확장해, 실행 실패(Type I execution failure)와 정렬 실패(Type II alignment failure)를 분리할 수 있는 정책 갭(policy gap) 테스트 환경을 구축했습니다. 여기서 실행 실패는 에이전트가 정책 자체를 제대로 따르지 못하는 경우를 뜻하고, 정렬 실패는 정책 문서대로 행동했지만 그 문서가 실제 요구를 충분히 반영하지 못해 결과적으로 잘못된 행동이 되는 경우를 의미합니다. 이러한 구분은 기존의 메모리나 가드레일 방식이 주로 전자를 다루고 후자는 놓치고 있었음을 드러내며, 정책 이해 자체를 진화시켜야 한다는 논문의 문제의식을 분명하게 보여 줍니다. 실험적으로도 기존 메모리 메커니즘은 정책 갭 시나리오에서 거의 성능을 내지 못한 반면, PolicyBank는 인간 오라클 대비 최대 82%까지 격차를 줄이며, 피드백 기반 정책 재해석이 실제로 유효함을 입증했습니다. 정성적 분석에서도 PolicyBank는 정책이 한 번의 수정으로 완성되는 정적인 규칙이 아니라, 반복적인 상호작용 속에서 경계와 예외가 점진적으로 정교해지는 동적 대상임을 보여 줍니다. 특히 설명이 포함된 피드백은 단순한 이진 보상보다 훨씬 효과적으로 작동했는데, 이는 정책 갱신이 단순한 행동 모방이 아니라 잘못된 명세를 재해석하는 추론 과정에 가깝다는 점을 시사합니다. 결과적으로 이 연구는 LLM 에이전트의 안전성과 준수성을 높이기 위해서는 실행을 막는 방어 장치만으로는 부족하며, 에이전트 내부의 정책 이해를 계속 진화시키는 메커니즘이 필요하다는 점을 설득력 있게 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.