ToolPrivacyBench: 도구 사용 LLM 에이전트의 목적 제한형 프라이버시 벤치마킹
ToolPrivacyBench: Benchmarking Purpose-Bound Privacy in Tool-Using LLM Agents
대규모 언어 모델(LLM)은 점점 독립적인 텍스트 생성 시스템에서 외부 도구를 호출하고, 환경에 접근하며, 다단계 작업을 실행하는 에이전트로 확장되고 있다. 그러나 기존 function-calling 벤치마크는 주로 작업 완료와 API 정확성을 평가하는 반면, 프라이버시 평가 벤치마크는 일반적으로 최종 응답이나 프라이버시 판단에 초점을 맞춘다. 어느 관점도 실행된 다중 도구 궤적에 걸친 목적 제한형 정보 흐름을 포착하지 못한다. 현재 에이전트 평가의 이러한 한계에 착안하여, ToolPrivacyBench는 작업 비공개 정보 단위(task-private atoms)가 승인된 도구와 하류 싱크(downstream sinks)로만 라우팅되는지 감사하여, 도구 사용 중 작업 완료와 프라이버시 과다 공개(privacy over-disclosure)를 모두 평가한다. 이 벤치마크는 1,150개의 완전 합성 프라이버시 민감 비즈니스 워크플로와 기존 다중 도구 및 function-calling 벤치마크에서改 편집·적응한 1,000개 사례를 포함하여 총 2,150개 사례로 구성된다. 각 사례는 정책 지식 베이스(policy knowledge base)로 표현된다. 에이전트가 모의 비즈니스 백엔드에 대해 실행한 후, 평가자는 기록된 도구 인수(tool arguments)와 백엔드 감사 로그를 이 정책 지식 베이스와 비교한다. 평가는 널리 사용되는 아홉 개 에이전트를 대상으로 목적 제한형 프라이버시 과다 공개를 특성화한다. 결과는 성공적인 도구 실행이 적절한 프라이버시 공개를 의미하지 않음을 보여준다. 에이전트는 중간 도구 호출을 통해 불필요한 비공개 정보를 전송하면서도 작업을 완료할 수 있다. 따라서 ToolPrivacyBench는 각 도구가 명시된 목적에 필요한 정보만 받아야 하는 need-to-know 공개 경계를 형식화하고, 다중 도구 워크플로에서 프라이버시 과다 공개를 식별하기 위해 궤적 수준(trajectory-level) 감사를 사용한다.