PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.27820v2cs.AI

EgoBench: 도구 사용 에이전트를 위한 상호작용형 1인칭 시점 멀티모달 벤치마크

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

AI 에이전트(agent)가 개방된 실세계 환경(environment)에서 동작하는 일이 점점 늘어남에 따라, 멀티모달 인식, 다단계 추론(multi-hop reasoning)을 수반한 도구 호출, 그리고 사용자와의 동적 상호작용 간의 긴밀한 시너지가 요구됩니다. 그러나 기존 벤치마크(benchmark)들은 엄격하게 결합된 다중 능력 과제 설계, 자연스러우면서도 과제 제약적인 사용자 피드백 시뮬레이션, 동적 상호작용에 대한 객관적 평가 보장 등의 어려움으로 인해 이러한 역량들을 종합적으로 평가하지 못하고 있습니다. 이러한 간극을 메우기 위해, 도구 사용 에이전트를 위한 최초의 상호작용형 멀티모달 벤치마크인 EgoBench를 소개합니다. EgoBench는 5가지 일상 시나리오를 아우르는 1,590개의 1인칭 시점(egocentric) 비디오 그라운딩 과제와 함께 평가를 위한 사용자-에이전트-도구 상호작용 환경으로 구성됩니다. 우리는 시각적 인식과 도구 기반 다단계 추론의 결합 적용을 강제하도록 각 과제를 설계하는 3단계 시너지 파이프라인을 구현합니다. 또한 에이전트의 상호작용 역량을 평가하기 위해 고품질의 과제 맞춤형 응답을 에이전트에 생성하는 다중 에이전트 시뮬레이션 사용자를 개발합니다. 나아가 프로세스 기반 및 결과 기반 동등성을 통해 객관적 평가를 보장하는 결정론적 결합 검증(validation) 프레임워크를 구축합니다. EgoBench에서 8종의 비디오 MLLM 에이전트를 벤치마킹한 결과 심각한 성능 한계가 드러났습니다. 최고 성능의 모델(model)조차 3가지 상호작용 모드 전반에서 평균 결합 성공률(Joint Success Rate)이 34.95%에 불과했습니다. 마지막으로 다차원 오류 분석을 수행하여 실패 모드를 분리하고, 미래의 AI 에이전트 발전을 위한 역량 병목 지점을 규명합니다.

arXiv:2606.02908v2cs.CL

WRIT: 다중 턴 사용자 대면 에이전트를 위한 쓰기-읽기 집약적 궤적 합성

WRIT: Write-Read Intensive Trajectory Synthesis for Multi-Turn User-Facing Agents

다중 턴 사용자 대면 에이전트(agent)는 불완전한 요청으로부터 사용자의 의도를 추론하고, 대화와 도구를 통해 누락된 정보를 수집하며, 유효한 작업을 실행해야 합니다. 학습(training) 궤적은 이러한 과정을 사용자 메시지, 에이전트 응답, 도구 호출 등이 교차 배치된 시퀀스로 기록합니다. 충분히 복잡한 궤적을 합성하는 것은 에이전트를 학습시키기 위한 핵심 경로가 되었으나, 기존 파이프라인은 주로 여러 사용자 요청을 더 긴 작업으로 구성하여 난이도를 높임으로써 순차적 실행을 학습시키는 쓰기 집약적(write-intensive) 궤적을 생성합니다. 우리는 에이전트가 인자(argument)를 식별하기 전에 상당한 양의 읽기 도구 근거를 수집하고 비교해야 하는 경우, 단일 쓰기 결정 자체도 어려워질 수 있으며 이는 쓰기 집약적 데이터만으로는 해결할 수 없는 과제라고 주장합니다. 이러한 통찰을 바탕으로, 우리는 작업 내 쓰기 결정의 수와 개별 결정 각각의 근거 부담이라는 두 가지 복잡성 축을 따라 다중 턴 에이전트 학습 궤적을 합성하는 파이프라인인 WRIT(Write-Read Intensive Trajectory Synthesis)를 제안합니다. WRIT은 먼저 쓰기 집약적이면서도 읽기 부하가 큰 작업을 생성합니다. 그런 다음 현실적인 대화 변형을 반영하도록 사용자 행동 지침을 다양화하고, 마지막으로 실행 가능한 환경(environment)에서 에이전트-사용자 상호작용을 시뮬레이션하여 완전한 학습 궤적을 생성합니다. 이렇게 도출된 데이터는 에이전트가 더 긴 작업을 실행할 수 있도록 학습시킬 뿐만 아니라, 높은 정보 부하 하에서도 견고하고 근거 기반(evidence-grounded)의 의사결정을 내릴 수 있도록 학습시킵니다. 단 2,000개의 합성된 궤적만으로 WRIT으로 학습된 4B 모델(model)은 $τ^2$-bench에서 GPT-5.1 no-think를 능가하고 추론(inference) 시점의 토큰(token) 사용량을 대폭 줄여, 컴팩트한 SFT 데이터가 값비싼 테스트 시점 추론의 일부를 효율적인 에이전트 행동으로 전환할 수 있음을 보여줍니다.

arXiv:2609.26911v2cs.AI

TwinCheck: 상태ful 도구 에이전트를 위한 증거 기반 네거티브 트윈 검증

TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents

국소적으로 그럴듯한 단일 도구 호출 하나만으로도, 그 외에는 성공적이었을 에이전트 궤적을 엉망으로 만들 수 있다. 대체 행위 자체가 검증이 막으려는 바로 그 실패를 유발할 수 있기 때문에, 의심만으로는 개입을 정당화하기 어렵다. 우리는 TwinCheck를 제안한다. 이는 추론 시점 검증 정책으로, 궤적이 궤적-국소 실패 가설에 묶인 증거 조건을 만족할 때에만 대체를 고려한다. 궤적에 근거한 반사실적 대안인 네거티브 트윈을 구성하고, 에이전트의 제안을 트윈이 구조적 검사를 통과하고 쌍wise 검증기가 두 후보 순서 모두에서 트윈을 선호할 때에만 대체한다. 쌍 평가를 위해 exact replay는 첫 번째 수용된 대체까지 에이전트의 파싱된 응답과 행동을 고정하여, 개입 효과를 재샘플링과 분리한다. 완전한 exact-replay 쌍을 갖춘 159개 다중 턴 BFCL V4 태스크에 대한 1차 분석에서, 완전 정책은 GPT-5.6 Sol의 태스크 성공률을 45.3%에서 58.5%로 높였다(95% 태스크 부트스트랩 CI [8.2, 18.8]), 성공에서 실패로의 퇴보는 관측되지 않았다. 이 결과들은 실행 경계 수리를 제약된 비교로 재구성하며, 반사실적 행동 자체를 검증의 대상으로 삼는다.

arXiv:2602.11574v5cs.AI

에이전틱 AI 시스템 구성 학습

Learning to Configure Agentic AI Systems

대규모 언어 모델(LLM) 기반 에이전트 시스템을 구성하는 것은 방대한 조합의 설계 공간에서 워크플로, 도구, 토큰 예산, 프롬프트를 선택하는 과정을 수반합니다. 현재는 일반적으로 질의 난이도와 무관하게 동일한 구성을 적용하는 고정된 템플릿이나 수작업으로 튜닝된 휴리스틱으로 처리되어, 취약한 동작과 연산 자원 낭비를 초래합니다. 이를 해결하기 위해, 본 연구에서는 각 구성이 에이전트 시스템의 질의 처리 방식을 결정하는 시간적으로 확장된 옵션으로 작용하는 준 마르코프 결정 과정(SMDP)으로 에이전트 구성을 정형화하고, 질의별 에이전트 구성을 동적으로 선택하는 경량 계층적 정책인 ARC(Agentic Resource & Configuration learner)를 소개합니다. 추론, 도구 사용 및 에이전틱 벤치마크 전반에서 ARC는 예산이 일치하는 도구 증강 LLM보다 일관되게 향상된 성능을 보여주었으며, 평균 추론 정확도를 31.3%, 도구 사용 정확도를 13.95% 향상시켰고, τ-Bench (Airline) Pass^1 성공률을 9.0%에서 18.0%로 두 배로 높였습니다. 이러한 결과는 질의별 에이전트 구성을 학습하는 것이 '모두에게 일률적으로 적용되는(one size fits all)' 설계에 대한 강력한 대안임을 입증합니다.

arXiv:2610.02330v1cs.AI

행동하기 전의 선택: 장기적 도구 사용 에이전트를 위한 비교 가치 추정

Choosing Before Acting: Comparative Value Estimation for Long-Horizon Tool-Use Agents

대규모 언어 모델(LLM)은 복잡한 작업을 수행하기 위해 장기적인(long-horizon) 도구 호출 시퀀스에 의존하며, 여기서 각 호출은 작업 상태를 변경하고 이후 결정의 조건이 됩니다. 장기적 도구 사용에서는 긴 상호작용 궤적 전반에 걸쳐 최종 결과 기반의 보상만으로는 취약한 신용 할당(credit assignment)을 제공할 수밖에 없습니다. 단계별(step-level) 보상은 더 구체적인 피드백을 제공할 수 있으나, 신뢰할 수 있는 단계별 지도(supervision)를 얻으려면 종종 사람이나 LLM의 판단, 또는 중간 결정의 후속 영향을 추정하기 위한 추가적인 롤아웃(rollout)이 필요합니다. 본 논문에서는 효과적인 도구 사용 에이전트(agent)가 가능한 다음 도구 호출을 실행하기 전에 그 장기적 가치를 추정해야 한다고 주장합니다. 이러한 목표를 달성하려면 동일한 문맥에서 대안적인 도구 호출들에 대한 비교 지도(comparative supervision)가 필요하지만, 기록된 궤적(logged trajectory)에는 실제로 수행된 호출만 포함되어 있습니다. 이에 따라 우리는 도구 사용 에이전트를 위한 비교 추론(Comparative Inference for Tool-use Agents, CITA)을 제안합니다. CITA는 관측된 도구 동작, 베이즈 도구 그래프 시뮬레이터로부터 얻은 확장 가능한 지도, 그리고 LLM 기반 비교를 통한 의미적 판단을 결합한 쌍(paired) 신호로부터 비교 추론 모델(Comparative Inference Model, CIM)을 학습합니다. 그 결과 CIM은 현재 문맥에서 가능한 다음 도구 호출이 최종 작업 성공에 기여할 가능성을 추정하도록 학습합니다. 세 가지 도구 사용 벤치마크와 다양한 백본 LLM 전반에서, CITA는 도구 F1 점수와 작업 성공률을 일관되게 향상시킵니다. 추가 분석을 통해 CIM이 비교 도구 선택에 대한 정확한 단계별 가치 추정치를 학습함을 보입니다.

arXiv:2610.00084v1cs.AI

Scientific Agents: 과학 작업에서 직업별 시스템 프롬프트 평가

Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks

직업별로 상세화된 시스템 프롬프트(system prompt)는 일관된 정확도 향상 없이 응답당 토큰(token) 사용량과 예상 비용을 증가시킨다. 본 연구에서는 Pi 에이전트(agent) 환경 내 OpenRouter를 통한 Gemini 3.8 Flash를 활용하여 503개의 직업별 AGENTS.md 프로필로 구성된 오픈소스 말뭉치인 Scientific Agents를 평가한다. 매칭된 프로필을 최소 기준선("You are a helpful assistant"), 프로필의 시작 역할 문장, 일반적인 과학적 엄밀성 가이드, 관련 없는 도메인의 프로필이라는 네 가지 대조군과 비교한다. 9개의 텍스트 기반 과학 벤치마크(4,531개 표본 문항, 100개 매칭 프로필)에 걸쳐, API 오류 재시도 후 4,488개 항목이 5개 조건 모두를 완료하였으며 자동화된 규칙 기반 채점으로 평가되었다. 프로필과 기준선(baseline) 간의 평균 정확도 차이는 -0.6%p(고정 작업 전반에 걸친 95% 부트스트랩 신뢰구간 [-1.5, +0.2])였으며, 통계적으로 명확한 향상을 보인 벤치마크는 없었다. 매칭된 프로필은 1.5~2.3배 더 많은 출력 토큰을 생성했고 성공적인 호출당 2.2~4.5배 더 많은 비용이 들었다. 도구를 사용하는 60개의 BioMysteryBench 생물정보학 문제(기준선과 프로필 각각 3회 실행)에서 평균 해결률은 프로필 사용 시 46.7%, 기준선에서 56.7%로 -10.0%p의 차이(95% 신뢰구간 [-16.7, -3.3])를 보였으며, 이는 프로필 조건에서 더 빈번하게 발생한 토큰 및 시간 제한 중단에 기인했다. 더 긴 프롬프트는 한 가지 예상치 못한 운영상의 이점을 보였는데, SuperGPQA에서 빈번한 제공업체 API 누락으로 인해 짧은 기준선의 1차 통과 정답률이 54.0%에 불과했던 반면 프로필 조건에서는 71.6%였다. 일반 프롬프트와 불일치 프롬프트도 비슷한 신뢰도를 보였으므로, 이러한 이점은 도메인 전문성보다는 프롬프트 길이나 서식에서 비롯된다. 테스트된 모델(model)과 작업 전반에서 전체 직업 프로필을 기본값으로 로드하는 것은 정확도를 향상시키지 않으면서 비용을 상당히 증가시킨다. 프로필 섹션의 선택적 검색이나 개방형 과학 작업이 이를 변화시킬 수 있는지는 향후 검증 과제로 남아 있다.

arXiv:2502.14994v2cs.CV

REVEAL: 설명 가능한 AI 생성 영상 탐지를 위한 비전-언어 모델의 강건한 진화

REVEAL: Robust Evolution of Vision-Language Models for Explainable AI-Video Detection

AI 생성 영상의 빠른 발전은 디지털 진위성과 보안에 어려움을 야기한다. 현재의 탐지 방법들은 특정 데이터셋(dataset)으로 학습되는 경우가 많아, 끊임없이 진화하는 생성 기술 환경과 보지 못한 조작 방식에 어려움을 겪는다. 우리는 강건한 AI 생성 영상 탐지를 위해 비전-언어 모델(Vision Language Model, VLM)을 활용하는 프레임워크를 소개한다. 우리의 접근법은 VLM에 영상 콘텐츠에 대해 추론하고 외부 도구를 사용하여 미묘한 불일치를 식별하는 능력을 부여함으로써, 인간의 시스템 2 사고를 모방한다. 우리의 자가 진화형 VLM은 적절한 도구를 동적으로 선택하고 조합하여, 새로운 영상 생성 기술에 대한 일반화 능력을 향상시킨다. 모듈형 설계는 해석 가능성을 높여 VLM의 의사결정 과정을 더 명확하게 이해할 수 있게 한다. 평가를 위해, 우리는 8개의 생성 모델에 걸친 1,400개 이상의 고품질 AI 생성 영상으로 구성된 최초의 벤치마크(benchmark)인 VidForensic을 구축한다. 실험 결과 REVEAL은 GPT-4o, Gemini 1.5 pro, QWen-VL-Max, Llava-One-Vision-7B를 비롯한 VLM들에 대해 우리의 데이터셋 전반에서 상위 베이스라인 대비 F1 점수를 9.1%에서 30.2%까지 향상시키는 것으로 나타났다. 개방형 환경(open-world)에서의 AI 영상 탐지는 여전히 해결되지 않은 과제로 남아 있지만, 우리의 결과는 기존 방법들이 주로 도구 기반의 고차원적 추론 능력이 부족하기 때문에 실패한다는 것을 보여준다.

arXiv:2606.12634v3cs.LG

정책 그래디언트의 주도권 유지: 장기 도구 사용 에이전트를 위한 형제 안내 크레딧 증류

Keep Policy Gradient in Charge: Sibling-Guided Credit Distillation for Long-Horizon Tool-Use Agents

장기 도구 사용 에이전트 강화학습에서 직접 자기 증류(self-distillation)가 도구 사용을 붕괴시키는 실패 원인을 분석하고, 이를 해결하기 위해 성공·실패 형제 롤아웃(sibling rollout)의 대비를 외부 LLM으로 요약한 크레딧 참조를 활용해 GRPO 토큰 어드밴티지를 재가중하는 SGCD(Sibling-Guided Credit Distillation)를 제안한다. SGCD는 AppWorld와 tau^3-airline 벤치마크에서 GRPO 계열 비교 모델보다 높은 성능을 기록하며, 정책 그래디언트가 액터 업데이트를 주도하고 증류는 크레딧 할당 안내에만 활용해야 한다는 설계 원칙을 실증적으로 지지한다.

arXiv:2607.10059v1cs.AI

AgentAbstain: LLM 에이전트는 언제 행동하지 말아야 할지 알고 있는가?

AgentAbstain: Do LLM Agents Know When Not to Act?

대규모 언어 모델(LLM) 기반 에이전트 시스템은 자율적 작업에 점점 더 많이 활용되고 있지만, 기존 평가는 에이전트가 언제 행동을 삼가야 하는지 파악하는 능력보다 작업 성공 여부에 주로 초점을 맞춰왔다. 이 격차는 실질적인 위험을 초래한다. 모호한 상황, 상충하는 제약 조건, 또는 도구 오류 하에서 에이전트는 의도하지 않은 되돌릴 수 없는 행동을 실행할 수 있다. 이 격차를 해소하기 위해 우리는 에이전트적 행동 절제(agentic abstention)에 대한 최초의 체계적 평가 프레임워크를 제시한다. 행동 절제란 도구를 사용하는 LLM 에이전트가 언제 행동하지 말아야 하는지를 인식하는 보정된 능력을 의미한다. AgentAbstain의 핵심은 실행 전 추론과 런타임 발견에 걸친 8가지 행동 절제 시나리오의 에이전트 고유 분류 체계를 기반으로 구축된 쌍(paired) 작업 벤치마크이다. 이 벤치마크는 42개의 실행 가능한 샌드박스 환경에 걸쳐 263개의 쌍 작업을 포함하며, 각 쌍은 행동해야 하는(should-act) 작업과 명령어, 도구, 또는 환경 상태에 대한 통제된 변형을 통해 생성된 행동을 삼가야 하는(should-abstain) 변형 작업으로 구성된다. 이 쌍 설계를 확장하고 데이터 오염에 저항하기 위해 우리는 AbstainGen을 제안한다. AbstainGen은 샌드박스 환경을 합성하고 쌍 작업을 종단간(end-to-end)으로 생성하는 완전 자동화 파이프라인으로, 결정론적 재현(replay)과 의미론적 LLM 판정기(judge)로 검증된다. 새로운 작업 인스턴스는 요청 시 재생성할 수 있으며, 세 명의 독립적인 주석자가 샘플링된 작업의 94~98%를 잘 설계된 것으로 평가하였다. 4개의 에이전트 하네스에서 17개의 최신 LLM을 평가한 결과, 가장 우수한 에이전트(Gemini 3.1 Pro)도 쌍 정확도(act와 abstain 양쪽 모두 정확히 처리) 59.5%에 그쳤다. 더 중요한 점은, 행동 절제 능력이 일반적인 작업 해결 능력과 대체로 독립적이라는 것으로, 작업 해결 능력만을 스케일링하는 것으로는 이 격차를 해소할 수 없음을 시사한다. 우리는 또한 사후 절제(post-hoc abstention)와 같은 실패 유형을 규명하는데, 이는 에이전트가 절제 트리거를 인식하기 전에 되돌릴 수 없는 행동을 실행하는 현상이다. 코드와 데이터셋은 agentabstain.github.io에서 오픈소스로 공개되어 있다.

arXiv:2607.01084v1cs.AI

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

While Large Language Model (LLM) agents demonstrate proficiency in static benchmarks, their deployment in real-world scenarios is hindered by the dynamic nature of user queries, tool sets, and interaction dynamics. To address this generalization gap, we formalize OpenAgent (Tool-Use Agent in Open-World), a problem setting characterized by distributional shifts across query, action, observation, and domain dimensions. To systematically diagnose its impact, we construct a controlled sandbox environment where we define fine-grained environmental shifts across a four-tier hierarchy, Perception, Interaction, Reasoning, and Internalization, and conduct a comprehensive series of experiments. Our analysis yields a series of key insights, demonstrating that agents trained via both Supervised Fine-Tuning(SFT) and Reinforcement Learning suffer from varying degrees of performance degradation when confronting open environmental shifts. Building on these insights, we propose Perturbation-Augmented Fine-Tuning, a disturbance-based intervention strategy for SFT that lays the foundation for enhancing agent robustness and utility in realistic environments. Our code will be released at: https://github. com/LAMDA-NeSy/OpenAgent.

arXiv:2606.28715v1cs.CL

SEATauBench: 도구-에이전트-사용자 평가를 저자원 동남아시아 언어에 적용하기

SEATauBench: Adapting Tool-Agent-User Evaluation Into Low-Resource Southeast Asian Languages

동남아시아(SEA)를 위한 AI 개발 및 평가가 빠르게 성장하고 있음에도 불구하고, 지역 언어에서의 에이전트 역량은 주권 AI에 있어 중요성에 비해 여전히 충분히 이해되지 않고 있다. 이러한 공백을 메우기 위해 우리는 SEA 주권 AI를 위한 최초의 에이전트 중심 평가 프레임워크인 SEATauBench를 소개한다. SeaTau는 TauBench를 중국어(보통화), 베트남어, 태국어, 인도네시아어, 필리핀어 등 다섯 개 언어에 적용하고, 사용자-에이전트 상호작용 언어, 도구 명세, 태스크 도메인을 달리하는 점진적 현지화 설정 전반에 걸쳐 에이전트를 평가한다. 최근 세 가지 모델에 대한 실험 결과, 대화 언어만 변경될 경우 영어 에이전트 역량이 비교적 잘 전이되는 반면, 더 많은 태스크 컨텍스트가 현지화될수록 품질과 견고성이 급격히 저하되며, 전체 도메인 적응에서 가장 큰 성능 저하가 나타남을 확인하였다. 또한 우리는 SEA 언어에서의 에이전트 역량 측정을 위한 영어 전용 에이전트 평가의 한계를 밝힌다. 더 나아가 SeaTau는 언어적으로 다양한 지역을 위한 신뢰할 수 있는 다국어 에이전트 구축을 위한 진단 벤치마크 및 재사용 가능한 적응 파이프라인을 제공한다. 데이터와 코드는 github.com/SEACrowd/SEATauBench에서 접근할 수 있다.

arXiv:2606.28061v1cs.CR

ToolPrivacyBench: 도구 사용 LLM 에이전트의 목적 제한형 프라이버시 벤치마킹

ToolPrivacyBench: Benchmarking Purpose-Bound Privacy in Tool-Using LLM Agents

대규모 언어 모델(LLM)은 점점 독립적인 텍스트 생성 시스템에서 외부 도구를 호출하고, 환경에 접근하며, 다단계 작업을 실행하는 에이전트로 확장되고 있다. 그러나 기존 function-calling 벤치마크는 주로 작업 완료와 API 정확성을 평가하는 반면, 프라이버시 평가 벤치마크는 일반적으로 최종 응답이나 프라이버시 판단에 초점을 맞춘다. 어느 관점도 실행된 다중 도구 궤적에 걸친 목적 제한형 정보 흐름을 포착하지 못한다. 현재 에이전트 평가의 이러한 한계에 착안하여, ToolPrivacyBench는 작업 비공개 정보 단위(task-private atoms)가 승인된 도구와 하류 싱크(downstream sinks)로만 라우팅되는지 감사하여, 도구 사용 중 작업 완료와 프라이버시 과다 공개(privacy over-disclosure)를 모두 평가한다. 이 벤치마크는 1,150개의 완전 합성 프라이버시 민감 비즈니스 워크플로와 기존 다중 도구 및 function-calling 벤치마크에서改 편집·적응한 1,000개 사례를 포함하여 총 2,150개 사례로 구성된다. 각 사례는 정책 지식 베이스(policy knowledge base)로 표현된다. 에이전트가 모의 비즈니스 백엔드에 대해 실행한 후, 평가자는 기록된 도구 인수(tool arguments)와 백엔드 감사 로그를 이 정책 지식 베이스와 비교한다. 평가는 널리 사용되는 아홉 개 에이전트를 대상으로 목적 제한형 프라이버시 과다 공개를 특성화한다. 결과는 성공적인 도구 실행이 적절한 프라이버시 공개를 의미하지 않음을 보여준다. 에이전트는 중간 도구 호출을 통해 불필요한 비공개 정보를 전송하면서도 작업을 완료할 수 있다. 따라서 ToolPrivacyBench는 각 도구가 명시된 목적에 필요한 정보만 받아야 하는 need-to-know 공개 경계를 형식화하고, 다중 도구 워크플로에서 프라이버시 과다 공개를 식별하기 위해 궤적 수준(trajectory-level) 감사를 사용한다.