arXiv:2611.23074v1 cs.CL

에이전트 거버넌스를 위한 여러 자연어 기준의 실행 중 검증

Runtime Verification of Multiple Natural Language Criteria for Agent Governance

Silviu Pitis, Parand A. Alamdari, Jessica Tang, Toryn Q. Klassen, Sheila A. McIlraith

제출 2026-11-18

한국어 초록

AI 에이전트는 수백 가지 자연어 기준을 따라야 한다. 기존 검증기는 이처럼 많은 기준을 에이전트의 출력에 효율적으로 적용해 어느 기준을 충족하거나 위반했는지, 어느 기준이 적용되지 않는지 보고하기 어렵다. 공유 문맥과 대상 텍스트를 인코딩하는 트리 어텐션 검증기 VFM을 소개한다. 자연어로 작성한 기준 N개를 병렬로 평가하고, 기준별로 독립된 세 가지 상태 중 하나를 판정한다. VFM은 문맥, 대상, 기준, 판정으로 이루어진 튜플 39만 4천 개를 담은 CriteriaBank에서 사전학습했다. 이 말뭉치에는 서로 다른 기준 문구 32만 1천 개 이상이 포함돼 있다. 미세조정한 VFM-4B는 합성 거버넌스 벤치마크에서 GPT-5.4보다 우수했다. 다중 기준 벤치마크 DynaBench에서는 실행 기록 단위의 실패 탐지에서 DynaGuard-4B를 앞섰다. 기준별 판정으로 위반한 규칙을 특정할 수 있고, 필요한 부분만 더 큰 사고 과정 판정 모델에 넘길 수 있다. CriteriaBank 사전학습은 특히 데이터가 적을 때 도메인 간 전이를 개선했으며, 전체 데이터를 썼을 때는 성능이 높은 직접 미세조정 대조군과 비슷했다. VFM-4B는 H100 한 장에서 VRAM 11GB 미만을 사용해 4천 토큰 문맥에 대한 기준 1,000개를 2초 이내에 평가했다. 따라서 실행 중에도 검증에 쓸 수 있다.

원문 초록

AI agents are governed by hundreds of natural language criteria, yet existing verifiers cannot efficiently evaluate an agent's output against a large set of such criteria and report which are satisfied, violated, or inapplicable. We introduce the VFM, a tree-attention verifier that encodes the shared context and target text, and scores N natural language criteria in parallel, returning independent per-criterion ternary verdicts. The VFM is pretrained on CriteriaBank, a corpus of 394K (context, target, criterion, verdict) tuples spanning over 321K distinct criterion strings. A finetuned VFM-4B outperforms GPT-5.4 on a synthetic governance benchmark. On the DynaBench multi-criterion benchmark, it outperforms DynaGuard-4B on trace-level failure detection, and its per-criterion verdicts localize the violated rule and support focused escalation to a larger chain-of-thought judge. We show that CriteriaBank pretraining improves cross-domain transfer, particularly in the low-data regime, while matching a strong direct-finetuning control at full data. On a single H100, VFM-4B evaluates 1,000 criteria against a 4K-token context in under 2s at <11 GB VRAM, making it suitable for runtime verification.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23074v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.