arXiv:2611.22841v1 cs.AI

루브릭으로 채점하는 환경에서 에이전트 검증하기

Verifying Agents in Rubric-Graded Environments

Markus D\"ucker, Vaibhav Kumar, Yi Liu, Ronak Chaudhary, Andreas Plesner, Francisco Guzm\'an, Anish Athalye

제출 2026-11-18

한국어 초록

AI 에이전트가 점점 더 개방적이고 복잡한 과제를 수행하면서 결과를 검증하기 어려워졌다. 루브릭으로 채점하는 에이전트 환경에서는 검증기가 에이전트의 산출물과 환경 상태 변화를 여러 자연어 기준에 비춰 평가한다. 이러한 방식이 널리 쓰이고 있다. 이 환경에서 사용하는 검증기를 처음으로 체계적으로 연구한다. 먼저 투자은행 업무 24개에 대해 사람이 판정한 루브릭 기준 2,464개를 담은 메타 평가 데이터셋 BankerVerifierBench(BVB)를 구축했다. 다음으로 임의의 루브릭 말뭉치에서 검증기에 필요한 역량을 도출하는 방법을 개발했다. 아홉 가지 역량을 반응형 검증, 환경 정렬, 도메인 지침이라는 세 가지 일반 설계 원칙으로 정리했다. 이를 공개 소스 검증기 Gandalf에 구현했다. BVB에서 기존 검증기 세 개와 비교했을 때 Gandalf는 더 낮은 비용으로 모든 기준선과 같거나 높은 F1을 기록했다. Gemini 3 Flash를 썼을 때는 가장 강한 기준선과 비슷한 F1(0.864 대 0.852)을 5분의 1 비용으로 달성했다. GPT-5.4 모델로는 더 낮은 비용으로 F1을 0.12 넘게 높였다. 구조가 다른 개인 생산성 환경 OpenClaw에도 일반화돼 가장 높은 F1을 기록했다(0.955 대 최고 기준선 0.934). BVB, Gandalf, 실험 재현에 필요한 코드와 데이터를 공개한다.

원문 초록

As AI agents take on increasingly open-ended and complex tasks, verifying their outputs has proven to be difficult. Rubric-graded agent environments, where a verifier judges multiple natural-language criteria against the deliverables and environment state changes produced by the agent, have emerged as a popular paradigm. We conduct the first systematic study of verifiers for rubric-graded agent environments. First, we create BankerVerifierBench (BVB), a meta-evaluation dataset of 2,464 human-judged rubric criteria across 24 investment-banking tasks. Next, we develop a methodology that derives from any rubric corpus the capabilities a verifier should possess, yielding a nine-capability taxonomy that we distill into three general design principles---reactive verification, environment alignment, and domain guidance---which we implement in Gandalf, an open-source verifier. Finally, we evaluate Gandalf against three existing verifiers on BVB. Gandalf matches or exceeds every baseline's F1 at lower cost: with Gemini 3 Flash it matches the strongest baseline's F1 (0.864 vs. 0.852) at one-fifth of its cost, and with GPT-5.4 models it improves F1 by over 0.12 at lower cost. Gandalf also generalizes to OpenClaw, a structurally different personal-productivity environment, where it again achieves the highest F1 (0.955 vs. 0.934 for the best baseline). We release BVB, Gandalf, and the code and data to reproduce our experiments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22841v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.