arXiv:2607.00297v1 cs.LG

EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems

Zewen Liu

제출 2026-07-01

원문 초록

When LLM agents use evaluator feedback to adapt their behavior in closed loops, evaluator biases propagate through the agent's strategy distribution -- a phenomenon known as evaluator preference coupling. Prior work has documented coupling across multiple evaluator families and model versions, but the field lacks a standardized protocol that enables third-party researchers to (i) reproduce coupling measurements, (ii) compare results across evaluators and time points, and (iii) detect measurement decay as proprietary evaluators silently update. This paper provides the protocol. We specify EPC (Evaluator Preference Coupling) -- a detailed, RFC-style protocol specification for the four-phase isolation paradigm, covering executor and evaluator configuration, strategy and task design, the TTRL update rule, metric computation (gamma, JSD, ECE, Brier), and output schema. We accompany the protocol with a versioned Reference Snapshot v1.0: coupling measurements for eight evaluator conditions (N=122 unique experimental repetitions across GPT-4o, Qwen, DeepSeek, and others) derived from five independent studies, annotated with evaluator version identifiers, API endpoints, and measurement dates. The snapshot is explicitly time-bound: all values are conditional on specific model versions and are expected to decay as proprietary evaluators update. We define a versioning convention (vX.Y-Z, encoding protocol version, snapshot version, and evaluator generation) and provide a usage guide covering adoption, interpretation, and known pitfalls. The protocol, reference snapshot, and implementation code are released as open infrastructure.

요약

LLM 에이전트가 평가자 피드백을 폐쇄 루프에서 활용할 때 평가자의 편향이 에이전트 전략 분포에 전파되는 현상인 평가자 선호도 결합(evaluator preference coupling)을 재현 가능하고 비교 가능한 방식으로 측정하기 위한 표준화 프로토콜 EPC를 제안한다. 4단계 격리 패러다임, TTRL 업데이트 규칙, γ·JSD·ECE·Brier 지표 산출 방식을 RFC 형식으로 명세하고, GPT-4o·Qwen·DeepSeek 등 8개 평가자 조건에 걸친 버전 고정 기준 스냅샷 v1.0(N=122)을 공개 인프라로 제공한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.00297v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.