arXiv:2610.01348v1 cs.AI

점수가 아닌 주장을 검증하라: 모듈형 에이전트의 증거 기반 검증

Verify Claims, Not Scores: Evidence-Based Verification of Modular Agents

Ali Atiah Alzahrani

제출 2026-10-01

저자 비고

arXiv Comments

32 pages, 4 figures, 15 tables

한국어 초록

개발자가 제어기, 학습된 모델, 검증기(verifier)와 같은 에이전트의 한 구성 요소를 변경할 때, 대개 종합 작업 점수로 그 변경을 평가한다. 그러나 해당 점수로는 개선이 달성 가능했는지, 어떤 구성 요소에서 가치가 손실되었는지, 또는 에이전트 자체의 점검이 무엇을 보증하는지 알 수 없다. 본 연구에서는 계획, 행동, 점검, 개선을 수행하는 모듈형 에이전트를 위한 주장별 검증 감사(claim-specific verification audit)를 도입한다. 이 감사는 에이전트를 점수화하는 대신 증거를 평가한다. 즉, 각 결론은 그 이면의 증거, 4가지 판정(지지됨, 지지되지 않음, 미해결, 평가되지 않음) 중 하나, 그리고 그것이 성립하는 경계와 함께 기록된다. 세 가지 도구가 이러한 증거를 제공한다. 오라클 정책(oracle policies)은 명시적으로 명시된 행동 집합 하에서 달성 가능한 개선을 측정하여, 낮은 가치가 환경이 아닌 평가 때문임을 추적할 수 있도록 한다. 구성 요소를 한 번에 하나씩 완벽한 대응물로 교체하여 손실된 가치를 찾아내며, 다운스트림 구성 요소가 이를 가릴 수 있을 때마다 널(null) 결과는 미해결로 판정된다. 별도의 테스트에서는 검증기의 점수가 그것이 한정하는 것으로 간주되는 수량을 실제로 식별하는지 묻는다. 숨겨진 체제(regimes)가 알려진 합성 시장 내 제약된 포트폴리오 배분 에이전트에 적용한 결과, 본 감사는 완벽한 체제 정보의 가치가 이를 측정하는 데 사용된 행동 집합에 따라 달라진다는 점, 시나리오 생성기가 체제 신호의 대부분을 폐기하는 반면 더 나은 국소적 충실도(local fidelity)가 의사결정을 향상시키지 않는다는 점, 그리고 결과에 눈에 띄는 변화 없이 런타임 검증기를 우회할 수 있음을 보여준다. 본 연구의 기여는 프로토콜과 그것이 강제하는 증거적 구분이며, 실증적 연구 결과는 연구된 에이전트 및 환경에 한정된다.

원문 초록

When developers change one component of an agent, such as its controller, a learned model or its verifier, they usually judge the change by an aggregate task score. That score cannot tell whether improvement was attainable, which component lost value, or what the agent's own checks certify. We introduce a claim-specific verification audit for modular agents that plan, act, check and refine. Instead of scoring the agent, the audit scores the evidence: each conclusion is recorded with the evidence behind it, one of four verdicts (supported, unsupported, unresolved or not evaluated) and the boundary within which it holds. Three tools supply that evidence. Oracle policies measure attainable improvement under an explicitly stated action set, so that a low value can be traced to the evaluation rather than to the environment. Replacing one component at a time with a perfect counterpart locates lost value, with null results read as unresolved whenever a downstream component could mask them. A separate test asks whether the verifier's score identifies the quantity it is read as bounding. Applied to a constrained portfolio-allocation agent in a synthetic market with known hidden regimes, the audit shows that the value of perfect regime information depends on the action set used to measure it, that the scenario generator discards most of the regime signal while better local fidelity does not improve decisions, and that the runtime verifier can be bypassed with no visible change in outcomes. The contribution is the protocol and the evidential distinctions it enforces; the empirical findings are specific to the agent and environment studied.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01348v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24300v1cs.CL공통 태그 Decision Making, agent verification

휴리스틱 자기 개선 에이전트에서 자가 작성 검증은 신뢰할 수 없다

Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents

자기 개선 에이전트는 절차적 정책, 컨트롤러, 또는 휴리스틱 규칙을 반복적으로 재작성함으로써 능력을 축적한다. 이들은 일반적으로 이후 편집을 수용할지 여부를 결정하기 위해 자가 작성 테스트 또는 지표에 의존한다. 에이전트는 최적화 대상과 그 검증자 모두를 통제한다. 그 결과, 실제 배포 성능이 저하되거나 낮은 수준에 머무르는 동안에도 자가 부여 점수는 거의 완벽한 수준을 유지할 수 있다. 우리는 검증자-배포 간극(verifier--deployment gap)을 통해 이 문제를 연구한다. 이 간극은 에이전트의 자가 작성 검증 신호와 에이전트가 관찰하거나 접근할 수 없는 봉인된 배포 평가 간의 불일치를 가리킨다. 우리는 반복적인 정책-및-테스트 재작성 하에서 자가 작성 검증이 어떻게 실패하는지, 능력에 따라 실패가 어떻게 변하는지, 그리고 실제 회귀가 배포되는 것을 방지하기 위해 얼마나 적은 외생적(exogenous) 신뢰가 충분한지 묻는다. 이 문제를 해결하기 위해 우리는 Sealed Exogenous Acceptance Loop(SEAL)을 도입한다. SEAL은 자가 작성 테스트를 유지하지만, 각 후보를 현행(incumbent) 상태와 고정된 하네스 측 감사(audit)를 통해 비교한다. 에이전트는 감사를 작성하거나 검사할 수 없으며, 수락/거부만 받고, 명확한 회귀 이후에는 전체 현행 상태가 보존된다. 우리의 실험은 이 문제가 휴리스틱 학습 설정에서 자주 나타남을 보여준다. 이러한 설정은 목표 목적 함수의 시행착오적 발견을 요구한다. 우리는 또한 자가 작성 검증의 실패가 능력에 따라 계층화(stratified)됨을 발견한다. 더 약한 에이전트는 쉬운 자가 테스트 뒤에 이전에 습득한 전략을 손상시키는 경향이 있다. 더 강한 에이전트는 더 안정적이지만, 여전히 배포 분포를 잘못 측정한다. 표준 자가 작성 제약은 이 간극을 신뢰할 수 있게 메우지 못한다. 대조적으로, SEAL은 여섯 개 모델과 세 개의 무작위 시드에서 보호되지 않은 기준선(baseline)들을 능가한다. 신뢰할 수 있는 자기 개선은 자가 검증을 포기할 필요가 없지만, 에이전트의 통제 밖에 있는 적어도 하나의 배포 수락 신호를 요구한다.

arXiv:2610.01834v3cs.AI공통 태그 Decision Making

시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다

Code Owns the Simulation, Jev Owns the Evaluation

Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.

arXiv:2607.20827v2cs.AI공통 태그 Decision Making

LLM 에이전트 행동 선택에서 출처 민감도 감사

Auditing Provenance Sensitivity in LLM Agent Action Selection

LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.