arXiv:2610.00015v1 cs.AI

제안에서 검증된 효과까지: 거버넌스 기반 AI 에이전트 실행을 위한 증거 기반 하네스 Praxa

From Proposal to Verified Effect: Praxa, an Evidence-Bound Harness for Governed AI Agent Execution

Stefan G. Creadore

제출 2026-07-27

저자 비고

arXiv Comments

30 pages, 8 figures. Engineering validation and descriptive pilot. Public artifacts: https://github.com/praxa-labs/praxa-benchmarks/releases/tag/preprint-v1.4.0

한국어 초록

대규모 언어 모델(LLM) 에이전트(agent)는 행동을 제안하고 실행할 수 있지만, 제안, 권한, 디스패치, 검증된 외부 효과, 서빙 승격은 서로 다른 주장입니다. 본 논문에서는 결정론적 승인, 중개 실행, 외부 리드백, 조정, 검토 기반 승격을 통해 이러한 상태들을 명시적으로 표현하는 에이전트 하네스인 Praxa를 제시합니다. 우리는 네 가지 증거 레인을 보고합니다. 첫째, 고정된 리비전에서 저자가 수행한 저장소 로컬 감사에서는 1,027/1,027개의 단위 테스트와 89/89개의 Workerd 테스트를 통과했고, 예상된 363개 소스 파일 전체를 계측했으며, 네 가지 커버리지 하한선을 충족했습니다. 다만 테스트별 원시 기록과 독립적인 재현 결과는 제공되지 않습니다. 둘째, 12개 선별된 태스크에 걸쳐 제공업체 지원 Terminal-Bench Core 0.1.1 파일럿에서 기준선(baseline)과 신뢰성 층(layer) 시험군은 엄격한 평가 36회 중 각각 17회를 통과했습니다. 신뢰성 층은 입력 토큰을 37.49%, 출력 토큰을 50.73% 더 많이 사용했으므로, 이 파일럿은 우월성을 뒷받침하지 않습니다. 셋째, 디버그 후 진행된 2차 조정 프록시 개발 비교에서 기준선과 소스 작성 후보는 각각 동일한 측정 정확도, 완전한 밀폐형 크래시 복구, 보호 위반 0건으로 180/180회의 시험을 완료했습니다. 해당 후보는 37.11% 적은 토큰, 33.84% 낮은 예상 엔드포인트 비용, 11.63% 적은 단계를 사용했으나, 이것이 향상된 품질, 지연 시간 또는 프로덕션 동작을 입증하지는 않습니다. 넷째, 배포된 소스/구성 증거는 경계가 지정된 반추, 재현율(recall) 회계, 메모리 컴파일, 도구 건전성 경로를 보여주지만 프로덕션 결과 향상은 보여주지 않습니다. Praxa가 뒷받침하는 기여는 권한에서 효과로의 전이를 명시적이고 테스트 가능하게 만드는 증거 기반 아키텍처입니다. 현재의 증거는 적대적 보안, 프로덕션 안전성, 일반적인 전문가 우월성, 자율적 재귀 최적화 또는 사용자 이점을 입증하지 않습니다.

원문 초록

Large-language-model agents can propose and execute actions, but proposal, authority, dispatch, verified external effect, and serving promotion are different claims. We present Praxa, an agent harness that represents these states explicitly through deterministic admission, brokered execution, external read-back, reconciliation, and reviewed promotion. We report four evidence lanes. First, an author-run repository-local audit at a pinned revision passed 1,027/1,027 unit tests and 89/89 Workerd tests, instrumented all 363 expected source files, and met four coverage floors; raw per-test transcripts and independent reproduction are unavailable. Second, in a provider-backed Terminal-Bench Core 0.1.1 pilot across 12 curated tasks, baseline and reliability-layer arms each passed 17/36 strict trials. The reliability layer used 37.49% more input and 50.73% more output tokens, so the pilot does not support superiority. Third, in a post-debug, two-order coordination-proxy development comparison, baseline and a source-authored candidate each completed 180/180 trials with equal measured accuracy, full hermetic crash recovery, and zero protected violations. The candidate used 37.11% fewer tokens, 33.84% lower estimated endpoint cost, and 11.63% fewer steps; this does not establish improved quality, latency, or production behavior. Fourth, deployed source/configuration evidence shows bounded reflection, recall accounting, memory compilation, and tool-health paths, but no production outcome lift. Praxa's supported contribution is an evidence-bound architecture that makes authority-to-effect transitions explicit and testable. Current evidence does not establish adversarial security, production safety, general specialist superiority, autonomous recursive optimization, or user benefit.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.00015v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00636v1cs.AI공통 태그 Benchmarking, ai agents

CompMat-Bench: 계산재료과학을 위한 AI 에이전트 벤치마크

CompMat-Bench: Benchmarking AI Agents for Computational Materials Science

과학 연구 작업에서 AI 에이전트(agent)를 평가하는 것은 기반이 되는 실험이나 계산에 소요되는 시간과 자원의 제약을 받습니다. 계산재료과학 연구에서는 에이전트와 시도 전반에 걸쳐 비용이 많이 드는 동일한 시뮬레이션을 반복하는 것이 평가를 비현실적으로 만들 수 있습니다. 본 연구에서는 최근 발표된 계산재료과학 연구에서 도출된 94개의 작업으로 구성된 벤치마크인 CompMat-Bench를 소개하며, 각 작업은 에이전트가 연구의 과학적 목표를 달성하기 위한 한 단계를 완료하도록 요구합니다. 평가 과정에서 비용이 많이 드는 시뮬레이션을 피할 수 있도록 연구 단계를 미리 재현하고, 고비용 시뮬레이션을 위한 입력 준비 및 출력 분석 능력을 바탕으로 에이전트를 평가합니다. 재현된 입력과 결과는 LLM 심사위원 없이 고정된 규칙으로 에이전트를 채점하기 위한 정답(ground truth) 역할을 합니다. 이 벤치마크는 단일 작업 및 관련 작업으로 구성된 워크플로, 그리고 각각에 대해 방법론적 안내가 완전하거나 축소된 상태를 포함하는 네 가지 평가 조건을 지원합니다. 단일 작업에서 완전한 안내가 제공될 때, 세 가지 대규모 언어 모델(LLM) 기반의 에이전트는 94개 작업에서 66.0-90.4%의 통과율을 보이며 개별 재료 연구 단계를 완수할 수 있는 능력을 입증했습니다. 더 긴 워크플로와 축소된 안내는 모두 에이전트의 성능을 제한할 수 있지만, 에이전트마다 서로 다른 방식으로 작용합니다. 즉, 약한 에이전트의 통과율은 낮아지는 반면, 가장 강력한 에이전트는 긴 워크플로와 축소된 안내가 결합될 때만 성능 저하를 보였습니다. 실패 분석 결과 대부분의 실패는 소프트웨어 사용 오류보다는 과학적 오류에 기인하는 것으로 나타났습니다. CompMat-Bench는 실제 재료 연구 단계에서 에이전트를 비교하고 에이전트의 실패 모드를 분석할 수 있는 기반을 제공합니다.

arXiv:2610.01833v1cs.AI공통 태그 Benchmarking, ai agents

진화하는 엔터프라이즈 AI 에이전트 스킬을 위한 지속적인 프로세스 수준 평가

Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills

엔터프라이즈 AI 에이전트(agent) 스킬은 도구 API, 모델(model), 명세의 변화에 따라 진화하지만, 최종 출력 평가만으로는 프로세스 수준의 행동 드리프트(drift)를 놓칠 수 있다. 본 논문에서는 결과 수준 및 프로세스 수준 검사를 결합한 지속적 평가 프레임워크를 제안하며, 이를 엔터프라이즈 가치 인식 복원력(Value Aware Resiliency) 시스템 내 비즈니스 가치 결정(Business Value Determination) 스킬의 수익(Revenue) 및 생산성(Productivity) 변형에 적용한다. 이 프레임워크는 실행별 정답(ground truth)을 독립적으로 계산하고, 재사용 가능한 템플릿 테스트를 구체화하며, 프로그래밍 방식의 검사와 좁은 범위로 한정된 대규모 언어 모델(LLM) 심사위원을 통해 도구 선택, 인자, 실행 순서, 데이터베이스 무결성을 평가한다. 우리는 두 가지 스킬, 두 가지 명세 변형, 두 가지 에이전트 하네스, 세 가지 모델에 걸쳐 240회의 시도를 평가했다. 적용 가능한 모든 최종 수치 검사를 통과한 175회의 시도 중 162회(92.6%, 윌슨 95% 신뢰구간: 87.7-95.6%)에서 평가자가 감지한 또 다른 편차가 포함되어 있었다. 더 넓은 7가지 검사 기반의 최종 상태 정의 하에서도 통과된 164회 실행 중 151회(92.1%, 95% 신뢰구간: 86.9-95.3%)가 여전히 궤적 검사를 위반했다. 의존성 귀속(dependency attribution)을 통해 실행당 실패한 검사의 평균 수를 6.34개에서 근본 원인 2.65개로 감소시켰다. 명세 민감도는 모델과 하네스에 따라 달랐으며, 탐색적 부트스트랩 상호작용 구간은 세 가지 수익 비교 모두와 세 가지 생산성 비교 중 하나에서 0을 제외했다. 런타임 해석 템플릿은 평가된 구성 전반에 걸쳐 재사용 가능한 회귀 커버리지를 제공했으며, 실제 API 진화 환경에서의 종단적 검증(validation)은 향후 과제로 남겨둔다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.