A growing failure mode in agent evaluation and training is that models can achieve high evaluation scores (e.g., test pass rates) by exploiting shortcuts instead of solving the intended task, making these scores deceptive. This makes evaluation scores unreliable as measures of true task-solving ability. We propose CapCode, a framework for constructing coding datasets with randomized tests whose best achievable non-cheating score is deliberately capped below 100%. This capped-score design gives evaluation scores a clearer interpretation: scores substantially above the cap are implausible and therefore provide evidence of cheating. To prevent cheating, we propose CapReward, a reward design based on the CapCode principle to discourage optimization beyond the cap. Experiments across multiple datasets show that CapCode detects cheating while preserving performance ranking of models, and CapReward reduces cheating behavior, yielding models that better follow the intended task specification.
Although large language model agents are increasingly applied to quantitative-finance workflows, their evaluation remains fragmented across isolated tasks, while the financial relevance of benchmark tasks is often overlooked. Yet financial workflows are inherently multi-stage, spanning interdependent tasks such as forecasting, strategy construction, risk management, and trading. Existing platforms typically focus on a single task, and can therefore overstate agent competence and fail to reveal weaknesses in generalization, real-market interaction, and financially meaningful decision-making. We introduce OpenFinGym, a unified gym environment for quantitative-finance agent development that covers forecasting, market generation, real-time trading, and fraud detection under a single execution and verification interface. OpenFinGym additionally provides an automated task-construction pipeline that turns quantitative finance publications into executable task packages; a containerised runtime with a host-side verifier service that supports scalable agent rollouts and prevents runtime train-test leakage; a paper trading engine with a low-latency data-stream design; deferred-resolution support for long-horizon and event-market forecasts; and integration for SFT and RL post-training.
헬스케어 에이전트(agent)는 이질적인 도구와 상태를 유지하는 워크플로우를 통해 종단적인(longitudinal) 임상 증거를 신뢰할 수 있는 행동으로 변환해야 하며, 이러한 조건에서 모델 중심 시스템은 컨텍스트를 잃거나, 도구를 오용하거나, 중대한 상태 전환을 검증하지 못하거나, 권한 경계를 침범할 수 있다. 기존의 의료 에이전트 벤치마크는 주로 최종 작업 결과(terminal task outcome)를 강조하기 때문에, 실행 실패가 에이전트 모델, 런타임 하네스(harness), 혹은 이들의 상호작용 중 어디에서 발생하는지 판단하기 어렵다. 우리는 결과를 보존하면서 일곱 가지 헬스케어 특화 프로세스 차원—진료 조치 이행(Care Action Fulfillment), 임상 자원 활용 능력(Clinical Resource Competence), 환자-증거 정합성(Patient-Evidence Alignment), 임상 워크플로우 연속성(Clinical Workflow Continuity), 임상 감사 가능성(Clinical Auditability), 폐루프 검증(Closed-Loop Verification), 임상 행위 경계(Clinical Conduct Boundaries)—을 독립적으로 평가하는 프레임워크인 Medical Harness Protocol을 제시한다. 또한 정규화된 개입 추적(normalized intervention trace)은 런타임 지원이 제공 가능한지(available), 활성화되었는지(activated), 전달되었는지(delivered), 에이전트에 의해 채택되었는지(adopted), 그리고 이후 행동에 전파되었는지(propagated)를 추적한다. 우리는 이 프로토콜을 FHIR/EHR 연산, 헬스케어 행정 인터페이스, 멀티모달 임상 도구 전반에 걸친 342개의 실행 가능한 작업으로 구성된 MedHarnessBench로 구체화한다. 16,000회 이상의 통제된 작업 실행에서 MedHarness는 최종 작업 성공률, 중간 하위 작업 완료율, 헬스케어 특화 프로세스 품질 전반에서 폭넓은 개선을 보인다. 또한 우리는 MedHarness를 여러 범용 하네스(harness)와 비교 평가하고, 통제된 단일 결함 교란(single-fault perturbation)을 사용하여 일곱 차원 평가의 민감도와 구분력을 검증한다. 이러한 결과는 헬스케어 특화 런타임 지원이 작업 완료율과 실행 품질을 모두 상당히 개선할 수 있음을 보여주는 동시에, 최종 결과만으로는 포착할 수 없는 실패를 드러낸다. 코드와 자료는 https://github.com/Tomry1114/Awesome-Agent-Harness-for-Healthcare 에서 확인할 수 있다.
소프트웨어 제작이 소프트웨어 자체의 손에 맡겨짐에 따라, 코딩 에이전트(coding agent)가 사용자의 자체 워크플로에 맞춤화된 에이전트를 구축하도록 위임받는 사례가 점차 늘어나고 있습니다. 이러한 위임에는 제공된 에이전트가 단지 그렇게 보이는 것에 그치지 않고, 구축 목적이었던 요구사항을 충실히 수행할 것이라는 암묵적인 가정이 깔려 있습니다. 그러나 기존의 어떤 벤치마크도 이 가정을 검증하지 않습니다. 본 논문에서는 자연어 요구사항으로부터 완전한 에이전트를 제작하는 생성(Creation), 프로덕션 에이전트 코드베이스의 수정(Editing), 측정 가능한 목표를 향한 최적화(Optimization)라는 에이전트 개발 수명 주기의 3단계를 아우르는 에이전트 소프트웨어 엔지니어링 벤치마크인 AgentSWE를 소개합니다. 25개의 각 태스크는 시험이라기보다는 의뢰의 형태로 구성됩니다. 즉, 빌더는 소수의 예시 케이스를 바탕으로 반복 개선하고, 인수 평가 단계에서는 엄격한 통과/실패 기준을 적용한 요구사항 기반 루브릭에 따라(최적화의 경우 원본 벤치마크 자체의 목표에 따라) 고정된 제출물을 전체 요구사항을 포괄하도록 설계된 홀드아웃(held-out) 케이스에서 실행하여 동작을 채점합니다. 다양한 모델과 하네스에 걸쳐 여러 코딩 에이전트를 평가한 결과, 요구사항이 요구하는 바를 제대로 제공하는 에이전트는 전무했습니다. 빌더가 시연하는 모습과 실제로 제공하는 결과물 사이의 격차는 예외적인 경우가 아니라 일반적인 현상이었습니다. 실패 궤적에 대한 실증적 분석을 통해 확인된 반복적인 실패 모드로는 가시적인 케이스에 대한 과적합, 완성된 것처럼 보이는 코드 이면의 빈껍데기 런타임, 근거 없는 완료 주장 등이 있었으며, 이는 코딩 에이전트가 요청받은 에이전트를 구축하는 방법을 학습할 수 있는 각각의 신호가 됩니다.
컨텍스트 프로젝션(context projection)은 개별 요청을 단축할 수 있지만, 에이전트가 예산 내에서 작업을 완료하는지 여부를 변화시킬 수 있습니다. 본 연구에서는 제한된 첫 번째 연속 실행으로 인해 동반 실행(companion run)이 수행되지 못할 때, 순차적 평가가 이러한 절충(trade-off) 관계를 어떻게 불분명하게 만드는지 조사합니다. 기록된 ReVerPi 소스 리딩 캠페인에서 두 개의 최종 답변을 가진 15개 쌍은 실험군(arm)당 역사적으로 채점된 12개의 성공을 산출했습니다. 27개의 모든 개입 경계를 보존함으로써 관찰된 실패를 10개의 미실행 동반 실행과 구별하고, 프로젝션 적용 대비 전체 컨텍스트 성공 차이를 $-9$에서 $+1$개 작업 사이로 제한(bound)합니다. 보관된 채점 계약 하에서 고정된 프로젝션 선택기는 전체 컨텍스트와의 성공 차이가 $[-3, 0]$이며, 4개의 적합 작업을 제외하면 23개 경계에 걸쳐 $[-4, -1]$입니다. 보존된 행위자 입력 증거로 플랫폼 전제가 입증되지 않은 한 작업을 제외하면 비적합 범위는 22개 경계에 걸쳐 $[-3, 0]$으로 변경되므로, 엄격한 열세는 해당 제외에 대해 강건하지 않습니다. 역사적으로 공동 성공을 거둔 11개 쌍 중에서 프로젝션은 총 논리적 토큰을 25% 적게 사용하지만, 중앙값 쌍에서는 더 많은 토큰을 사용하며 접미사 요청은 35개가 아닌 55개를 사용합니다. 이러한 회고적 결과는 적응형으로 구성된 단일 캠페인에 관한 것이며, 모집단 성능에 대한 것은 아닙니다. 본 사례 연구는 모든 경계를 보존하고, 알려지지 않은 결과와 정책 의존성을 유지하며, 작업 전제를 확인하고, 유계 완료(bounded completion)와 성공 조건부 자원 사용을 분리하는 회계(accounting) 방식의 필요성을 제시합니다.
에이전틱 AI(Agentic AI) 시스템은 계획(planning), 도구 사용, 메모리, 상호작용 및 적응을 결합한 다단계 궤적(trajectory)을 통해 동작합니다. 이러한 동작 특성으로 인해 수용 가능한 시스템 동작이 시간에 따라, 그리고 변화하는 환경 조건 하에서 결정이 어떻게 전개되는지에 좌우되므로, 검증(validation) 실무는 기존의 컴포넌트 테스트와 단발성 입출력 평가를 넘어서는 수준으로 확장됩니다. 본 체계적 매핑 연구(systematic mapping study)는 에이전틱 시스템의 검증 문제를 규명하기 위해 에이전트 평가, 소프트웨어 보증, 사이버-물리 시스템, 런타임 모니터링 및 규제 지침에 걸친 262편의 논문을 종합합니다. 본 검토는 행동적, 안전성(safety), 시간적, 규제적, 다중 에이전트 관심사를 다루는 5차원 분류 체계를 중심으로 구성되며, 해당 분류 체계를 사용하여 현재의 접근 방식을 매핑하고 접근 방식과 차원 간의 밀집 및 희소 조합을 식별합니다. 생성된 맵에 따르면 문헌은 행동 평가(262편 중 105편)에 집중되어 있으며 시간적 타당성(14편)이 가장 미흡한 것으로 나타났습니다. 규제 관련 연구는 주로 IEEE 색인 학술 행사에서 발표된 보증 케이스(assurance cases) 및 규제 분석에 기반하고 있으며, 다중 에이전트 연구는 주로 벤치마크에 집중되어 있습니다. 세 가지 교차 도메인 사례 연구(의료 케어, 산업 운영, 스마트 모빌리티 시스템)는 검토된 문헌에 기록된 실패 패턴을 바탕으로 안전이 중요한(safety-critical) 환경에서 5가지 분류 차원이 어떻게 반복적으로 나타나는지에 대한 운영적 예시를 제공합니다. 본 논문은 경계가 지정된 자율성(bounded-autonomy) 명세, 적대적 궤적 생성, 런타임 모니터링, 감사 가능한 증거 구조를 중심으로 한 수명 주기 지향적 연구 과제를 제시하며 마무리됩니다. 본 연구의 핵심 주장은 에이전틱 AI의 신뢰할 수 있는 배포가 고립된 컴포넌트만을 평가하는 것이 아니라 맥락 내에서 궤적을 검증하는 것에 달려 있다는 점입니다.
하네스 최적화(harness optimization)는 옵티마이저(optimizer) 에이전트가 타깃 에이전트의 하네스를 반복적으로 업데이트하도록 하여 에이전트 자동 생성을 가능하게 합니다. 이러한 성공에도 불구하고, 기존 연구들은 오로지 타깃 에이전트의 성능 향상만을 관찰하여 옵티마이저를 평가합니다. 이처럼 최종 개선도만을 간접적으로 평가하는 방식은 중간 단계에서 옵티마이저가 취하는 행동을 간과하는데, 이러한 행동은 종종 오류를 포함하며 배포 시 에이전트 성능을 저해합니다. 따라서 하네스 최적화가 옵티마이저의 정보에 기반한 업데이트 행동에 의해 주도되는지, 아니면 단순한 시행착오에 불과한지 불분명합니다. 이는 하네스 옵티마이저에 대한 직접적인 평가의 필요성을 제기합니다. 그러나 오라클(oracle) 하네스의 부재로 인해 하네스 옵티마이저를 직접 평가하는 것은 까다롭고 비용이 많이 듭니다. 이를 해결하기 위해 본 논문에서는 이들을 직접 평가하기 위한 단순하고 저비용인 설계인 우선순위 랭킹(priority ranking)을 제시합니다. 주어진 하네스 내의 구성 요소(예: 도구)들이 업데이트되었을 때 에이전트 성능을 개선하거나 저해할 잠재력에 따라 순위를 매기도록 하네스 옵티마이저에 요청함으로써, 제안하는 설계는 값비싼 롤아웃이나 수작업 검토 없이도 단계별 수준에서 옵티마이저의 역량을 정량화합니다. 더 중요한 점은, 옵티마이저의 랭킹 성능이 실제 다단계 하네스 최적화에서 에이전트를 개선하는 역량과 상관관계를 보인다는 것이며, 이는 우선순위 랭킹이 최적화 역량의 신뢰할 수 있는 지표임을 입증합니다. 우선순위 랭킹은 도메인, 설계, 시간 단계를 아우르는 182개의 인간 검증 최적화 시나리오 모음인 SHOR을 통해 가능해집니다. 코드 및 데이터: https://github.com/k59118/Harness_Optimizer_Evaluation.
에이전트(agent)는 직접 설계한 실험을 통해 경험적 법칙을 발견하거나, 아무도 최적해를 모르는 휴리스틱을 개선하거나, 기존 최고 기록을 갱신하는 것과 같은 개방형(open-ended) 연구 과제를 점점 더 많이 부여받고 있습니다. 이들의 실행 로그에는 이러한 연구의 모든 단계가 기록되지만, 실행 결과는 여전히 최종 결과 점수로만 평가됩니다. 그 점수만으로는 에이전트의 주장이 실행된 실험으로부터 도출된 것인지 입증할 수 없으며, 기준 정답이 존재하지 않을 수도 있습니다. 본 연구에서는 에이전트가 가설을 수립하고, 이를 검증하며, 증거에 따라 가설을 수정하는 방식인 인식론적 과정(epistemic process)을 평가합니다. 우리는 기준 정답이나 결과 점수를 전혀 참조하지 않고 에이전트의 실행 기록만을 읽는 벤치마크 불가지론적(benchmark-agnostic) 방법론인 OEB(Open-Endedness Bench)를 소개합니다. OEB는 기록을 통합된 인식론적 사건 그래프(epistemic event graph)로 컴파일하며, 이 그래프의 엣지는 에이전트가 진술한 명제와 이를 검증하는 실행된 행동을 연결합니다. 각 노드(node)는 코드를 통해 기록과 대조 검증되는 정확한 발췌문을 포함합니다. 평가에는 한 가지 원칙이 적용됩니다. 글로는 명제를 진술할 수 있지만, 실행된 행동이 반환한 증거만이 이를 뒷받침하거나 반박할 수 있으므로 OEB는 에이전트가 작성한 내용을 실제로 실행한 내용과 대조하여 확인합니다. 이 그래프로부터 OEB는 네 가지 역량 축(증거, 실험, 수정, 보상 해킹 방지)을 에이전트가 건전한 연구 기회를 활용한 비율을 중심으로 점수화하고, 에이전트의 연구 습관을 설명하는 여섯 가지 주관적 페르소나 특성을 프로파일링합니다. 우리는 세 가지 벤치마크(LLM 사후 학습(post-training), 칩 설계, 학습(training) 속도 기록)의 12개 과제에 걸쳐 기존 119개의 실행 기록을 평가했습니다. 기록된 결과와 비교했을 때 에이전트가 주장한 개선 사항 중 실제 개선된 것은 16~29%에 불과했습니다. 10개 과제 중 9개에서 최상의 실행 결과는 최악의 실행 결과보다 후반부에 더 많은 새로운 아이디어를 시도했습니다. 페르소나 측정치는 모델(model)을 따릅니다. 모든 특성에 대해 실행된 모델은 과제보다 실행 간 분산의 더 많은 부분을 설명했습니다(중앙값 기준 43% 대 7%).
하네스 진화(harness evolution)는 태스크 피드백을 활용하여 대규모 언어 모델(LLM) 에이전트에 사용되는 후보 하네스를 반복적으로 평가하고 수정하는 반복적 탐색 절차입니다. 본 연구에서는 이러한 자동 하네스 진화 절차의 평가 방식을 재검토하고, 해당 프로토콜에서 두 가지 근본적인 문제를 확인합니다. 첫째, 선행 연구들은 동일한 피드백 및 추론(inference) 예산 하에서 이러한 접근법을 단순한 태스크 수준 탐색 기준선(baseline)과 비교하지 않았습니다. 둘째, 선행 연구들은 진화된 하네스의 최종 성능을 보고하는 동일한 벤치마크에서 추출된 검증 신호(예: 단위 테스트 케이스)를 사용하여 하네스 구성을 탐색함으로써, 학습(training) 데이터와 테스트 데이터 간의 표준적인 분리 원칙을 위반했습니다. 이를 해결하기 위해, 본 연구는 유사한 피드백 및 추론 예산 하에서 자동 하네스 진화를 단순한 테스트 타임 스케일링(test-time scaling) 및 탐색 기준선과 비교하고, 일반화 능력을 평가하기 위해 유보된(held-out) 태스크에서 진화된 하네스를 평가합니다. 선행 연구를 따라 Terminal-Bench 2.1에서 실험을 진행한 결과, 자동 하네스 진화는 테스트 케이스의 유무와 관계없이 단순한 테스트 타임 스케일링 방식을 능가하지 못했으며 제한적인 일반화 성능을 보였습니다. 그러나 본 연구는 장기적(long-horizon) 게임이 개선의 여지가 충분할 만큼 난도가 높고, 분포 외(out-of-distribution) 동역학에 대한 적응에 크게 의존하며, 설계상 세분화된 피드백을 제공한다는 점에서 자동 하네스 진화에 유망한 환경임을 발견했습니다. 이러한 환경에서 태스크 특화 하네스 진화는 동일한 예산 조건에서 ARC-AGI-3 기준선 대비 80.0%, EdgeBench 기준선 대비 10.9% 향상되었습니다. 종합하면, 이러한 결과는 진정한 하네스 개선과 벤치마크 특화 탐색 및 과적합(overfitting)을 구분하기 위해 예산이 일치된 기준선과 유보 데이터 평가가 필요함을 강조하며, 자동 하네스 진화가 실제로 유용한 시점에 대해 보다 신중한 특성 분석이 필요함을 시사합니다. 코드 번들은 https://github.com/rethinking-harness-evolution 에서 확인할 수 있습니다.
엔터프라이즈 AI 에이전트(agent) 스킬은 도구 API, 모델(model), 명세의 변화에 따라 진화하지만, 최종 출력 평가만으로는 프로세스 수준의 행동 드리프트(drift)를 놓칠 수 있다. 본 논문에서는 결과 수준 및 프로세스 수준 검사를 결합한 지속적 평가 프레임워크를 제안하며, 이를 엔터프라이즈 가치 인식 복원력(Value Aware Resiliency) 시스템 내 비즈니스 가치 결정(Business Value Determination) 스킬의 수익(Revenue) 및 생산성(Productivity) 변형에 적용한다. 이 프레임워크는 실행별 정답(ground truth)을 독립적으로 계산하고, 재사용 가능한 템플릿 테스트를 구체화하며, 프로그래밍 방식의 검사와 좁은 범위로 한정된 대규모 언어 모델(LLM) 심사위원을 통해 도구 선택, 인자, 실행 순서, 데이터베이스 무결성을 평가한다. 우리는 두 가지 스킬, 두 가지 명세 변형, 두 가지 에이전트 하네스, 세 가지 모델에 걸쳐 240회의 시도를 평가했다. 적용 가능한 모든 최종 수치 검사를 통과한 175회의 시도 중 162회(92.6%, 윌슨 95% 신뢰구간: 87.7-95.6%)에서 평가자가 감지한 또 다른 편차가 포함되어 있었다. 더 넓은 7가지 검사 기반의 최종 상태 정의 하에서도 통과된 164회 실행 중 151회(92.1%, 95% 신뢰구간: 86.9-95.3%)가 여전히 궤적 검사를 위반했다. 의존성 귀속(dependency attribution)을 통해 실행당 실패한 검사의 평균 수를 6.34개에서 근본 원인 2.65개로 감소시켰다. 명세 민감도는 모델과 하네스에 따라 달랐으며, 탐색적 부트스트랩 상호작용 구간은 세 가지 수익 비교 모두와 세 가지 생산성 비교 중 하나에서 0을 제외했다. 런타임 해석 템플릿은 평가된 구성 전반에 걸쳐 재사용 가능한 회귀 커버리지를 제공했으며, 실제 API 진화 환경에서의 종단적 검증(validation)은 향후 과제로 남겨둔다.
에이전트(agent) 평가는 단순한 성공률을 넘어 비용, 일관성, 견고성과 같은 지표를 보고하는 방향으로 점차 나아가고 있습니다. 그러나 이러한 평가는 대개 에이전트 자체를 고정된 것으로 취급합니다. 실제로 에이전트는 구성 가능한 시스템입니다. 사용자는 에이전트에게 무엇을 전달할지, 얼마나 오래 실행할지, 어떤 모델을 사용할지를 결정하며, 이러한 각 선택은 성능의 수준과 일관성을 변화시킬 수 있습니다. 본 연구에서는 코딩 에이전트가 공개된 전문 모델을 찾아 올바르게 작동해야 하는 네 가지 과학적 작업으로 구성된 새로운 벤치마크를 통해 이러한 선택들을 조사합니다. 구체적으로 작업 정보, 추론, 자체 검증, 시간 예산, 백본 모델이라는 에이전트 구성의 다섯 가지 요소를 탐구합니다. 연구 결과 실행 간 상당한 변동성이 발견되었으며, 결과 분산의 약 54%는 구성을 변경해서가 아니라 동일한 구성을 반복 실행하는 데서 발생했습니다. 여러 구성 전반에 걸쳐 에이전트에 제공된 정보가 시간 예산과 모델 크기를 모두 능가하며 가장 큰 영향을 미쳤고, 동시에 비용을 줄이고 캘리브레이션(calibration)을 개선했습니다. 또한 구성 선택들은 서로 상호작용합니다. 추가적인 시간은 에이전트에게 충분한 정보가 있거나 이를 활용할 만큼 유능한 모델이 있을 때만 도움이 됩니다. 마지막으로, 에이전트 행동에 대한 궤적 기반 분류체계에 따르면 에이전트에게 답변을 검증하도록 프롬프트를 제공하는 것은 검증 행동에 거의 영향을 미치지 않는 반면, 전용 검증 도구를 제공하는 것은 해당 행동을 크게 변화시키는 것으로 나타났습니다. 이러한 결과는 에이전트 자체를 구성 가능한 시스템으로 평가해야 하며, 원하는 특정 행동은 프롬프트를 통해 요구하기보다 시스템 내에서 구현하는 것이 더 효과적임을 시사합니다. 본 연구는 벤치마크와 18,000개 이상의 에이전트 궤적을 공개합니다.
대규모 언어 모델(LLM) 에이전트의 실행 중 발생하는 오류와 눈에 보이는 결과 사이에는 많은 단계가 존재할 수 있어, 결정적인 오류를 국소화하려면 각 단계의 내용과 단계 간 의존성을 모두 이해해야 합니다. 본 논문에서는 에이전트의 실패 귀인(failure attribution)을 위한 의존성 기반 프레임워크인 DeFA를 소개합니다. DeFA는 먼저 프로토콜 관계와 의미론적 의존성을 결합하여 전체 궤적에 걸친 사건 의존성 그래프를 구축합니다. 그런 다음 작업 요구사항을 위반할 수 있는 사건을 식별하고 그 원인과 후속 영향을 추적하여 실패 전파 그래프를 구성합니다. 마지막으로 DeFA는 단계별 증거와 실패 전파 과정에서 각 단계가 수행한 역할을 활용하여 결정적 오류, 책임 에이전트, 오류 범주를 식별합니다. 긴 궤적을 지원하기 위해 DeFA는 실행 과정을 세그먼트로 분할하고 현재 세그먼트의 상세한 내용과 다른 세그먼트의 요약을 결합함으로써 로컬 진단에서도 전체 실행 문맥에 접근할 수 있도록 합니다. Who and When 및 Who and When Pro 텍스트 하위 집합 전반에서, DeFA는 평가된 모든 백본에서 가장 높은 책임 에이전트 및 정확한 단계 정확도를 달성했으며, Pro에서는 분류 체계 기반 방법 중 가장 높은 실패 모드 정확도를 기록했습니다. 이미지 및 비디오 궤적에 대한 추가 실험은 멀티모달 실패 귀인에 대한 적용 가능성을 보여줍니다. 절제 연구(ablation)는 세그먼트 분할, 사건 의존성 그래프, 실패 전파 그래프의 기여도를 뒷받침합니다. Trace2Skill의 스킬 진화에 DeFA의 진단 피드백을 활용했을 때 기본 파이프라인 대비 다운스트림 작업 정확도가 6~15%p 향상되어, 이러한 진단이 후속 작업에서 에이전트의 개선을 지원할 수 있음을 입증합니다.
ARC-AGI-3는 관찰을 통해 규칙과 목표를 추론해야 하는 상호작용 환경(environment)에서 에이전트(agent)를 평가합니다. 본 논문에서는 가설을 실행 가능한 월드 모델(world model)로 표현하고, 소급적 전이 검증과 조건부 예측 검증을 통해 이를 검증하는 오픈소스 하네스인 Kepler를 제시합니다. 단일 고정 Claude Opus 5 설정 하에서, Kepler는 게임별 모델(model) 선택이나 점수 조건부 재실행 없이 25개 공개 게임 전체에서 서버 검증 100.00 RHAE를 달성했습니다. 완료된 183개 레벨 중 181개에서 최종 Opus 시도는 해당 인간 중앙값 기준선(baseline)보다 더 많은 행동을 사용하지 않았습니다. 보존된 보드 실행에는 8,256회의 환경 행동이 사용되었으며, 이 중 7,292회는 점수가 매겨지는 레벨에서 발생했습니다. 보존된 로컬 제공자 세션 기록 기준으로 8억 5,800만 토큰(token), 97.37%의 캐시 읽기, 2026년 9월 1일 API 정가 기준 777.72달러의 비용이 소요되었습니다. 또한 세 가지 평가 실패 사례를 보고합니다: 유효하지 않은 완벽한 실행을 초래한 소스 코드 유출, 대조 조건에서 에이전트가 제거된 하네스를 재구축한 사례, 그리고 자율 복구가 고장 난 플래너를 은폐한 사례입니다. 단일 게임 관찰 사례 연구에 따르면, 애니메이션 프레임에는 안정화된 텍스트 그리드에는 없는 작업 관련 정보가 포함되어 있었습니다. 최종 Claude Opus 5 및 GPT-5.6 Sol 보드 전체에서 50개 게임-모델 셀 중 48개가 100에 도달했습니다. 이러한 결과는 공개 세트 점수만으로는 변별력이 제한적임을 나타내며, 첫 시도, 비용 조건부 및 검증 인식 보고의 필요성을 시사합니다.
에이전트(agent) 평가는 대규모 언어 모델(LLM)을 비교하고 배포 결정을 내리는 데 점점 더 많이 사용되고 있지만, 순위는 모델뿐만 아니라 스캐폴드(scaffold)나 태스크와 같은 평가 조건의 영향도 반영할 수 있습니다. 이로 인해 신뢰성은 평가하려는 주장(claim)에 따라 달라집니다. 즉, 배포된 시스템의 순위를 안정적으로 매기는 평가가 그 기반이 되는 모델의 순위까지 안정적으로 매기지는 못할 수 있습니다. 본 연구에서는 현재의 에이전트 평가가 어떤 결론을 안정적으로 뒷받침하는지, 그리고 어떤 추가 평가가 이를 개선할 수 있는지 질문을 던집니다. 이를 위해 희소하고 불균형한 에이전트 리더보드를 위한 베이지안 분산 분해 프레임워크를 개발하고, 이를 Holistic Agent Leaderboard 및 Harbor Index의 22개 벤치마크에 적용합니다. 이 프레임워크는 의도한 주장과 관련된 성능 차이인 '신호'와 순위를 바꿀 수 있는 무관한 변동인 '노이즈'를 분리합니다. 연구 결과는 다음과 같습니다: (1) 신뢰성은 측정 목표에 따라 달라집니다. 고정된 모델-스캐폴드 시스템은 안정적으로 순위가 매겨지지만(0.935–0.994), 기반 모델의 신뢰성은 상당히 낮습니다(0.148–0.841). (2) 스캐폴드 선택이 결론을 바꿀 수 있습니다. 스캐폴드 간 신뢰성은 스캐폴드가 모델 순위를 보존하는지 여부를 측정하며, 스캐폴드 효과가 평가 전반에 걸쳐 크게 달라짐을 보여줍니다. (3) 더 많은 태스크가 모든 불확실성을 해결할 수는 없습니다. 제한된 스캐폴드 커버리지가 불확실성을 지배하는 경우, 유사하게 구성된 태스크를 무한히 많이 추가하더라도 벤치마크의 모델 순위 신뢰성은 기껏해야 0.097만 향상됩니다. (4) 다양한 벤치마크를 풀링(pooling)하면 더 적은 비용으로 교차 태스크 순위를 개선할 수 있습니다. 다양한 에이전트 태스크 전반의 순위 평가에서 벤치마크를 풀링하면 동일한 태스크 예산에서 예상 신뢰성이 0.44에서 0.75로 상승하며, 예상 비용을 최대 83%까지 줄일 수 있습니다. 평가 설계는 의도한 주장을 따라야 합니다. 즉, 점수나 순위가 무엇을 의미해야 하는지 식별하고, 신뢰성을 제한하는 요인을 진단하며, 중요한 불확실성의 원인에 평가 예산을 투입해야 합니다.
시간이 지남에 따라 사용되는 에이전트(agent)는 반복되는 전문적인 업무에 직면합니다. 각 사례는 서로 다른 근거와 판단을 요구하지만, 기초가 되는 워크플로우는 재사용될 수 있습니다. 독립적인 작업들로 구축된 벤치마크는 에이전트가 이전 경험을 후속 사례를 위한 더 나은 절차로 전환하는지 여부를 드러낼 수 없습니다. 우리는 이러한 구조를 기반으로 설계된 종단적(longitudinal) 벤치마크인 FinEvo-Bench를 소개합니다. 이는 6개 금융 도메인의 20개 비즈니스 장면(scene)에 걸친 실제 사례에서 추출한 120개의 개방형 작업으로 구성됩니다. 각 장면은 전문적인 워크플로우와 작업 품질 및 금융 규제 준수를 위해 전문가가 작성한 루브릭을 공유하는 실질적으로 서로 다른 6개의 사례를 포함합니다. 벤치마크를 구축하고 검증하는 데에는 약 1,200인시(person-hours)가 소요되었습니다. 금융은 반복적인 분석이 이질적인 입력에 공유된 전문적 및 규제 준수 요구사항을 적용하여 사례별 분석과 결론을 도출하므로 자연스러운 테스트베드를 제공합니다. 우리는 독립적으로 셔플되고 전역적으로 인터리브된 3개의 작업 스트림에서 Qwen3.7-Max 기반의 네 가지 자기 진화형 에이전트 스캐폴드를 평가합니다. Claude Opus~4.6으로 구동되는 Claude Code 루브릭 판별기가 모든 결과물을 평가하며, 쌍을 이룬 상태 재설정(state-reset) 대조군은 축적된 경험으로부터 각 스캐폴드가 얻은 이득을 추정합니다. 진화하는 실행은 쌍을 이룬 대조군에 비해 작업당 9.33--19.37점 더 높은 점수를 기록하고 규제 준수 문제를 0.12--0.44건 더 적게 유발합니다. 장면 내 순위 4--6에서의 쌍 점수 상승폭은 순위 1--3에서의 상승폭을 6.10--8.70점 초과합니다. FinEvo-Bench는 지속적인 사용 환경에서 축적된 경험이 이후의 전문 업무를 개선하는지 여부를 측정합니다.
많은 지식 업무 �enchmark는 개별 과제를 중심으로 구성되며, 각 과제에 필요한 컨텍스트는 과제가 명시될 때 함께 선택되거나 그 이후에 선택된다. 이 설계는 과제를 위해 조립된 환경에서 직장과 유사한 과제에 대한 성능을 측정한다. 과제 명세가 어떤 컨텍스트가 선택될지를 안내하면, 평가는 과제 정보를 환경에 인코딩하고 직장에서의 수행이 일반적으로 요구하는 정보 국소화 작업의 일부를 미리 완료할 수 있다. 우리는 조직 상태를 과제 명세와 분리하는 평가 인프라인 WorkWorlds를 제안한다. 월드는 먼저 리비전, 날짜, 직원 seat을 고정하고 해당 직원이 접근할 수 있는 조직 상태를 구체화하며, 과제는 그 이후에만 도입된다. 우리는 6개 직원 seat에 걸쳐 8개의 측정 과제를 두는 주요 합성 제약 회사에 WorkWorlds를 구현하고, 추가 조직 월드를 구성한다. 192건의 매칭된 평가에서, 과제 중심으로 큐레이션된 컨텍스트에서 역할 전체가 볼 수 있는 직장 환경으로 전환하면 증거 접근은 90.4%에서 74.5%로, 기준 통과는 79.4%에서 68.2%로 감소했으며, 증거 접근 조건부 통과는 거의 변하지 않았다. 측정된 차이의 대부분은 에이전트가 충분한 증거에 도달하기 전에 발생했다.
도구를 사용하는 에이전트는 기록된 실행은 달라지면서 최종 결정을 반복할 수 있다. 우리는 결정 반복 가능성, 궤적 일치, 증거 조건부 충실성(evidence-conditioned faithfulness)을 구분하는 프레임워크인 결정론-충실성 보증 하네스(Determinism-Faithfulness Assurance Harness, DFAH)를 제안한다. 과제 정확성(task correctness)은 별도로 한정된 라벨과 평가가 필요하며, 증거 조건부 충실성은 과거 v2 에이전틱 실험에서 평가되지 않았다. 원 v2 연구는 세 가지 합성 금융 과제에서 4,705회의 에이전틱 실행과 21개 모델-벤치마크 구성 요약 전반에 걸친 결정-결정론/과제-라벨 일치 상관 r = -0.11을 보고했다. 이 통계는 과거 구성 테이블에서 재현 가능하지만, 이후 제외된 포트폴리오 픽스처(portfolio fixture)를 포함한다. 이는 통계적 독립성, 예측적 무용성, 또는 구조적 결정론-정확도 트레이드오프의 증거가 아니라 역사적 기술로 보존된다. 기록된 결정 집중과 도구 경로(tool-path) 변동은 숨겨진 모델 전략을 식별하지 않는다. 이번 정정은 과거 증거를 한정하고, 그러한 근거 없는 해석에서 도출된 배포 권고를 제거한다. 별도의 수정 연구인 DFAH-Bench(arXiv:2607.20491)는 결정/경로 불일치에 대한 한정된 증거를 제공한다. 여기서 유지되는 기여는 측정 프레임워크이다. 반복 가능성, 관측 가능한 실행, 증거 정렬, 정확성은 명시적 포착과 연구 경계와 함께 서로 다른 증거를 요구한다.
에이전트 벤치마크는 사용자가 배포된 에이전트에게 실제로 요청하는 내용을 반영해야 하지만, 기존 벤치마크는 종종 실제 개발자-에이전트 세션의 핵심 현실성 특성을 놓치곤 합니다. 본 논문에서는 배포된 에이전트 사용의 분포, 다양성 및 실제 난이도를 포착하기 위해 실제 OpenClaw 세션에서 구축된 라이브 벤치마크 프레임워크인 RealClawBench를 소개합니다. 실제 사용자 요청은 종종 로컬 실행 환경에 의존하고, 암묵적이거나 명세가 불충분한 의도를 포함하며, 사소하지 않은 검증이 필요하므로 벤치마킹하기 어렵습니다. RealClawBench는 재구성된 실행 환경과 결정론적 검증 가능 채점기라는 두 가지 핵심 메커니즘을 통해 이러한 문제를 해결하며, 이를 통해 실제 세션을 재현 가능하고 자동으로 채점되는 작업으로 변환합니다. 결과적으로 공개된 데이터셋은 원본 분포를 보존하면서 훨씬 더 큰 실제 세션 풀에서 샘플링된 281개의 실행 가능한 작업을 포함하며, 최종 결과물과 원본 간의 최대 젠센-섀넌 발산(Jensen-Shannon divergence)은 0.0448입니다. 14개의 최신 모델에 대한 평가 결과, 최상의 시스템조차 작업의 65.8%만 해결할 수 있어, 현실적인 개발자-에이전트 워크로드(workload)에서는 상당한 개선 여지가 있음을 보여줍니다. 실제 배포된 세션을 통제된 평가 인스턴스로 변환함으로써, RealClawBench는 실제 사용 환경에서의 에이전트 능력을 더 정확히 측정할 수 있는 벤치마크로 나아가는 실용적인 경로를 제공합니다. 코드는 https://anonymous.4open.science/r/real-claw-bench-582B 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 에이전트는 이미지와 같은 외부 콘텐츠를 검색하고, 적절한 경우 해당 콘텐츠를 재현하는 상업적 작업을 점점 더 많이 수행하고 있다. LLM 에이전트는 저작권법을 포함한 법률을 준수해야 한다. 그러나 현재로서는 실제로 그렇게 하는지 평가할 수 있는 적절한 프레임워크가 부족하다. 이를 위해 저작권법 준수를 평가하기 위해 설계된 벤치마크인 Copyright-Bench를 제안한다. Copyright-Bench는 웹사이트 개발, 상품 디자인, 피치 덱 제작 등 현실적인 상업적 작업으로 구성되며, 이 작업들에서는 에이전트가 사용이 합법적인 퍼블릭 도메인(public domain) 콘텐츠와 이 맥락에서 사용 시 침해에 해당하는 저작권 보호 콘텐츠 사이에서 선택해야 한다. 평가에서는 다양한 사용자 선호를 시뮬레이션하는 프롬프트 변형과 시간 압박을 도입한다. 최신 LLM 에이전트와 인간 기준선을 비교한 결과, (1) 에이전트는 퍼블릭 도메인 대안이 있음에도 저작권 보호 저작물을 선택하며, (2) 오픈 가중치 모델의 경우 특정 사용자 선호와 시뮬레이션된 시간 압박에 대응하여 위반율이 증가한다는 것을 확인했다.
다회차 의료 상담 에이전트를 평가하려면 상호작용을 통해 유도한 병력이 제공하는 진단 지원을 판단해야 한다. 그러나 결합(coupled) 평가에서는 각 정책(policy)이 병력 유도와 최종 진단 생성을 모두 수행하므로, 진단 점수가 유도된 병력과 정책 고유의 최종 진단 생성기를 혼재(confound)시킨다. 우리는 의료 기록과 온라인 상담에서 파생된 홀드아웃(held-out) 사례 위에 구축된 진단 분리 평가 테스트베드인 MedDDC-Eval을 제안한다. 동일한 고정(frozen) 공유 진단 판독기(diagnostic reader)를 모든 정책이 유도한 병력에 적용하여, 정책 간 최종 진단 생성을 고정하고 공유 진단 판독기 하에서 비교를 가능하게 한다. 진단 지원, 정보 획득(information-acquisition) 커버리지, 효율성을 보고한다. LLM 보조 의미적 매칭과 이어지는 결정론적 일대일 할당(one-to-one assignment)으로 진단-궤적-효율(diagnosis-trajectory-efficiency, D/T/E) 점수를 감사 가능(auditable)하게 한다. 8개 정책에 걸친 고정 병력(fixed-history) 감사에서, 각 정책의 고유 생성기를 공유 진단 판독기로 교체하면 진단 F1이 2.2~19.0점 변동하고 Record 및 Dialogue 분할에서 쌍별(pairwise) 순위의 18%와 36%가 뒤바뀐다. 하류(downstream) 유용성을 검토하기 위해, 동일한 진단 및 궤적 차원을 목표로 하는 별도의 학습 시점 보상(training-time reward)과 함께 표준 Group Relative Policy Optimization(GRPO)을 사용한다. Qwen3-32B 초기화 대비, 학습된 정책은 홀드아웃 Record 및 Dialogue 분할에서 각각 9.6점과 4.6점의 집계 점수(aggregate-score)를 획득하며, 어느 한쪽 피드백 신호를 제거(ablation)하면 두 분할 모두에서 집계 점수가 감소한다. 종합하면, MedDDC-Eval은 공유 진단 판독기 하에서의 비교와 평가 기반 정책 개발을 지원하며, 최종 진단 생성도 목표 역량의 일부일 때 end-to-end 평가를 보완한다.