PyTorchKR Papers

최신 논문

총 58편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.24054v1cs.AI

성공은 자명하지 않다: 에이전트 평가에서 성공 출처 감사

Success Is Not Self-Explanatory: Auditing Success Provenance in Agent Evaluation

정확한 답은 에이전트가 왜 성공했는지를 숨길 수 있다. 에이전트가 평가 중에 정보 상태를 변경하면, 정확성은 의도된 추론과 답 획득을 더 이상 구분하지 못한다. 결과 증거와 노출 탐지는 성공이 획득된 목표에 의존했는지를 확립하지 못한다; 우리는 이 누락된 평가 대상을 성공 출처(success provenance)라고 부른다. AcquaBench는 네 가지 표준화된 표면에서 CLEAN, GOLD, SHAM의 매칭된 값 대체를 통해 이를 감사하며, qid-클러스터링 공동 분석을 수행한다. CLEAN은 벤치마크가 허용한 정보를 유지한다. GOLD는 정확한 목표를 이용 가능하게 한다. SHAM은 소스 구조와 노출 기회를 보존하지만 매칭된 부정확한 값으로 대체한다. GOLD에서 CLEAN을 뺀 값은 정확한 목표의 가용성에 대한 총 점수 반응을 측정한다; GOLD에서 SHAM을 뺀 값은 그 반응이 매칭된 소스 노출을 넘어 목표 정확성을 따라가는지 검증한다. D0에서 GOLD는 SHAM보다 19.1~25.9퍼센트포인트 높아, 성공이 정확한 값을 따름을 보여준다. D2에서 GOLD는 분산 충분성(distributed sufficiency) 하에서도 여전히 SHAM을 초과하지만, coloc은 더 이상 고득점 마커로 전이되지 않으며, AUROC는 0.376과 0.142이다. 따라서 행동적 의존(behavioral dependence)은 이 프로브의 의도된 관찰 단위를 넘어 지속될 수 있다. 모델 비교에서, 뒷받침된 5.0점 CLEAN 점수 격차는 순위 역전(rank inversion)을 확립하지 않은 채 원시 GOLD 차이 -0.6점으로 압축된다. 에이전트 벤치마크는 평가된 정보 상태가 성공을 뒷받침했는지 여부와 함께 성공을 보고해야 한다.

arXiv:2607.23524v1cs.AI

딥 서치에서의 위임 지능: 분리된 역량 진단을 위한 제어 가능한 프레임워크

Delegation Intelligence in Deep Search: A Controllable Framework for Disentangled Capability Diagnosis

딥 서치(deep search)는 현대 에이전트 시스템의 핵심 역량이 되어 가고 있지만, 일반적으로 최종 답변 정확도(end-to-end answer accuracy)만을 기준으로 평가된다. 이러한 결합된 평가 패러다임은 검색(retrieval) 품질, 장문맥 이해, 증거 검증, 도구 사용(tool-use) 결정을 얽어버려, 모델이 실제로 언제 그리고 어떻게 정보 탐색을 검색에 위임해야 하는지 알고 있는지 판단하기 어렵게 만든다. 이를 위해: (1) 우리는 이 메타 역량을 딥 서치에서의 위임 지능(Delegation Intelligence in deep search)으로 형식화하고, 이를 상보적인 차원—검색 의사결정(Search Decision-Making, 정보 부족을 인식하고 검색 여부, 시점, 방법을 결정하는 것)과 정보 종합 및 검증(Information Synthesis and Verification, 여러 출처의 증거를 집계하고 출처 신뢰성을 판단하며, 잡음이 있고 잠재적으로 적대적인 조건 하에서 정보를 종합하는 것)—으로 분해한다. (2) 분리된 재현 가능한 측정을 가능하게 하기 위해, 문서 기반 역공학(document-grounded reverse engineering)에 기반한 제어 가능한 합성 파이프라인을 개발한다. 이는 단일 고정 데이터셋이 아니라, 제어된 딥 서치 평가를 구성하기 위한 일반적인 방법(recipe)을 제공한다. (3) 구체적인 사례로, DelegSearchBench를 구축하고, 문서 구성과 도구 접근을 변화시켜 각 역량 차원을 분리하는 분리된 평가 프로토콜을 함께 제시한다. (4) 대표적인 모델들에 걸쳐, 딥 서치 역량은 최종 답변 정확도만으로는 적절히 특성화할 수 없음을 보여준다...

arXiv:2607.23123v1cs.AI

SQBench: 프로덕션 지향 워크플로우에서 언어 모델 에이전트의 작업 수행 평가를 위한 벤치마크

SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows

기존 대규모 언어 모델(LLM) 평가는 지식, 추론, 코딩, 도구 사용을 다루지만, 제약된 워크플로우 내에서 생성된 검증 가능한 산출물을 평가 단위로 삼는 경우는 드물다. 우리는 프로덕션 지향 작업 수행을 언어 모델 에이전트 관점에서 평가하기 위한 벤치마크인 SQBench를 제안한다. SQBench v1.0은 L1 원자적 역량, L2 복합 기술, L3 비즈니스 시나리오로 구성된 220개의 표준화된 태스크를 포함한다. 각 태스크는 에이전트가 입력 자산을 처리하고, 사용 가능한 도구를 활용하며, 명시적으로 지정된 산출물을 생성하도록 요구한다. 평가는 먼저 기능적 Completion을 계산한 다음, 10차원 Risk Matrix의 독립적으로 입증된 트리거로부터 Risk Penalty와 Performance를 도출한다. Strict Pass는 Completion = 1이고 Risk Penalty = 0을 요구한다. 공통 프로토콜 하에서 27개 모델 구성을 평가했으며, 구성-태스크 쌍당 1회 실행했다. 사전 지정된 Weighted Pass@1의 최고값은 60.5%이다. L3에서의 평균 Strict Pass@1은 18.5%이며, 모든 구성이 L3에서 L1과 L2 모두보다 낮은 성능을 보였다. 이는 도메인 제약 하에서의 작업 수행이 현재 태스크 집합 내 공통된 약점임을 시사한다. Completion = 1인 2,348개 결과 중 113개(4.8%)가 검증 불가능한 인용, 부적절한 리소스 사용, 형식 위반 등의 위험으로 인해 Strict Pass 기준을 충족하지 못했다. 이 결과는 기능적 완료만으로는 전달 품질을 완전히 특성화할 수 없으며, 위험 판정은 별도로 보고되어야 함을 보여준다.

arXiv:2607.21635v1cs.LG

시간적 개입 하에서 사용자 조건화된 개인 LLM 에이전트 평가를 향하여

Toward User-Conditioned Evaluation of Personal LLM Agents under Temporal Interventions

개인 에이전트는 사용자마다 진화하는 기억, 학습된 기술, 도구 구성, 정책 상태를 유지한다. 기존 에이전트 벤치마크는 이러한 역량을 종종 분리하여 평가한다. 도구 벤치마크는 고정된 API 하에서 호출을 검증하고, 기억 벤치마크는 기억 회상(recall)이나 망각을 검증하며, 안전성 벤치마크는 정적 정책 준수를 검증한다. 우리는 개인 에이전트 평가에 다른 프로토콜이 필요하다고 주장한다. 서로 다른 지속적 사용자 조건 상태에서 동일한 시간적 개입을 재현하고, 실패가 에이전트 구성 요소 전반에 어떻게 전파되는지 측정하는 것이다. 이 요구사항을 네 가지 조건으로 형식화한다. 명시적 시간적 개입, 개입을 가로지르는 지속적 상태, 유도된 교차 차원 효과, 사용자 조건 상태의 변화이다. 명시적 포함 기준으로 선정한 공개 벤치마크 프로토콜에 대한 집중 감사는 여러 근접 사례를 확인한다. 우리의 명시적으로 좁은 운영적 정의 하에서, 감사 대상 집합에서 네 가지 조건을 모두 만족하는 프로토콜은 발견하지 못했다. 이 주장은 제한된 문헌 범위를 갖는 집중적 공백 분석으로 범위가 한정된다. 본 논지(position) 논문은 사용자 조건 적응을 위한 최소 벤치마크 설계와 후보 보고 지표를 제안한다. 그 결과는 향후 개인 에이전트 평가를 위한 구체적 설계 요구사항이며, 지표는 해당 요구사항에 대한 보고 도구로 사용된다.

arXiv:2607.22520v1cs.AI

회귀 세금: 스킬이 LLM 에이전트에 도움이 되고 해가 되는 이유의 분해

The Regression Tax: Decomposing Why Skills Help and Hurt LLM Agents

LLM 에이전트에 절차적 스킬을 추가하는 효과는 일반적으로 작업 성공률의 평균 향상으로 평가된다. 그러나 이 지표는 중요한 비용을 숨긴다: 스킬은 에이전트를 더 나쁘게 만들 수도 있다. 우리는 두 사무 자동화 벤치마크와 세 가지 모델 하네스 스택에 걸친 거의 6,000회 실행에서 스킬 유무에 따른 에이전트를 비교하여 양쪽을 모두 측정한다. 이를 통해 두 가지 결과를 구분할 수 있다. 회귀(regression)란 스킬 없이는 해결되었으나 스킬 추가 후 실패한 작업을 말한다. 잔존 실패(residual failure)란 스킬 유무와 관계없이 모두 실패한 작업을 말한다. 회귀가 충분히 크기 때문에, 최고 성능 스킬들이 다른 스킬보다 우수한 이유는 더 많이 개선했기 때문이 아니라 회귀가 더 적었기 때문이다. 회귀의 세 가지 원인을 확인한다: (i) 스킬 설명 삼투(skill description osmosis)—스킬이 호출되지 않더라도 컨텍스트에 존재한다는 사실만으로 에이전트의 행동을 바꾸는 현상; (ii) 그라운딩 변위(grounding displacement)—스킬이 규정한 절차가 에이전트의 입력 해석 방식을 덮어쓰는 현상; (iii) 검증 변위(verification displacement)—절차가 에이전트가 원래 출력에 대해 수행하던 검사를 억제하는 현상. 지속적 실패를 분석하면 동일한 근본 패턴이 드러난다. 기존 스킬들은 실패 원인이 될 가능성이 가장 낮은 단계인 절차적 안내에 과도하게 치중하는 반면, 남은 오류의 주요 원인인 그라운딩과 검증은 충분히 지원하지 않는다. 평가 인공물을 수정하고 트레이스를 분석한 결과, 많은 회귀와 지속적 실패가 더 나은 그라운딩과 검증을 통해 회복 가능함을 확인한다. 절차적 스킬은 총괄적 향상만이 아니라 순 효과를 이득과 회귀로 분해하여 평가해야 한다. 스킬이 피해야 할 세 가지 회귀 모드를 확인했으며, 신뢰성은 절차적 스킬 선택보다 그라운딩과 검증에 더 크게 의존함을 확인한다.

arXiv:2607.19865v1cs.AI

DocOps: 복잡한 문서 작업에서 자율 에이전트를 위한 검증 가능한 벤치마크

DocOps: A Verifiable Benchmark for Autonomous Agents in Complex Document Operations

자율 에이전트가 빠르게 발전함에 따라, 어디에나 존재하는 디지털 문서를 신뢰성 있게 조작하는 능력은 범용 AI 어시스턴트를 가능하게 하고 복잡한 워크스페이스 워크플로를 자동화하는 데 핵심적이 되었다. 본 논문에서는 DocOps를 소개한다. DocOps는 실제 업무 관행에서 영감을 받은 문서 작업을 원자적 차원과 점진적으로 증가하는 워크플로 복잡도로 분해하는 계층적 분류 체계를 바탕으로 하며, 결정론적으로 검증 가능한 평가 프레임워크이다. DocOps를 기반으로 다양한 에이전트 하네스(agentic harness)에 걸친 대표적인 폐쇄형 및 오픈소스 모델을 체계적으로 평가한 결과, 가장 진보된 프론티어 구성에서조차 고도로 결합된 장거리 작업을 처리할 때 심각한 한계를 보인다는 것이 드러났다. 또한 기존 에이전트의 조작 행동에 대한 세밀한 분석을 통해 세 가지 핵심 실패 모드를 밝혀냈다: 장기 상태 추적 붕괴, 피상적인 의미적 검증, 그리고 구조적 메타데이터의 파괴적 편집. 궁극적으로 본 연구는 전역 문서 일관성을 유지하는 데 있어 에이전트의 능력 한계를 드러내며, 복잡한 디지털 생태계를 위한 견고하고 비파괴적인(non-destructive) 에이전트의 미래 설계에 시사점을 제공한다.

arXiv:2607.14108v1cs.CL

Eta Given Delta: 한계 도구 효용(Marginal Tool Utility)을 통한 LLM 도구 효율성 정의

Eta Given Delta: Defining LLM Tool Efficiency With Marginal Tool Utility

본 논문은 LLM 에이전트 궤적(trajectory)에서 유용한 도구 호출의 비율을 평가하는 새로운 정량적 지표인 도구 효율성(tool efficiency)을 제안한다. 도구 효율성이 잘 정의되도록, 도구 호출마다 정의되는 또 다른 정량적 지표인 한계 도구 효용(marginal tool utility)도 함께 도입한다. 이 지표는 해당 도구가 유용한지, 아니면 정확도에 영향을 주지 않으면서 도구 효율성을 높이도록 도구 모음(tool suite)에서 안전하게 제거할 수 있는지를 나타낸다. 본 논문에서는 LLM-as-a-judge를 사용하여 궤적 내 각 도구 호출에 대한 한계 도구 효용의 부호를 결정한다. LLM의 도구 사용을 개선하는 기법을 개발하고 정확도를 대리 지표(proxy)로 삼아 효율성을 간접적으로 측정하는 평가 방법을 설계한 선행 연구가 많지만, 본 연구는 사후(post hoc) 궤적 분석에서 본 논문이 제안한 정량적 지표를 통해 효율성을 직접 측정하는 것에 초점을 둔다. 본 연구가 LLM 평가 연구의 최전선에 기여하여, 정확도와는 보완적이지만 구별되는 지표를 최적화하는 미래 벤치마크 설계 및 에이전트 하네스(agent harness) 엔지니어링(특히 간결한(lean) 도구 모음 구축)의 발판이 되기를 기대한다.

arXiv:2607.14336v1cs.SE

Copy-on-Write 스코어링: 애플리케이션 특화 에이전트 평가

Copy-on-Write Scoring: Application-Specific Agent Evaluations

소프트웨어 시스템에 LLM 기반 에이전트를 신뢰할 수 있게 배포하려면, 애플리케이션 특화 워크플로에서 어떻게 수행되는지 평가해야 하며, 성공과 실패 지점을 특정할 수 있을 만큼 충분한 세분성이 필요하다. 그러나 기존 에이전트 평가 메커니즘은 제한적이다. 벤치마크는 애플리케이션 특화 워크플로와 환경에 대한 구인 타당성(construct validity)이 낮고, 복제 평가 환경은 비용이 많이 들며 drift에 취약하다. 우리는 Copy-on-Write(CoW) 스코어링을 제안한다. 이는 PostgreSQL 수준의 Copy-on-Write 메커니즘을 사용해 에이전트의 쓰기를 격리하면서 애플리케이션 환경 내에서 에이전트 연산을 직접 평가하는 프레임워크이다. CoW 스코어링은 주어진 애플리케이션 환경에서 에이전트의 데이터베이스 쓰기 연산이 어디에서 성공하고 실패하는지를 강조하는 세션 및 연산 수준 점수를 생성하며, 에이전트 하네스와 도구 표면(tool surface)에 대한 저비용 평가와 반복을 가능하게 한다. 오픈소스 프로젝트 관리 플랫폼인 Plane에서 이 프레임워크를 시연했으며, 분석을 통해 도구 표면의 구체적인 문제가 드러났고, 이에 대응한 수정은 영향을 받은 모델에서 측정 가능한 개선을 가져왔다. Python 라이브러리: https://github.com/trail-ml/agent-cow-python

arXiv:2607.14275v1cs.AI

AI 에이전트는 혼자 실패하지 않는다: 컨텍스트가 먼저 실패한다

AI Agents Do Not Fail Alone:The Context Fails First

컨텍스트 엔지니어링은 신뢰할 수 있는 AI 에이전트를 구축하는 데 핵심이 되었지만, 여전히 대부분 측정되지 않고 있다. 에이전트는 고립되어 실패하지 않는다. 그들의 행동은 컨텍스트에 축적된 지시, 도구, 메모리, 검색된 지식, 가드레일, 신뢰할 수 없는 입력에 의해 형성된다. 이 컨텍스트가 약할 때, 에이전트는 표류하고, 환각을 일으키며, 도구를 오용하고, 제약을 무시하며, 인젝션에 취약해지고, 토큰을 낭비한다. 본 논문은 컨텍스트 엔지니어링 품질을 에이전트 신뢰성의 독립적인 선행 지표로 검증한다. 우리는 다중 심사관 합의 기반 채점을 사용하는 AI 에이전트 평가를 위한 오픈소스 인프라인 ProofAgent-Harness에서 이 측정을 구현한다. 이 하네스는 역할 명확성, 가드레일 적용 범위, 지시 일관성, 도구 스키마 품질, 그라운딩 충분성, 인젝션 강화, 토큰 효율성의 7가지 기준으로 컨텍스트를 평가한다. 핵심적으로, 컨텍스트 점수는 행동 지표 및 출시 결정과 분리되어 비순환 검증을 가능하게 한다. 규제 대상 에이전트 도메인 전반에 걸친 통제된 컨텍스트 품질 연구를 통해, 최첨단 LLM 에이전트는 고정하고 운영 컨텍스트만 변화시켜, 컨텍스트 품질 기준이 해당하는 행동 결과를 일관되게 예측함을 보여준다. 그라운딩 충분성은 환각 저항성을, 가드레일 적용 범위는 조작 저항성을, 지시 일관성은 지시 준수를, 도구 스키마 품질은 도구 사용을 각각 예측한다. 이러한 발견은 컨텍스트 측정을 에이전트 신뢰성을 위한 검증된 사전 점검 신호로 확립하고, 컨텍스트 엔지니어링을 에이전트 평가 및 거버넌스의 감사 가능한 층으로 자리매김한다.

arXiv:2607.13705v1cs.AI

AgentCompass: 에이전트 역량을 위한 통합 평가 인프라

AgentCompass: A Unified Evaluation Infrastructure for Agent Capabilities

대규모 언어 모델(LLM)이 자율 에이전트로 발전함에 따라 통합 평가 인프라의 필요성이 점점 더 중요해지고 있다. 그러나 현재의 평가 파이프라인은 여전히 높은 수준으로 파편화되어 있고 강하게 결합되어 있어 재현성을 저해하고 중복된 엔지니어링을 야기한다. 이를 해결하기 위해, 우리는 LLM 기반 에이전트를 평가하기 위한 오픈소스, 경량, 확장 가능한 인프라인 AgentCompass를 제안한다. AgentCompass는 평가 프로세스를 벤치마크(Benchmark), 하네스(Harness), 환경(Environment)이라는 세 가지 독립 구성 요소를 중심으로 구성하여, 복잡한 실행 로직을 재구현하지 않고도 유연한 설정이 가능하도록 한다. 또한 내결함성 비동기 런타임과 포괄적인 궤적(trajectory) 분석 도구를 제공하여 보상 해킹(reward-hacking)과 같은 미묘한 실패 모드를 투명하게 진단할 수 있다. 5가지 역량 차원에 걸쳐 20개 이상의 벤치마크를 기본 지원함으로써, AgentCompass는 에이전트 연구를 발전시키기 위한 확장 가능하고 재현 가능한 인프라를 커뮤니티에 제공한다.

arXiv:2607.13618v1cs.AI

STOCKTAKE: 공정한 오라클로 LLM 에이전트의 지각-행동 간극 측정

STOCKTAKE: Measuring the Gap Between Perception and Action in LLM Agents with a Fair Oracle

LLM 에이전트는 비용을 결정하는 상태가 직접 관측되지 않는 다주간 의사결정 과제에서 점점 더 많이 평가되고 있다. 이러한 과제에서는 최종 비용만으로 에이전트가 왜 실패했는지 알 수 없다. 세계를 잘못 읽었을 수도 있고, 올바르게 읽었음에도 행동하지 못했을 수도 있다(아는 것과 하는 것의 간극, knowing-doing gap). 기존 평가는 이 두 실패를 분리할 수 없다. 참조 정책이 에이전트가 보지 못하는 특권 정보를 읽거나, 아예 존재하지 않기 때문이다. 우리는 STOCKTAKE를 소개한다. 이는 6개의 숨겨진 요인 과정을 갖춘 분해된 부분 관측 마르코프 결정 과정으로 구축된 26주 공급망 보충 벤치마크이며, 공정한 참조 정책을 계산할 수 있도록 설계되었다. 각 요인마다 정확한 베이즈 필터가 에이전트가 받는 것과 동일한 관측 스트림에서 롤아웃 정책을 구동한다. 각 실행을 증상 맹목적 base-stock 하한(0)과 이 오라클(1) 사이에서 채점하면 skill score가 산출되며, 매주 작성된 근거를 채점하면 진술된 신념 탐지 지연(stated-belief detection lag)과 knowing-doing rate가 산출되어, 상태 추정과 제어가 별도로 측정된다. 큐레이션된 스트레스 프로필이 적용된 50개 시드에서 Claude Sonnet 5, GPT-5.4, DeepSeek-V4-Pro, Grok 4.5는 숨겨진 실패의 84-88%를 일반적으로 발생 후 일주일 이내에 탐지하지만, skill score는 0.62에서 -0.23까지 분포한다. 네 모델 중 두 모델은 증상 맹목적 하한 이하로 끝나면서도, 하한을 넘긴 두 모델보다 요인을 약간 더 빠르게 지목한다. 실패에는 두 가지 얼굴이 있다. 스트레스가 지속되는 경우, 올바르게 진단된 스트레스 주 중 34-43%는 모든 모델에서 여전히 재고 소진(stockout)으로 끝나며, 이 비율은 모델이 인지한 주의 심각성을 부분적으로 반영한다. 이 비율은 skill score와도 반대 방향으로 나타난다. 하한 이하의 두 모델은 진단된 주에서 가장 적게 재고 소진을 겪으므로, 과소 대응(under-response)은 간극의 한 면에 불과하며, 그들의 추적 기록은 다른 면—보호하는 것보다 비용이 더 큰 대응—을 가리킨다. STOCKTAKE는 그 실패의 양방향을 모두 측정한다.

arXiv:2606.29537v2cs.AI

OSWorld 2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

Existing computer-use benchmarks fail to capture the realism, complexity, and long-horizon demands of real-world computer use, limiting their ability to reveal the limitations of frontier agents. We introduce OSWorld 2.0, a benchmark of 108 long-horizon computer-use workflows across everyday and professional tasks, designed to capture complex and challenging real-world phenomena. Each task represents a realistic end-to-end workflow that takes human users a median of about 1.6 hours to complete and requires an average of 318 tool calls with Claude Opus 4.7 using maximum thinking, compared with about 30 in OSWorld 1.0. OSWorld 2.0 targets challenge phenomena that are common in real workflows yet underrepresented in prior benchmarks, spanning interaction-design challenges such as streaming interaction and dynamic environments, as well as agent-pattern challenges such as cross-source reasoning, implicit-state inference, and visual-spatial precision. Tasks are grounded in authentic input artifacts and cross-referenced against realistic stateful user profile data, and include separate safety reports auditing safety-sensitive execution. Under our primary binary-completion metric at 500 steps, Claude Opus 4.8 with maximum thinking and batched tool calls scores best but still completes only 20.6% of tasks at a 54.8% partial score; GPT-5.5 is far more token-efficient yet plateaus near 13%. These results show that current agents are still far from professional-level computer use: rather than stumbling on basic GUI control or coding, they lose track of constraints, miss information that arrives mid-task, guess rather than ask the user, and skip verification, struggling most when a task hinges on hidden state they must recover.

arXiv:2602.06486v4cs.AI

JADE: 개방형 전문 과제를 위한 전문가 기반 동적 평가

JADE: Expert-Grounded Dynamic Evaluation for Open-Ended Professional Tasks

개방형 전문 과제에서 에이전트형 AI를 평가할 때는 엄밀성과 유연성 사이의 근본적인 딜레마가 존재한다. 정적 루브릭은 엄밀하고 재현 가능한 평가를 제공하지만 다양한 유효한 응답 전략을 수용하지 못하는 반면, LLM-as-a-judge 접근법은 개별 응답에 적응하지만 불안정성과 바이어스에 취약하다. 인간 전문가는 도메인 기반 원칙과 동적이고 주장(claim) 수준의 평가를 결합하여 이 딜레마를 해결한다. 이 과정에서 영감을 받아, 우리는 이중 층 평가 프레임워크인 JADE를 제안한다. 1층은 전문가 지식을 사전 정의된 평가 스킬(evaluation skills) 집합으로 인코딩하여 안정적인 평가 기준을 제공한다. 2층은 보고서별 주장 수준 평가를 수행하여 다양한 추론 전략을 유연하게 평가하며, 반박된 주장에 기반한 결론을 무효화하는 증거 의존성 게이팅(evidence-dependency gating)을 적용한다. BizBench 실험에서 JADE는 평가 안정성을 개선하고, 통합적 LLM 기반 평가자가 놓치는 중요한 에이전트 실패 모드를 드러낸다. 또한 전문가가 작성한 루브릭과의 강한 정렬(alignment), 그리고 의료 및 10개 도메인 전문 평가 설정을 아우르는 HealthBench와 DR.BENCH로의 효과적인 전이(transfer)를 입증한다. 코드와 데이터는 https://github.com/smiling-world/JADE 에서 이용할 수 있다.

arXiv:2606.08878v2cs.CL

PerspectiveGap: 멀티 에이전트 오케스트레이션 프롬프팅 벤치마크

PerspectiveGap: A Benchmark for Multi-Agent Orchestration Prompting

실제 대규모 언어 모델(LLM) 애플리케이션은 단일 에이전트 워크플로우를 넘어 오케스트레이션된 멀티 에이전트 시스템으로 전환되고 있지만, 현재 모델들은 각 서브 에이전트가 무엇을 알아야 하는지 결정하는 데 여전히 어려움을 겪고 있다. 이를 측정하기 위해 우리는 멀티 에이전트 시스템을 위한 오케스트레이션 프롬프트를 구성하는 LLM의 능력을 평가하는 벤치마크인 PerspectiveGap을 소개한다. PerspectiveGap은 110개의 시나리오를 포함하며, 각 시나리오는 역할-단편 할당(role-fragment assignment)과 자유형 프롬프트 작성이라는 두 가지 방해 요소 혼합 태스크 형식으로 평가된다. 이 시나리오들은 저자들의 실제 엔지니어링 경험에서 도출되어 10개의 토폴로지로 구성되며, 최소한의 역할 및 엔지니어링 오버헤드로 효용을 극대화하는 루프 중심의 오케스트레이션을 구축하는 프롬프트 경제(Prompt Economy) 원칙에 의해 구조화된다. 10개 회사의 33개 상용 모델을 대상으로 한 실험에서 GPT-5.5는 모든 경쟁 모델을 크게 앞선 반면, Opus 4.8은 강력한 코딩 성능에도 불구하고 오케스트레이션 프롬프팅에서 두드러진 약점을 보인다. 그럼에도 불구하고 PerspectiveGap은 여전히 난이도가 높으며, 평가된 모델들은 평균 통합 통과율 17.2%(GPT-5.5는 62.0%)와 평균 전체 누출률 217.9%(시나리오별 정보 누출 이벤트 횟수이며 비율이 아님; GPT-5.5는 49.1%)를 달성하는 데 그쳤다. 이러한 결과는 멀티 에이전트 오케스트레이션 프롬프팅이 별도의 독립적이며 충분히 평가되지 않은 능력임을 시사하며, PerspectiveGap은 이를 체계적으로 측정하고 개선하기 위한 기반을 제공한다.

arXiv:2607.11149v1cs.AI

숨겨진 발자국: 저장소를 LLM 에이전트 평가의 일급 지표로 만들기

The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation

LLM 에이전트 벤치마크는 작업 완료율, 신뢰성, 추론 비용을 측정하지만, 에이전트 실행 후 디스크에 남는 영속 데이터—로그, 컨텍스트 스냅샷, 체크포인트, 디버그 추적 등—는 측정하지 않는다. 우리는 실행 후 에이전트 저장소 발자국(storage footprint)을 측정하는 크로스-프레임워크 벤치마크인 AgentFootprint를 소개한다. 이 벤치마크의 직렬화 인식(serialization-aware) 지표 모음은 총 보존량, 채널 구성, 중복, 증가율, 압축 가능성, 대화 기록 재구성 가능성을 측정한다. 또한 하나의 측정 함정을 해결한다: 데이터베이스 페이징과 JSON 이스케이핑이 반복 콘텐츠를 감추기 때문에 단순 바이트 수준 측정은 중복을 한 자릿수 수준으로 과소평가한다. 고정 추적(fixed-trace) 대조군은 에이전트가 생성한 논리적 볼륨을 영속성 층(persistence layer) 증폭과 분리한다: 동일한 실행 경로를 7개의 영속화 프레임워크에 재현하면 6.7배의 편차가 발생한다. 동일한 모델, 도구, 작업 조건에서 100% 정확도를 보이는 구성들 간에도 보존 바이트 수가 최대 15.7배 차이나며, 다만 각 기본 설정은 서로 다른 복구 및 감사 기능을 지원한다. 반복 관측 스트레스 작업에서 전체 기록을 보존하는 세 가지 구성은 초선형적으로 증가한다. 인스턴스 정규화된 SWE-bench Verified 제출물 108건의 내보낸 실행 경로는 인스턴스당 세 자릿수 크기에 걸쳐 분포하며, 해결률과의 유의미한 상관관계는 검출되지 않는다. 내용 주소 지정(content-addressed) 저장소는 모든 재구성 가능성 점수를 보존하면서 보존량을 4.8배~32.7배 감소시킨다. 이러한 결과는 영속 저장소를 정확도 및 재구성 가능성과 함께 보고해야 할 자원 지표로 확립한다.

arXiv:2607.05775v1cs.AI

리더보드를 넘어서: 대규모 언어 모델 에이전트의 도구 사용, 계획 및 추론 실패에 대한 종합 연구

Beyond the Leaderboard: A Synthesis of Tool-Use, Planning, and Reasoning Failures in Large Language Model Agents

대규모 언어 모델(LLM) 에이전트는 도구 사용, 다단계 작업 계획, 다른 에이전트와의 조율, 장기간 운용 능력 측면에서 점점 더 광범위하게 평가되고 있다. 보고된 벤치마크 성능 향상은 서로 관련 없어 보이는 다양한 평가 연구에서 반복적으로 문서화된 실패 양상을 종종 가린다. 본 논문은 19개의 서로 다른 벤치마크에 걸쳐 2023년부터 2026년 사이에 발표된 27편의 벤치마크·분류체계·감사 논문을 종합하여 에이전트 한계에 대한 횡단적 분류체계를 구성한다. 저자들이 파악하는 한, 이는 도구 사용, 계획, 장기 추론, 다중 에이전트 조율, 안전성, 측정 타당성에 걸친 증거를 단일하고 통합된 LLM 에이전트 한계 분류체계로 통합한 최초의 종합 연구이다. 본 연구는 여섯 가지 실패 군집을 식별한다: (1) 도구 호출 및 매개변수(parameter) 수준의 오류, (2) 계획 및 제약 충족 실패, (3) 컨텍스트 누적으로 인한 장기 성능 저하, (4) 다중 에이전트 조율 실패, (5) 적대적 또는 불충분한 명세 조건에서의 안전성·보안 실패, (6) 측정 타당성 문제. 분류체계는 독립적으로 보고된 오류 범주를 에이전트 추론-행동 파이프라인의 개별 단계에 해당하는 주제별로 그룹화하는 반복적 방식으로 도출되었다. 문헌 전반에 걸쳐, 실패가 작업 길이에 따라 비선형적으로 누적되고, 개별 하위 작업에서의 높은 성능이 종단 간(end-to-end) 성공으로 안정적으로 이어지지 않으며, 추가적인 스캐폴딩이 일관되게 신뢰성을 향상시키지 않는다는 사실이 발견되었다. 동시에, 단일 턴 도구 사용, 단기 웹 탐색, 좁은 범위의 코딩 작업에서는 상당한 진전이 입증되었다.

arXiv:2607.04686v1cs.CL

ToolFailBench: LLM 에이전트의 도구 사용 실패 진단

ToolFailBench: Diagnosing Tool-Use Failures in LLM Agents

도구 호출은 현대 언어 모델 에이전트의 핵심이지만, 집계된 벤치마크 점수는 도구 사용이 실패하는 지점을 종종 가린다. 필요한 도구를 전혀 호출하지 않는 모델과 도구를 호출하지만 결과를 무시하는 모델이 최종 태스크 정확도에서 유사하게 보일 수 있다. 우리는 금융, 의학, 법률, 사이버보안, 부동산 분야의 1,000개 태스크에 걸쳐 도구 사용 실패를 측정하는 진단 벤치마크인 ToolFailBench를 소개한다. 도구가 필요한 태스크는 모델이 추측할 수 없는 값을 반환하여 도구를 신뢰하도록 강제하는 반면, 대조 태스크는 동일한 도구를 제공하되 직접 답변해야 하는 형태이다. 우리는 규칙 기반 분류기와 다수결로 집계된 두 개의 LLM 판정 모델을 사용하여 각 트레이스에 도구 건너뜀(Tool-Skip), 결과 무시(Result-Ignore), 출력 날조(Output-Fabrication), 불필요한 도구 사용(Unnecessary-Tool-Use)을 레이블링한다. 19개의 주요 모델을 대상으로 한 실험에서 최고 성능 모델이 86.33%의 Clean Tool-Use Rate를 달성하여, 충실한 도구 사용이 아직 포화 상태에 이르지 않았음을 보여준다. 더 중요한 것은, 유사한 집계 점수를 가진 모델들이 서로 다른 방식으로 실패한다는 점이다. 대부분의 모델은 도구 미사용 대조 태스크에서 규율을 유지하는 반면, Llama-3.1 모델은 항상 호출(Always-Call) 패턴을 보이며, 동일한 매개변수 규모에서 Llama-3.1-70B와 Qwen2.5-72B는 대조 태스크 정확도에서 89퍼센트포인트 차이를 보인다. 도구 사용 평가는 에이전트가 도구를 호출하는지 여부뿐만 아니라, 도구 출력을 올바르게 활용하는지, 그리고 도구가 필요하지 않을 때 사용을 피하는지도 측정해야 한다.

arXiv:2607.05174v1cs.AI

AgentGym2: 비이상화된 실세계 환경에서의 대규모 언어 모델 에이전트 벤치마킹

AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments

언어 에이전트, 즉 LLM 에이전트는 빠르게 발전하고 있으며 프로덕션 환경에 점점 더 많이 배포되고 있다. 이러한 추세는 엄격하고 현실적인 평가의 시급한 필요성을 부각시킨다. 그러나 기존 벤치마크의 대부분은 단순화되고 이상화된 환경에서 에이전트를 평가한다. 이들은 일반적으로 미리 패키징된 도구 인터페이스에 의존하고, 중요한 단계를 간과하며, 입력이 깔끔하고 완전히 명세되어 있다고 가정한다. 결과적으로, 불확실성과 노이즈가 만연하고 에이전트가 새로운 도구를 발견하기 위해 능동적으로 환경을 탐험해야 하는 실제 배포의 어려움을 과소평가한다. 이 격차를 해소하기 위해, 우리는 실세계 엔드투엔드 작업 요구에 기반한 태스크 인스턴스를 갖춘 새로운 평가 프레임워크인 AgentGym2를 제시한다. 추론 및 계획을 넘어, 엔드투엔드 절차 실행 능력, 탐험을 통한 도구 발견 능력, 미지의 태스크에 대한 도구 조합 능력, 그리고 노이즈가 있거나 불완전하게 명세된 정보에 대한 강건성을 측정한다. 15개의 독점 및 오픈소스 모델에 대한 실험 결과, Gemini와 GPT-5 같은 최첨단 시스템조차 AgentGym2에서 어려움을 겪으며, 현재 에이전트의 능력과 실세계 애플리케이션의 요구 사이에 상당한 격차가 있음을 보여준다.

arXiv:2607.04528v1cs.AI

다단계 LLM 에이전트에서 하네스 유발 신념 분기 측정

Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents

소프트웨어 에이전트 벤치마크는 대개 에이전트가 작업을 해결하는지 여부를 보고하지만, 에이전트는 하네스(harness)를 통해 해당 결과에 도달하며, 하네스는 에이전트가 보는 것, 취할 수 있는 행동, 수리되는 실패, 검증되는 상태, 기록되는 증거를 제어한다. 우리는 작업, 환경, 기반 LLM이 고정된 경우에도 이 하네스가 에이전트의 다단계 신념을 변경할 수 있음을 보인다. 우리는 진행 상황, 위험, 복구 가능성, 제약 조건, 실패 모드, 불확실성, 미래 성공, 수리 비용, 그리고 대안적 하네스 하에서의 다음 행동에 대해 구조화된 K단계 궤적을 도출하는 신념-롤아웃 진단을 도입한다. 우리는 교차-하네스 신념 분기를 정의하고, 이를 즉각적인 인터페이스 변화에 대한 도달 항(arrival term)과 수평선 의존적 신념 변화에 대한 성장 항(growth term)으로 분해한다. 통제된 코딩 작업과 공개 벤치마크 스트레스 테스트에서, 차단된 행동, 압축된 수리, 선택적 검증, 비용 인식 증거 가지치기는 이후 결정을 이끄는 신념을 변경하면서도 종단 성공을 보존하는 경우가 많음을 확인한다. 우리는 또한 BIWM을 도입하는데, 이는 관측을 정규화하고, 검열된 분기를 기록하며, 수리 추적을 확장하고, 검증 마스크를 기록하며, 위험한 분기를 섀도우에서 실행하고, 하네스 뷰 전반에 걸쳐 신념 궤적을 정렬하는 학습 불필요 프로토콜이다. 이 결과는 하네스 설계가 에이전트 평가에서 구현 세부 사항이 아닌 실험 변수임을 시사한다. 코드는 https://github.com/Hik289/Harness-induce-bias.git 에서 이용 가능하다.

arXiv:2607.02975v1cs.AI

Incognita를 이용한 사회적으로 분산된 태스크 환경에 그라운딩된 행동을 통한 생성형 에이전트 평가

Evaluating Generative Agents with Actions Grounded in Socially Distributed Task Environments using Incognita

사회적 환경에서의 효과적인 에이전시는 에이전트가 언제 지식을 구하고, 언제 행동하며, 그 행동이 획득한 정보에 의해 정당화되는지에 달려 있다. 기존의 그라운딩 벤치마크는 실행 가능한 행동, 지속적 상태, 검증 가능한 결과를 제공하는 반면, 사회적 시뮬레이션 환경은 언어 에이전트 간의 풍부한 상호작용을 제공한다. 우리는 이 두 가지 요건을 결합한 평가 설정을 연구한다. 우리는 사회적으로 분산된 태스크 환경을 태스크 관련 지식이 역할 격리된 참여자들 사이에 분산되어 있고, 결과적 행동은 오직 그들을 통해서만 접근 가능한 인터랙티브 환경으로 정의한다. 커뮤니케이션은 역할 분할된 지식에 대한 탐험(exploration)으로, 그라운딩된 행동은 환경(environment) 상태에 대한 활용(exploitation)으로 기능한다. 우리는 Concordia 기반 프레임워크인 Incognita를 소개하며, 이는 사회적 상호작용과 그라운딩된 실행을 분리한다. 평가 대상 에이전트(agent)는 메시지를 사용자 또는 전문가 엔티티로 라우팅하고, 전문가는 허용 가능한 연산을 중개하며, 결정론적 하위 환경이 정규 상태에 대해 승인된 연산을 실행하고, 오프라인 평가자가 상속된 보상(reward)으로 결과를 채점한다. Incognita-Retail은 tau-bench 리테일을 최종 상태 보상 의미론을 유지하면서 다중 엔티티 환경으로 변환한다. 우리는 사회적 폭 기준으로 계층화된 18개 태스크에 대해 세 가지 생성형 에이전트 모델을 540회 시험으로 평가한다. 보상과 행동 양면에서 발전이 나타난다. 성공률은 0%에서 8.9% 및 17.2%로 상승하고, 조기 종료는 100%에서 87% 및 58%로 감소한다. 더 강력한 모델일수록 더 많은 숨겨진 지식을 이끌어내고, 더 많은 엔티티와 접촉하며, 더 많은 그라운딩된 쓰기를 시도하지만, 신뢰성은 여전히 낮다. 이러한 결과는 사회적으로 분산된 태스크 환경이 지식 도출, 출처 선택, 그라운딩된 행동 시도, 조기 완료 믿음 등 신뢰할 수 있는 성공에 앞서 행동을 드러낸다는 것을 보여준다.