AI 도입 및 역량 오픈 소스 경제 지수
The Open Source Economic Index of AI Adoption and Capability
한국어 초록
우리는 다양한 직업군에 걸쳐 AI 도입과 AI가 개별 노동 과업을 수행하는 역량을 모두 측정하는 것을 목표로 한다. 도입을 측정하기 위해, 공개적으로 이용 가능한 사용자-LLM 채팅 데이터와 O*NET 과업을 사용하여 선도 AI 연구소가 수행한 연구를 재현하는 오픈 소스 경제 지수를 개발하였으며, 금융, 컴퓨터 과학, 예술 분야의 직업군이 가장 높은 도입률을 보이는 것으로 나타났다. 역량을 측정하기 위해, O*NET 직업, 과업, 그리고 model-context-protocol(MCP) 서버에 기반한 벤치마크 시나리오를 생성하는 시스템을 구축하였다. 인덱스에 자주 등장하는 9개 직업군에 걸친 시나리오에서 OpenAI agents SDK 하네스와 함께 Kimi-k2.5를 테스트한 결과, AI는 고수준 워크플로를 올바르게 실행하지만 세부 사항(예: 사용된 특정 tool call)에서는 종종 오류를 보인다.
원문 초록
We work towards measuring both AI adoption and the capability of AI to perform discrete labor tasks across various occupations. To measure adoption, we develop an open-source economic index that uses publicly available user-LLM chat data and O*NET tasks to replicate studies produced by frontier AI labs, finding that occupations in the finance, computer science, and arts sectors are those with the highest adoption rates. To measure capabilities, we build a system that generates benchmark scenarios grounded in O*NET occupations, tasks, and model-context-protocol (MCP) servers. We test Kimi-k2.5 with an OpenAI agents SDK harness on scenarios across 9 occupations that appear frequently in our index, finding that AI correctly executes high-level workflows but often errs in the granular details (such as specific tool calls used).
요약
공개 사용자-LLM 채팅 데이터와 O*NET 과업으로 직업별 AI 도입률을 측정하는 오픈 소스 경제 지수와, O*NET·model-context-protocol(MCP) 서버 기반 에이전트 벤치마크를 제안한다. 금융·컴퓨터 과학·예술 분야 도입률이 가장 높고 Kimi-k2.5는 고수준 워크플로는 수행하지만 tool call 등 세부 실행에서 자주 실패하며, 역량은 도입을 앞서지만 완전한 직업 대체 위험은 제한적이다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26118v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
코드 이해는 코딩 에이전트의 병목 현상이다
Code Understanding is a Bottleneck for Coding Agents
코딩 에이전트(coding agent)를 위한 저장소 벤치마크(예: SWE-bench)는 편집된 코드 라인 수가 작업 난이도를 예측할 수 있다고 가정하는 경우가 많지만, 이러한 데이터셋은 코드와 작업 유형에 대한 통제가 미흡하여 어떤 능력이 실제로 에이전트 오류를 유발하는지 파악하기 어렵게 만듭니다. 우리는 엄격한 에이전트 평가를 위한 코딩 능력 청사진인 CABRA(Coding Ability Blueprint for Rigorous Agent evaluation)를 제시합니다. CABRA는 작업을 호출 그래프(call graph) 변환 형태로 처음부터 구축하며, 함수 순회, 검색, 런타임 해석, 인스트럭션 추종의 네 가지 축에서 작업 크기 매개변수를 통해 난이도를 조절합니다. 우리는 6,840개의 CABRA 작업에서 8개의 대규모 언어 모델(LLM)과 6개의 코딩 에이전트를 실행하여 다음을 입증합니다. 1) 작업 크기가 커질수록 LLM의 정확도는 떨어지지만, 에이전트는 도구(예: grep)로 작업을 오프로딩하여 거의 완벽한 상태를 유지합니다. 2) 더 큰 CABRA 작업은 읽기 및 분석을 위한 도구 호출을 더 많이 유발하는 한편, SWE-bench Verified에 대한 별도 연구에서는 이러한 도구 호출 수가 편집된 코드 라인 수보다 에이전트의 정확도를 더 잘 예측함을 보여주며, 이는 에이전트의 작업 난이도가 단순히 편집을 수행하는 것만이 아니라 편집할 코드를 이해하는 데 있을 수 있음을 시사합니다. 3) 두 클래스에 걸쳐 분기되는 로직을 분석하는 심층적인 이해 작업으로 CABRA를 확장했을 때 에이전트 정확도가 마침내 떨어지면서 이러한 발견을 뒷받침합니다. 더 나아가, 우리는 도구에 의해 사소해진 LLM의 약점(예: needle-in-a-haystack)과 코딩 에이전트가 여전히 어려워하는 단순 편집 이상의 능력(예: 이해)을 드러내기 위해, SWE-bench 스타일의 작업과 통제된 진단을 결합하는 CABRA와 같은 합성 평가가 필요하다고 주장합니다.
Open-Endedness Bench: 에이전트 기록을 통한 인식론적 과정 측정
Open-Endedness Bench: Measuring Epistemic Process from Agent Records
에이전트(agent)는 직접 설계한 실험을 통해 경험적 법칙을 발견하거나, 아무도 최적해를 모르는 휴리스틱을 개선하거나, 기존 최고 기록을 갱신하는 것과 같은 개방형(open-ended) 연구 과제를 점점 더 많이 부여받고 있습니다. 이들의 실행 로그에는 이러한 연구의 모든 단계가 기록되지만, 실행 결과는 여전히 최종 결과 점수로만 평가됩니다. 그 점수만으로는 에이전트의 주장이 실행된 실험으로부터 도출된 것인지 입증할 수 없으며, 기준 정답이 존재하지 않을 수도 있습니다. 본 연구에서는 에이전트가 가설을 수립하고, 이를 검증하며, 증거에 따라 가설을 수정하는 방식인 인식론적 과정(epistemic process)을 평가합니다. 우리는 기준 정답이나 결과 점수를 전혀 참조하지 않고 에이전트의 실행 기록만을 읽는 벤치마크 불가지론적(benchmark-agnostic) 방법론인 OEB(Open-Endedness Bench)를 소개합니다. OEB는 기록을 통합된 인식론적 사건 그래프(epistemic event graph)로 컴파일하며, 이 그래프의 엣지는 에이전트가 진술한 명제와 이를 검증하는 실행된 행동을 연결합니다. 각 노드(node)는 코드를 통해 기록과 대조 검증되는 정확한 발췌문을 포함합니다. 평가에는 한 가지 원칙이 적용됩니다. 글로는 명제를 진술할 수 있지만, 실행된 행동이 반환한 증거만이 이를 뒷받침하거나 반박할 수 있으므로 OEB는 에이전트가 작성한 내용을 실제로 실행한 내용과 대조하여 확인합니다. 이 그래프로부터 OEB는 네 가지 역량 축(증거, 실험, 수정, 보상 해킹 방지)을 에이전트가 건전한 연구 기회를 활용한 비율을 중심으로 점수화하고, 에이전트의 연구 습관을 설명하는 여섯 가지 주관적 페르소나 특성을 프로파일링합니다. 우리는 세 가지 벤치마크(LLM 사후 학습(post-training), 칩 설계, 학습(training) 속도 기록)의 12개 과제에 걸쳐 기존 119개의 실행 기록을 평가했습니다. 기록된 결과와 비교했을 때 에이전트가 주장한 개선 사항 중 실제 개선된 것은 16~29%에 불과했습니다. 10개 과제 중 9개에서 최상의 실행 결과는 최악의 실행 결과보다 후반부에 더 많은 새로운 아이디어를 시도했습니다. 페르소나 측정치는 모델(model)을 따릅니다. 모든 특성에 대해 실행된 모델은 과제보다 실행 간 분산의 더 많은 부분을 설명했습니다(중앙값 기준 43% 대 7%).
진화하는 엔터프라이즈 AI 에이전트 스킬을 위한 지속적인 프로세스 수준 평가
Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills
엔터프라이즈 AI 에이전트(agent) 스킬은 도구 API, 모델(model), 명세의 변화에 따라 진화하지만, 최종 출력 평가만으로는 프로세스 수준의 행동 드리프트(drift)를 놓칠 수 있다. 본 논문에서는 결과 수준 및 프로세스 수준 검사를 결합한 지속적 평가 프레임워크를 제안하며, 이를 엔터프라이즈 가치 인식 복원력(Value Aware Resiliency) 시스템 내 비즈니스 가치 결정(Business Value Determination) 스킬의 수익(Revenue) 및 생산성(Productivity) 변형에 적용한다. 이 프레임워크는 실행별 정답(ground truth)을 독립적으로 계산하고, 재사용 가능한 템플릿 테스트를 구체화하며, 프로그래밍 방식의 검사와 좁은 범위로 한정된 대규모 언어 모델(LLM) 심사위원을 통해 도구 선택, 인자, 실행 순서, 데이터베이스 무결성을 평가한다. 우리는 두 가지 스킬, 두 가지 명세 변형, 두 가지 에이전트 하네스, 세 가지 모델에 걸쳐 240회의 시도를 평가했다. 적용 가능한 모든 최종 수치 검사를 통과한 175회의 시도 중 162회(92.6%, 윌슨 95% 신뢰구간: 87.7-95.6%)에서 평가자가 감지한 또 다른 편차가 포함되어 있었다. 더 넓은 7가지 검사 기반의 최종 상태 정의 하에서도 통과된 164회 실행 중 151회(92.1%, 95% 신뢰구간: 86.9-95.3%)가 여전히 궤적 검사를 위반했다. 의존성 귀속(dependency attribution)을 통해 실행당 실패한 검사의 평균 수를 6.34개에서 근본 원인 2.65개로 감소시켰다. 명세 민감도는 모델과 하네스에 따라 달랐으며, 탐색적 부트스트랩 상호작용 구간은 세 가지 수익 비교 모두와 세 가지 생산성 비교 중 하나에서 0을 제외했다. 런타임 해석 템플릿은 평가된 구성 전반에 걸쳐 재사용 가능한 회귀 커버리지를 제공했으며, 실제 API 진화 환경에서의 종단적 검증(validation)은 향후 과제로 남겨둔다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.