arXiv:2609.33153v2 cs.SE

스킬은 실제로 어떤 역할을 하는가? LLM 에이전트의 도구 및 스킬 활용에 대한 추정 대상과 평가 타당성: 비판적 고찰

What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review

Shuyang Zhang

제출 2026-09-27

저자 비고

arXiv Comments

50 pages; critical narrative review. Expanded literature coverage and study-level evidence tables; clarified evaluation estimands and methodological analyses; revised figures and text

한국어 초록

대규모 언어 모델(LLM) 에이전트에서 도구 및 재사용 가능한 스킬을 통해 보고되는 개선 사항들은 서로 다른 비교 기준을 참조합니다. 본 비판적 서술형 고찰(critical narrative review)은 이러한 평가들이 무엇을 추정하는지, 그리고 해당 평가 설계가 어떤 결론을 뒷받침하는지 검토합니다. 본 리뷰에서는 인용된 논문 100편의 역할을 점검하고, 35편의 연구에서 핵심적인 평가 설계를 상세히 추출합니다. 또한 출간되었거나 게재 승인된 35편의 추가 연구를 집중적으로 검토하여 도구 생성, 메모리, 상호작용형 벤치마크, 신뢰성 및 위험에 대한 범위를 확장합니다. 평가 설계는 처치 대비(treatment contrast), 목표 모집단, 결과, 예산 제약, 요약 척도 및 식별 가정을 바탕으로 특성화됩니다. 분석적 분해와 반례를 통해, 처치된 실행 내의 트리거를 조건으로 평가할 경우 동일한 작업에 대한 실행을 쌍으로 구성하는 것 자체만으로는 호출 효과(invocation effect)를 식별하지 못함을 보여줍니다. 쌍을 이룬 이득 및 성능 저하(regression) 횟수는 기대 결과가 악화되는 작업의 비율이 아니라 결합 프로토콜 하에서의 불일치를 설명합니다. 모듈 배포의 총 효과는 공통 예산 하에서의 효율성과는 다른 질문에 답합니다. 여러 연구 간의 비교를 통해 정선된 스킬 제공과 검색기(retriever) 대체를 구분하고, 작업 모집단과 트리거된 하위 집합을 구분하며, 준비 비용과 한계 사용 비용을 구분합니다. 출간 상태와 분석 깊이도 기록됩니다. 본 고찰은 도구 및 스킬에 대한 주장이 해당 평가 설계가 뒷받침하는 비교와 일치하도록 돕기 위한 방법론적 종합과 보고 체크리스트를 제공합니다.

원문 초록

Reported improvements from tools and reusable skills in large language model agents refer to different comparisons. This critical narrative review examines what these evaluations estimate and which conclusions their designs support. The review checks the roles of one hundred cited papers and extracts focal evaluation designs in detail from thirty-five studies. Targeted readings of thirty-five additional published or accepted studies broaden coverage of tool creation, memory, interactive benchmarks, reliability, and risk. Designs are characterized by treatment contrast, target population, outcome, budget constraint, summary measure, and identification assumptions. Analytic decompositions and counterexamples show that pairing runs on the same task does not itself identify an invocation effect when evaluation conditions on a trigger within the treated run. Paired gain and regression counts describe discordance under the coupling protocol rather than the share of tasks whose expected outcomes worsen. Total effects of deploying a module answer a different question from efficiency under a common budget. Comparisons across studies distinguish curated skill provision from retriever replacement, task populations from triggered subsets, and preparation costs from marginal usage costs. Publication status and reading depth are recorded. The review provides a methodological synthesis and a reporting checklist to help align claims about tools and skills with the comparisons their evaluation designs support.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.33153v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00372v1cs.AI공통 태그 Causal Inference, Benchmarking, llm agents

하네스가 신호를 잃을 때: LLM 에이전트의 복구에 대한 인과적 평가

When Harnesses Lose the Signal: Causal Evaluation of Recovery in LLM Agents

대규모 언어 모델(LLM) 에이전트는 모델과 환경 간에 정보를 전달하고 실행 오류로부터 복구하기 위해 외부 하네스(harness)에 의존합니다. 그러나 복구는 대개 평균 작업 성공률로만 평가됩니다. 이는 중요한 상충 관계(tension)를 가립니다. 동일한 작업이 실패하는 궤적을 구제할 수도 있지만, 그렇지 않았으면 성공했을 궤적을 방해할 수도 있습니다. 본 연구에서는 복구를 인과적 의사결정 문제로 정형화합니다. 동일한 실행 상태에서 출발하여 복구가 있을 때와 없을 때 일어나는 결과를 비교하고, 구제와 피해를 분리하며, 복구의 가치가 시간에 따라 어떻게 변하는지 연구합니다. 그런 다음 복구 이전에 가용한 정보를 활용하여 개입이 가치 있는 시점을 결정하는 경량 정책인 인과적 개입 라우터(CIR, Causal Intervention Router)를 소개합니다. Qwen3-14B를 사용한 긴 호라이즌(long-horizon) ALFWorld 작업에서 CIR은 성공률을 70.33%에서 73.33%로 3.00%p 향상시킵니다. 또한 올바른 관측을 가진 평가된 모든 궤적은 변경하지 않고 그대로 유지합니다. 추가적인 대조 실험은 복구의 이점이 단순히 환경이 반환한 새로운 관측만으로는 설명될 수 없음을 보여줍니다. 이러한 결과는 복구를 평가하고 이를 선택적으로 적용하기 위한 실용적인 방법을 제공합니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, llm agents

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.13455v1cs.AI공통 태그 Survey, llm agents

에이전틱 대규모 언어 모델

Agentic Large Language Models

대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.

arXiv:2610.13516v1cs.RO공통 태그 Benchmarking, counterfactual

RESCUE: 이 알람은 대응할 가치가 있는가? VLA 런타임 모니터의 반사실적 평가

RESCUE: Is This Alarm Worth Acting On? Counterfactual Evaluation of VLA Runtime Monitors

로봇 정책(policy)에 대한 런타임 실패 모니터는 일반적으로 실패한 실행과 성공한 실행을 얼마나 정확하게 구분하는지로 평가된다. 그러나 정확한 알람도 복구하기에는 너무 늦게 도착할 수 있으며, 불필요한 개입(intervention)은 그렇지 않았다면 성공했을 실행을 방해할 수 있다. 우리는 모니터의 알람이 유용한 개입을 가능하게 하는지 평가하기 위한 반사실적(counterfactual) 프레임워크인 RESCUE를 소개한다. 실행 체크포인트에서 시뮬레이터와 정책 상태를 복원함으로써, RESCUE는 대안적 행동을 비교하고 지정된 복구 기준을 만족하는 가장 마지막 체크포인트를 식별하며, 알람에 따라 행동하는 것이 예상 작업 완료 비용을 줄이는지를 평가한다. 우리는 LIBERO-Spatial과 LIBERO-Plus에서 OpenVLA-OFT와 $π_{0.5}$를 사용하여 128,340개의 반사실적 분기로 RESCUE를 평가한다. 복구 가능성은 로봇 상태만이 아니라 상태-개입 쌍에 의존한다: $τ=0.5$에서 OpenVLA-OFT/LIBERO-Plus 실패 66건 중 14건은 계속(continuation) 조건에서 복구 가능한 체크포인트를 포함하는 반면, 계속 또는 스크립트 기반 복구 조건에서는 66건 중 34건이 그러하며, 다른 조건에서는 복구가 오히려 복구 가능성을 감소시킨다. 주요 강한 정책 조건에서는 우수한 탐지 점수가 더 낮은 개입 비용을 보장하지 않는다. 평가된 정지 후 재설정 모델 하에서는, 이상적인 탐지기조차도 불필요한 재설정으로 인한 비용이 실패를 조기에 멈춤으로써 얻는 절감 효과를 상회하기 전까지 2.0~3.3%의 오탐 비율만을 감당할 수 있다. 이러한 결과는 모니터의 가치가 사용 가능한 개입과 그것이 배치되는 작업 부하에 공동으로 의존한다는 것을 보여준다.

arXiv:2610.13623v1cs.CR공통 태그 Benchmarking, llm agents

APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가

APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces

전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.

arXiv:2610.13724v1cs.LG공통 태그 Causal Inference, counterfactual

그래프 신경망을 활용한 상각 반사실적 예측

Amortized Counterfactual Prediction with Graph Neural Networks

반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.