언어 모델(LM) 에이전트는 도구 호출 실행에 실패한 후 스스로 복구할 수 있는 것처럼 보일 때가 많지만, 이러한 동작에는 공식적인 설명이 부족합니다. 본 연구에서는 복구 가능성이 측정 가능한 법칙을 따른다는 점을 보여줌으로써 이러한 격차를 해결하는 예측 이론을 제시합니다. 구체적으로, 확률적 실행 노이즈 하에서 최적 정책으로부터 복구 정책이 벗어나는 정도를 정량화하는 기대 복구 후회(ERR, Expected Recovery Regret)를 통해 복구 가능성을 공식화하고, ERR과 실증적으로 관찰 가능한 양인 효율성 점수(ES, Efficiency Score) 간의 1차 관계식을 도출합니다. 이를 통해 도구를 사용하는 에이전트의 복구 역학에 대한 반증 가능한 1차 정량적 법칙을 얻을 수 있습니다. 통제된 섭동, 진단적 추론, 실제 API를 아우르는 5개의 도구 사용 벤치마크 전반에서 이 법칙을 실증적으로 검증했습니다. 모델 규모, 섭동 체계, 복구 범위 전반에 걸쳐 ERR-ES 법칙에 따른 예측 후회는 몬테카를로 롤아웃으로 측정한 실패 후 관찰된 후회와 delta <= 0.05 이내로 긴밀하게 일치했습니다. 연구 결과는 복구 가능성이 모델 규모나 아키텍처의 단순한 부산물이 아니라 상호작용 역학의 지배를 받는 특성임을 밝혀내며, 언어 에이전트의 실행 수준 강건성을 위한 이론적 토대를 제공합니다.
실제 환경의 분자 설계는 대규모 언어 모델(LLM) 기반 에이전트에게 여전히 까다로운 과제입니다. 이는 에이전트가 설계 맥락을 해석하고, 여러 제약 조건을 충족하며, 실현 불가능한 사양을 식별하고, 다단계 도구 출력에 걸쳐 추론할 것을 요구합니다. 기존 벤치마크는 명시적이고 협소한 제약 조건, 실현 가능한 문제, 단일 경로 솔루션에만 집중하여 이러한 복잡성을 담아내지 못합니다. 이러한 격차를 해소하기 위해, 본 논문에서는 도구 증강 LLM 에이전트를 평가하기 위해 실제 분자 설계를 더욱 밀접하게 반영하는 시나리오 기반 벤치마크인 MolDesignBench를 제안합니다. MolDesignBench는 설계 서사에 내포된 암묵적 요구사항과 명시적인 물성 및 작용기 제약 조건을 결합한 2,000개의 생성 및 최적화 인스턴스로 구성되며, 실현 불가능한 사례를 포함하고 17개의 특화된 화학 도구를 효과적으로 사용할 것을 요구합니다. 다양한 최신 LLM을 대상으로 한 실험 결과, 최고 성능 모델도 약 43%의 성공률에 그치는 등 전반적으로 낮은 성공률을 보였으며, 암묵적 제약 조건 추론, 실현 불가능성 감지, 도구 추론에서 빈번한 실패가 나타났습니다. 이에 상응하는 세밀한 실패 모드 분석을 통해 암묵적 제약 조건 해석과 실현 불가능성 감지가 주요 병목 현상임을 확인하였으며, MolDesignBench가 화학 에이전트에 대한 향후 연구를 이끌 엄격한 시험대임을 확립합니다. 해당 벤치마크, 도구 인터페이스, 평가 코드는 공개되어 있습니다.
Large language model agents are increasingly connected to scientific software, yet it remains unclear when tool access makes scientific computation more reliable rather than merely more complex. We introduce PHREEQC-MCQ-200, a benchmark for evaluating tool-augmented agents on deterministic aqueous-geochemistry simulations. The benchmark contains 200 multiple-choice questions derived from 21 validated PHREEQC scenarios, requiring agents to construct simulator inputs, execute PHREEQC, inspect structured outputs, and commit to final answers. Across multiple frontier and mid-tier model families, simulator access substantially improves aggregate accuracy, confirming that grounded execution is necessary for many scientific-computation tasks. However, the gains are not monotonic: tool-augmented agents also lose items they answered correctly without tools, revealing regressions that average accuracy alone hides. We further show that output-access protocol matters. A table-of-contents interface can reduce token cost while preserving or improving accuracy for stronger models, but it degrades performance for mid-tier models that cannot reliably navigate structured simulator outputs. PHREEQC-MCQ-200 therefore frames scientific tool use as an end-to-end diagnostic problem rather than a simple tool-calling capability. We argue that evaluations of scientific agents should report not only accuracy, but also item-level retention, output-access sensitivity, trajectory failures, and where the computation chain breaks.
도구-증강 언어 모델 에이전트는 올바른 도구를 선택하고, 유효한 API 인수를 생성하며, 요청된 작업을 완료하는지 여부로 평가되는 경우가 많다. 그러나 에이전트는 올바른 도구를 선택하고도 여전히 잘못된 외부 엔티티에 대해 행동할 수 있다. 예를 들어, "런치에 관해 Alex에게 이메일을 보내"라는 요청은 에이전트가 잘못된 Alex에게 연락하거나, 잘못된 런치 문서를 첨부하거나, 잘못된 스레드에 답장하거나, 잘못된 고객 계정을 업데이트하는 결과를 낳을 수 있다. 우리는 이러한 오류를 엔티티 바인딩 실패(entity binding failures)라고 부른다. 본 논문은 도구-증강 에이전트에서 엔티티 바인딩 실패를 별개의 신뢰성 및 안전성 문제로 연구한다. 우리는 도구 정확성과 엔티티 정확성 간의 분리를 형식화하고, 엔터프라이즈 워크플로우에서 잘못된 엔티티 실패에 대한 분류 체계를 도입하며, 엔티티 해소 전제 조건, 신뢰도 기반 바인딩, 모호성 하에서의 명확화, 출처 추적을 포함한 엔티티 인식 실행 메커니즘을 평가한다. 60개의 작업, 5개의 모델 백엔드, 6가지 도구 사용 방법에 걸친 통제된 진단 평가에서, 모든 방법이 잘못된 도구 오류 0.0%를 달성했음에도 불구하고, 행동 지향적 기준선은 여전히 실행의 24.0~26.0%에서 잘못된 엔티티 행동을 생성했다. 엔티티 인식 방법은 이 설정에서 잘못된 엔티티 행동과 위험 가중 잘못된 엔티티 노출을 제거했지만, 모호성 하에서 유보함으로써 직접적인 작업 완료율을 낮췄다. 이러한 결과는 안전한 도구 사용이 올바른 도구를 선택하는 것뿐만 아니라, 행동하기 전에 자연어 참조를 올바른 실세계 엔티티에 신뢰성 있게 바인딩하는 것도 요구함을 보여준다.
실시간 데이터 검색과 다단계 정량 추론이 필요한 에너지 시장 분석에서 정적 지식 평가의 공백을 메우기 위해 EnergyEvals라는 243개 전문가 큐레이션 과제 벤치마크를 제안하고, 미국 ISO 전력 시장 API·규제 docket 검색·요금 데이터베이스·RAG 등 도메인 도구를 갖춘 ReAct 기반 LLM 에이전트의 성능을 접근 정확성·답변 정확도·출처 유효성 등 다차원 프로토콜로 평가한다. 폐쇄형·공개형 LLM 7종을 비교해 모델 역량과 도메인 도구의 상호작용을 분석하고, 벤치마크와 평가 프레임워크를 공개한다.
도구 증강 에이전트는 일반적으로 신뢰할 수 있는 외부 피드백 하에서의 성능 향상으로 평가된다. 그러나 이러한 향상은 핵심적인 반사실(counterfactual) 질문을 남긴다: 피드백이 신뢰할 수 없을 때, 에이전트는 과업 관련 증거를 전혀 받지 않는 편이 더 나을까? 우리는 에이전트 루프, 프롬프트, 행동 공간(action space), 디코딩(decoding)은 고정하고 반환되는 관측(observation)만 신뢰할 수 있는 것, 오도하는 것, 부재하는 것으로 바꾸는 통제된 matched-loop 비교를 통해 이 질문을 연구한다. 질의응답(question answering)과 사실 검증(fact verification) 전반에 걸쳐, 지속적인 오도적 피드백은 가치 역전(value inversion)을 일으킨다: 깨끗한 도구로 이득을 보는 에이전트가 대응되는 무피드백(no-feedback) 폴백(fallback)보다 더 나쁜 성능을 낼 수 있다. HotpotQA에서 Qwen2.5-7B는 깨끗한 검색(retrieval)에서 44.8 F1, 피드백 없음에서 22.3 F1에 도달하지만, 섞인(shuffled) 검색에서는 4.7 F1로 떨어진다. 이 역전은 더 강한 깨끗한 검색과 국소적으로 그럴듯한(locally plausible) 방해 요소(distractors) 하에서도 지속되지만, 이후의 깨끗한 증거가 궤적(trajectory)을 복구할 수 있을 때는 약해진다. 초기 궤적 신호는 많은 실패를 예측하지만, 단순한 복구(repair)는 여전히 폴백에 제한된다: 잘못된 증거를 거부하는 것은 노출된 폴백이 신뢰할 수 있을 때만 도움이 된다. 이 결과는 깨끗한 도구 하에서의 향상이 도구의 가치를 과대평가할 수 있음을 보여주며, 도구 증강 에이전트를 평가하기 위해 대응되는 무피드백 폴백 대조군이 필요함을 보여준다.