전문적인 업무는 종종 무엇이 필요한지, 어떤 문서가 중요한지, 그리고 요청의 전제가 유효한지를 전문가가 직접 파악해야 하는 간단한 요청에서 시작됩니다. 본 논문에서는 의료(50개) 및 금융(80개) 분야의 전문가들이 구축한 130개 과제로 구성된 벤치마크인 DAYJOB을 소개합니다. 이 과제들은 전문가 기준으로 의료 분야에서 평균 13.6시간, 금융 분야에서 16.6시간이 소요될 것으로 추정됩니다. 각 과제는 컨테이너화된 Harbor 환경으로 구성되며, 에이전트 기반 판정관(agentic judge)이 제출된 파일에 적용하는 이진 기준(과제당 중앙값 47.5개 및 57.5개)의 전문가 루브릭을 포함하고, 모든 기준을 충족해야만 통과로 인정됩니다. 13개 개발사의 30가지 모델 구성을 평가한 결과, 가장 우수한 성능을 보인 Claude Opus 5.5는 의료 시도의 24.7%와 금융 시도의 23.9%를 통과한 반면, 중앙값 구성은 각각 0.6%와 2.5%를 통과하는 데 그쳤습니다. 사례 연구에서 에이전트들은 기록과 모순되는 전제를 그대로 수용하거나, 잘못된 입력을 바탕으로 일관된 분석을 계속 수행하는 모습을 보였습니다. 본 연구진은 모든 의료 과제, 80개 금융 과제 중 50개, 평가 하네스(evaluation harness), 그리고 리더보드를 공개합니다.
프론티어 벤치마크(frontier benchmark)에는 현재 모델들이 해결할 수 없는 태스크가 필요합니다. 그러나 어떤 모델도 해결하지 못하는 태스크라고 해서 그것이 곧바로 어려운 태스크가 되는 것은 아닙니다. 동일한 0%의 통과율이라 하더라도 실제 역량 격차에서 비롯될 수 있지만, 누락된 맥락, 오류가 있는 참조 솔루션, 인프라 장애, 혹은 우회 가능한 검증기(verifier) 때문일 수도 있습니다. 본 논문에서는 1,081개의 풀 리퀘스트(pull request), 639개의 평가 태스크, 28,801회의 시도, 그리고 기록된 에이전트 비용 105,933달러에 달하는 고정된 Terminal-Bench 3 / Frontier-Bench 0.1 프로덕션 기록을 사용하여 이 문제를 연구합니다. 우리는 전원 실패(all-fail) 태스크가 실제로 무엇을 증명하는지 질문을 던집니다. 정상적인 통과가 전혀 없는 125개 태스크를 대상으로 태스크 아티팩트, 참조 솔루션 실행, 빈 솔루션 대조군, 적대적 시도, 궤적(trajectory), 텔레메트리, 리뷰 기록을 결합하고 순차적 유효성 검사를 적용합니다. 그 결과 125개 태스크 중 단 78개만이 검증된 미해결(certified-unsolved) 후보로 남습니다. 나머지 태스크에는 오라클(oracle) 오류가 있는 14개, 인프라 장애가 지배적인 8개, 검증기 우회를 통해서만 통과 가능한 4개, 그리고 확보된 증거로는 해결 가능성이 입증되지 않는 21개가 포함됩니다. 따라서 성능 미포화(lack of saturation)와 진정한 난이도는 동일한 것이 아닙니다. 또한 '검증된 미해결'이라는 라벨의 범위는 좁습니다. 즉, 작성된 경로가 통과되었고, 인프라 장애가 주원인이 아니었으며, 명백한 우회가 관찰되지 않았고, 평가된 모든 에이전트가 실패했음을 의미할 뿐입니다. 이것이 본질적인 난이도, 검증기의 완전성, 또는 의도된 역량에서의 실패를 증명하지는 않습니다. 나아가 우리는 반려된 제출물과 통과 태스크를 분석하여 통과율만으로는 태스크가 왜 어려운지 설명할 수 없음을 보여줍니다. 종합적으로, 본 연구 결과는 프론티어 벤치마크가 전원 실패 태스크를 역량 주장의 근거로 사용하기 전에 그 배후에 있는 증거를 먼저 보고해야 함을 시사합니다.
루브릭 기반 점수 평가는 모델 평가에서 널리 사용되는 패러다임으로 자리잡았으며, 일반적으로 루브릭 점수 산정에 LLM-as-a-judge(LaaJ)를 활용한다. 그러나 루브릭 점수 산정에서 LaaJ의 신뢰성은 아직 충분히 연구되지 않았다. 이 문제는 특히 에이전틱(agentic) 시나리오에서 두드러지는데, 길고 복잡한 출력이 신뢰성 있는 점수 산정을 더욱 어렵게 만들기 때문이다. 이를 해결하기 위해, 우리는 루브릭 검증에서 LaaJ 신뢰성에 대한 체계적인 메타 평가를 수행한다. 우리는 에이전틱 시나리오에서 루브릭 검증에 관한 LaaJ 신뢰성을 평가하는 최초의 벤치마크인 RuVerBench를 소개한다. RuVerBench는 심층 리서치(deep research)와 에이전틱 코딩(agentic coding)이라는 두 가지 주요 에이전틱 도메인을 포함하며, 모델이 생성한 출력물, 루브릭, 그리고 해당 출력물이 루브릭을 충족하는지를 나타내는 사람이 주석을 단 레이블로 구성된 2,458개의 인스턴스를 담고 있다. RuVerBench를 활용하여 다수의 최신 대규모 언어 모델(LLM)을 평가한 결과, 가장 발전된 모델들도 높은 성능을 달성하지만 여전히 상당한 노이즈를 보임을 확인하였다. 또한 프롬프트 설계, 일괄 처리(batching), 다수결 투표(majority voting)를 포함한 주요 LaaJ 전략이 루브릭 검증에 미치는 영향을 분석한다. 분석 결과, 성능이 낮은 모델일수록 프롬프트 변형에 더 민감하고, 일괄 검증은 정확도와 효율성 사이의 상충 관계를 보이며, 다수결 투표는 효과적이지만 수익 체감(diminishing returns) 현상을 나타냄을 발견하였다. 향후 연구를 촉진하기 위해 데이터셋과 코드를 공개하였다: https://github.com/THU-KEG/RuVerBench.
대규모 언어 모델(LLM)은 의학 지식 평가에서 높은 점수를 달성하지만, 임상 추론은 불확실성 하에서 무엇을 조사할지 능동적으로 결정하는 것을 요구한다. 우리는 혈액종양학 분야에서 에이전트 평가 프레임워크를 개발하였으며, 이 프레임워크에서 모델은 진단 및 치료 계획을 확정하기 전에 세 번의 순차적 라운드에 걸쳐 임상 데이터를 선제적으로 요청해야 한다. 32개의 최신 모델을 대상으로 한 실험에서 최고 성능 모델조차 전체 정확도 68%에 그쳤다. 정보 활용률, 즉 실제로 요청된 이용 가능한 데이터의 비율은 진단 정확도의 가장 강력한 예측 변수였으나(R = 0.69, P < 0.001), 활용률은 마지막 라운드에서 57%에서 26%로 급감하여 치료 선택에 핵심적인 분자 및 세포유전학적 데이터가 검토되지 않은 채로 남겨졌다. 추론 과정은 임상 추론 평가 기준에서 높은 점수를 받았지만(91%가 기준치 이상), 정확도와의 상관관계가 떨어졌으며, 이는 국소적으로 일관된 근거와 전반적으로 올바른 결론 사이의 괴리를 드러낸다. 오류 분석 결과, 탐색 만족화(search satisficing), 고착(anchoring), 조기 종결(premature closure)이 지배적인 실패 양식으로 확인되었으며, 이는 진단 추론의 이중 과정 모델에서 초보 임상의를 특징짓는 인지 편향과 동일하다. 이러한 결과는 임상 종양학에서 현재 모델의 주요 한계가 불충분한 의학 지식이 아니라 불확실성 하에서의 정보 탐색의 체계적 실패임을 보여준다.
PolyWorkBench는 5개 도메인(커머스, 지식 작업, 법률, 로컬라이제이션, 제조)에 걸친 67개 다국어 장기 수평(long-horizon) 업무 워크플로우 태스크로 구성된 LLM 에이전트 평가 벤치마크로, 구조적 채점·실행 검증·LLM 기반 의미 평가를 결합한 하이브리드 평가 프레임워크를 제안한다. 실험 결과 최신 LLM 에이전트들은 단일 언어 환경 대비 다국어 워크플로우에서 유의미한 성능 저하를 보이며, 다국어성이 추론·도구 사용·출력 생성 전 단계에 걸쳐 복합적인 오류 전파를 유발함을 보인다.
LLM 코딩 에이전트(Codex, Claude Code)를 확률적 모델 탐색 연산자로 간주하고, 추론 노력·태스크·최적화 메트릭·학습 데이터 구성 등을 통제 요인으로 삼는 요인 실험 설계 프레임워크를 제안한다. 출력 품질, 비용, 처리 시간, 프로세스 복잡도를 공동 반응 변수로 분석하고, 효용 정렬 정준 분해(UACD)를 통해 추론 노력의 효과가 성능-비용 효용 방향과 얼마나 일치하는지를 네트워크 단어 형성 게임 테스트베드에서 실증하였다.
기존 연구는 질의응답 벤치마크를 사용하여 동물 복지를 평가해왔다. 본 연구는 이러한 평가가 에이전트 기반 환경에서도 동일하게 적용되는지 조사한다. 선행 연구에서 입증된 바와 같이, 에이전트는 독립형 대규모 언어 모델(LLM)과 다른 행동을 보일 수 있다. 본 연구는 TAC(Travel Agent Compassion)를 소개한다: 동물 활용을 평가하기 위한 최초의 에이전트 기반 벤치마크이다. TAC는 여섯 가지 동물 범주에 걸쳐 여행 예약 시나리오에서 AI 에이전트 행동을 평가하며, 가격, 평점, 위치에 따라 변형된 13개의 수작업 시나리오를 네 가지 증강 변형을 통해 52개의 프롬프트로 확장하고 세 번의 에폭(epoch)에 걸쳐 실행하여 모델당 156개의 채점된 관측값을 생성한다. 다섯 개 모델 패밀리에 걸친 아홉 개의 프런티어 모델이 평가되었다. 결과에 따르면 모델들은 유해한 시나리오를 선호하는 경향이 있으며, 중립적 예약 옵션 선택에 대한 무작위 확률인 65% 미만의 성능을 보였고, Claude 4.8이 64.7%로 가장 높은 성능을 달성했다. 이 문제를 해결하기 위해 윤리적 브랜드 정체성의 페르소나를 시스템 프롬프트에 주입한 결과, 아홉 개 모델 전체에서 복지 비율이 평균 53포인트 상승하여 32에서 80 퍼센트포인트 범위로 증가했다. 3,120개의 전사본에 대한 Inspect Scout 감사를 기반으로, 평가 인식이 결과에 영향을 미쳤다는 증거는 발견되지 않았다. 이러한 발견은 비인간 복지를 시스템적 위험으로 규정하는 EU 범용 AI 실천 강령(General-Purpose AI Code of Practice)과 직접적인 관련이 있다. TAC는 이 위험을 측정하기 위한 실용적인 방법을 제공한다.
Large language model agents are increasingly connected to scientific software, yet it remains unclear when tool access makes scientific computation more reliable rather than merely more complex. We introduce PHREEQC-MCQ-200, a benchmark for evaluating tool-augmented agents on deterministic aqueous-geochemistry simulations. The benchmark contains 200 multiple-choice questions derived from 21 validated PHREEQC scenarios, requiring agents to construct simulator inputs, execute PHREEQC, inspect structured outputs, and commit to final answers. Across multiple frontier and mid-tier model families, simulator access substantially improves aggregate accuracy, confirming that grounded execution is necessary for many scientific-computation tasks. However, the gains are not monotonic: tool-augmented agents also lose items they answered correctly without tools, revealing regressions that average accuracy alone hides. We further show that output-access protocol matters. A table-of-contents interface can reduce token cost while preserving or improving accuracy for stronger models, but it degrades performance for mid-tier models that cannot reliably navigate structured simulator outputs. PHREEQC-MCQ-200 therefore frames scientific tool use as an end-to-end diagnostic problem rather than a simple tool-calling capability. We argue that evaluations of scientific agents should report not only accuracy, but also item-level retention, output-access sensitivity, trajectory failures, and where the computation chain breaks.
NCP-ExploreToM 프레임워크를 통해 대화적 설득이 아닌 행동 계획으로 다른 에이전트의 신념 상태를 유도하는 비대화적 계획 마음 이론(NCP-ToM) 능력을 최초로 평가한 연구로, GPT-5, Gemini 2.5 Pro, Claude 4 시리즈 등 6개 최신 모델을 600개 과제에서 평가한 결과 GPT-5만이 인간 참가자를 능가하였으며 모든 모델이 거짓 신념보다 참 신념 유도 과제에서 더 높은 성능을 보였다. 이는 자율 에이전트의 사회적 추론 역량이 창발적으로 나타나고 있음을 보여주는 동시에, 안전성과 정렬 평가에서 에이전트 기반 벤치마크의 필요성을 강조한다.
LLM 에이전트는 점점 더 대규모 도구 생태계에서 동작하며, 실제 세계 과제는 관련 도구를 발견하고, 암묵적 하위 목표를 추론하며, 장기간에 걸쳐 동적 환경에 적응하는 것을 요구한다. 그러나 기존 벤치마크는 검색이 제한된 도구 가시성 하에서의 계획을 거의 평가하지 않는다. 이 공백을 해소하기 위해, 우리는 PlanBench-XL을 제안한다. 이는 1,665개 도구 위 327개 소매 과제로 구성된 대화형 벤치마크로, 에이전트가 사용 가능한 도구를 반복적으로 검색하고, 이를 호출하여 최종 목표를 향한 후속 호출을 위한 중간 증거를 밝혀낼 수 있는지를 검증한다. PlanBench-XL은 또한 선택적 차단(blocking) 메커니즘을 제공하며, 누락되거나 실패하거나 방해가 되는 도구 함수를 통해 실제 세계의 예측 불가능성을 시뮬레이션하여, 에이전트가 중단된 경로를 감지하고 실행 시점(runtime)에 적응하도록 한다. 10개의 선도적 LLM에 대한 실험은 대규모 도구 계획이 여전히 어렵다는 것을 보여준다. GPT-5.4는 차단 없는 설정에서 51.90% 정확도를 달성하는 반면, 가장 심각한 차단 조건에서는 11.36%로 급락한다. 추가 분석은 에이전트가 실패에 명시적 오류 신호가 없거나, 복구에 더 긴 대안적 도구 사용 경로가 필요할 때 특히 취약함을 보여준다. 이 결과는 PlanBench-XL을 에이전틱(agentic) 계획 실패를 진단하는 테스트베드로 확립하며, 크고 불완전한 도구 환경에서의 장기간 과제에 견고한 적응형 계획의 필요성을 강조한다.
에이전트 시스템이 점점 더 복잡한 다단계 태스크를 다루면서, 궤적(trajectory) 평가가 주요 병목이 되고 있다. 인기 있는 에이전트 벤치마크에서 단일 궤적에 대한 인간 주석 작업은 수 시간이 걸릴 수 있어, 성능 측정이나 학습 데이터 큐레이션을 위한 평가를 확장하기 어렵다. 이로 인해 LLM-as-a-judge(LLMJ)와 같은 자동화 방식에 프로세스 및 결과 수준에서 에이전트를 대규모로 비평하도록 광범위하게 의존하게 되었으나, LLMJ 비평의 타당성은 종종 측정되지 않은 채로 남아 있다. 본 연구에서는 에이전트 태스크에 대한 메타 평가(meta-evaluation)를 담은 최초의 공개 데이터셋인 Counsel을 소개한다. Counsel은 두 에이전트 벤치마크인 tau-bench(고객 지원 에이전트)와 DA-Code(코딩 에이전트)에 대해 오픈 가중치(open-weight) LLMJ가 수행한 프로세스 수준 비평과, 이 비평에 대한 인간 메타 평가로 구성된다. 인간 주석자는 표시된 각 오류에 대한 비평을 "정확히 맞음(spot on)", "위치는 맞으나 추론이 부족함(correct location but poor reasoning)", "표시하지 말았어야 함(should not have flagged)"으로 라벨링하였으며, 신뢰할 만한 주석자 간 합의(Krippendorff's alpha 0.78)를 달성했다. 이로부터 얻은 데이터셋은 궤적 내 오류 위치와 추론 품질 모두에 걸친 인간 정렬(alignment)에 따라 LLMJ 비평을 계층화하며, 에이전트용 LLMJ를 보정(calibrate), 개선, 또는 학습하는 데 유용한 데이터로 활용된다. 오픈 가중치 판정 모델들을 비교한 결과, 더 유능한 판정 모델과 더 많은 추론 노력(reasoning effort) 모두 인간과의 합의를 높였으며, 가장 강력한 판정 모델은 위치에서 ~88%, 추론에서 ~65%의 합의를 달성했다. Counsel은 오픈 가중치 모델로 생성되었으며 넓은 커뮤니티 사용을 위해 관대한(permissive) 라이선스가 적용되어 있으며, 이를 통해 에이전트 시스템을 위한 LLM 기반 평가자의 엄격한 연구와 정렬 개선이 가능해지기를 기대한다.