PyTorchKR Papers

최신 논문

총 58편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22737v2cs.AI

GroundEval: 상태 유지 에이전트 평가에서 LLM-as-Judge의 결정론적 대체

GroundEval: A Deterministic Replacement for LLM-as-Judge in Stateful Agent Evaluation

LLM 심판 모델이 그럴듯한 에이전트 응답에 0.85 이상의 점수를 부여하더라도 실제 추적 기록에서는 에이전트가 필요한 아티팩트를 전혀 검색하지 않아 GroundEval 점수가 0.000이 되는 사례를 보여주며, GroundEval은 에이전트가 사용한 증거 경로를 시간적 경계·접근 권한·인과 관계 측면에서 결정론적으로 검증하는 judge-free 평가 프레임워크다. Silence(부재 주장 전 검색 여부), Perspective(행위자 관점의 증거 유효성), Counterfactual(올바른 인과 메커니즘 사용 여부)의 세 가지 트랙을 통해 최종 답변 기반 평가가 구조적으로 탐지할 수 없는 상태 무효 정확성(state-invalid correctness) 실패를 식별한다.

arXiv:2607.00627v1cs.AI

AGI Maze as a Benchmark Framework for World-Modeling Agents

Large language models (LLMs) are powerful pattern-completion systems, but their default operating mode - predicting the next token from a static context - does not reliably produce persistent, manipulable representations of an external world. Many tasks that look like "reasoning" in text become substantially harder once the environment is partially observable, stateful, and requires memory and structured hypotheses about hidden state. AGI Maze is a lightweight framework for building such environments without requiring high-dimensional sensory inputs. It provides a family of grid-based maze tasks with a clean API and multiple difficulty regimes. The goal is to create benchmarks where agents must learn and use world state representations, not just infer a local rule over readily provided observations. We provide an initial evaluation of several vanilla LLMs on simple mazes showing that they fail to represent mazes internally at LLM inference time. We also introduce a baseline agent, which is allowed to use its message history as a working memory to construct descriptions of observations at agentic runtime. Although this can improve performance, it is still insufficient for an LLM agent to reliably solve even small mazes within a step budget that is more than enough for humans.

arXiv:2507.05257v4cs.CL

점진적 멀티턴 상호작용을 통한 LLM 에이전트의 메모리 평가

Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions

대규모 언어 모델(LLM) 에이전트를 위한 최근 벤치마크들은 주로 추론, 계획 수립, 실행 능력 평가에 집중하고 있으며, 또 다른 핵심 구성 요소인 메모리—에이전트가 장기 정보를 기억하고, 업데이트하고, 검색하는 방식을 포함하는—는 벤치마크의 부재로 인해 충분히 평가되지 못하고 있다. 우리는 메모리 메커니즘을 갖춘 에이전트를 메모리 에이전트라 칭한다. 본 논문에서는 기억 과학 및 인지 과학의 고전 이론을 바탕으로, 메모리 에이전트에 필수적인 네 가지 핵심 역량을 식별한다: 정확한 검색(accurate retrieval), 테스트 시간 학습(test-time learning), 장거리 이해(long-range understanding), 선택적 망각(selective forgetting). 기존 벤치마크들은 제한된 컨텍스트 길이에 의존하거나 책 기반 QA와 같은 정적·장문 컨텍스트 환경에 맞춰져 있어, 점진적으로 정보를 축적하는 메모리 에이전트의 대화형 멀티턴 특성을 반영하지 못한다. 또한 네 가지 역량 모두를 다루는 기존 벤치마크는 존재하지 않는다. 우리는 메모리 에이전트를 위해 특별히 설계된 새로운 벤치마크인 MemoryAgentBench를 제안한다. 본 벤치마크는 기존 장문 컨텍스트 데이터셋을 변환하고 새롭게 구성된 데이터셋을 멀티턴 형식으로 통합함으로써, 메모리 에이전트의 점진적 정보 처리 특성을 효과적으로 시뮬레이션한다. 데이터셋을 신중하게 선별하고 정제함으로써, 본 벤치마크는 위에서 제시한 네 가지 핵심 메모리 역량을 포괄적으로 다루며, 메모리 품질을 평가하기 위한 체계적이고 도전적인 테스트베드를 제공한다. 우리는 단순한 컨텍스트 기반 및 검색-증강 생성(RAG) 시스템부터 외부 메모리 모듈과 도구 통합을 갖춘 고급 에이전트에 이르기까지 다양한 메모리 에이전트를 평가한다. 실험 결과, 현재의 방법들은 네 가지 역량 모두를 완전히 습득하지 못하고 있음이 드러나, LLM 에이전트를 위한 포괄적인 메모리 메커니즘에 대한 추가 연구의 필요성을 강조한다.

arXiv:2606.29771v1cs.AI

CLQT: A Closed-Loop, Cost-Aware, Strategy-Consistent Benchmark for Diagnostic Evaluation of LLM Portfolio-Management Agents

LLM agents are increasingly cast as autonomous portfolio managers, and benchmarks have moved from financial question-answering to sequential trading. Yet most still rank agents by returns over a fixed window -- a weak proxy, since a period's return is dominated by the market path and apparent alpha can dissolve once look-ahead leakage is controlled. Such a ranking certifies neither sound reasoning, nor a consistent strategy, nor a durable edge. We introduce CLQT, which reframes closed-loop trading evaluation as diagnosis rather than ranking: an instrument that localizes where and why an agent's process succeeds or fails. CLQT is a fully closed-loop, cost-aware, strategy-consistent, temporally-gated environment whose agents run a five-stage cycle: gather, synthesize, allocate, execute, reflect. Each round emits a complete DecisionRound sealed into a recompute-verifiable hash chain, so every metric is reconstructable from the trail. Six pillars form the substrate: a hard TimeGate, institutional transaction- and financing-cost modeling, strategy-consistency scoring, three-tier memory, a Model-Context-Protocol tool layer, and mandate-aware synthesis. The same agent runs as a constrained committee of specialized roles or a single full-autonomy orchestrator, making process scaffolding an experimental variable. From the audit trail we compute a five-axis capability scorecard (APM-CS: Coherence, Acuity, Composure, Discipline, Reliability), with Coherence judged partly by a held-out, out-of-cohort LLM to curb self-preference bias. We validate it on a contamination-controlled multi-model backtest with an ablation grid and a live broker track on unseen, post-cutoff data, against a repeated-run noise floor. CLQT separates outcome from capability, yielding not a model ranking but a durable, extensible map of agent competencies and limitations.

arXiv:2606.28900v1cs.AI

MedEvoEval: Evaluating Continual Evolution of Doctor Agents through Simulated Clinical Episodes

Doctor agents are moving beyond single-turn answer generation toward evolving clinical decision systems. Within an outpatient episode, they acquire evidence, use examination and consultation resources, and decide when to finalize a diagnosis and management plan. Across episodes, their behavior may change through memory, retrieval, reflection, or other update mechanisms. Current evaluations only partially cover this setting. Fixed-input medical QA benchmarks score final answers from complete inputs, whereas many interactive benchmarks still focus on individual encounters or fixed runs, providing limited support for evaluating how episode-level decisions interact with cross-episode experience. We introduce MedEvoEval, an executable longitudinal evaluation framework based on action-gated simulated outpatient episodes. Each source case is converted into role-specific patient, examination, and manager views; evidence is revealed only through valid actions; and each episode records a structured trace that links observations, actions, final outputs, manager scores, and optional experience write-back. We release a runnable E&D artifact with 700 processed episodes, provenance notes, schemas, an episode runner, scoring scripts, configurations, example logs, analysis code, and trajectory- and step-level derivatives. Experiments show that episode traces expose process costs hidden by final-answer scoring, show how MDT-style consultation reallocates resources, and support longitudinal analyses of memory maturation, held-out transfer, update-stage response, and backward retention. Together, these results show that MedEvoEval provides a concrete basis for evaluating whether doctor agents improve through experience, transfer useful behavior, and retain earlier capabilities over time.

arXiv:2606.26118v1cs.CY

AI 도입 및 역량 오픈 소스 경제 지수

The Open Source Economic Index of AI Adoption and Capability

공개 사용자-LLM 채팅 데이터와 O*NET 과업으로 직업별 AI 도입률을 측정하는 오픈 소스 경제 지수와, O*NET·model-context-protocol(MCP) 서버 기반 에이전트 벤치마크를 제안한다. 금융·컴퓨터 과학·예술 분야 도입률이 가장 높고 Kimi-k2.5는 고수준 워크플로는 수행하지만 tool call 등 세부 실행에서 자주 실패하며, 역량은 도입을 앞서지만 완전한 직업 대체 위험은 제한적이다.

arXiv:2606.26356v1cs.AI

지시 누출(Instruction Bleed): 프롬프트 구성형 에이전트 시스템에서의 모듈 간 간섭

Instruction Bleed: Cross-Module Interference in Prompt-Composed Agentic Systems

프롬프트 구성형 에이전트에서 공유 컨텍스트 윈도우의 트랜스포머 자기-어텐션 때문에 한 모듈 편집이 무관 모듈 동작을 조용히 바꾸는 구성적 행동 누출(CBL, instruction bleed)을 정의하고, 배포된 채용 평가 에이전트(Claude Sonnet 4.6, 144회)에 분량·내용·형식 3채널 교란 프로토콜을 적용해 간섭을 측정한다. 내용 채널만 Cohen's d=0.63의 검출 가능한 쌍 효과를 보였고 추천 결론은 뒤집히지 않아, 표준 QA로는 드러나지 않지만 수천 건의 결정에 누적될 수 있는 임계값 이하(sub-threshold) 영역의 신뢰성 문제로 제시된다.

arXiv:2606.26158v1cs.AI

벤치마크 포화 이후: CORE-Bench 사례 연구

Life After Benchmark Saturation: A Case Study of CORE-Bench

벤치마크 정확도가 포화된 뒤에도 폐기·교체만 하는 접근은 구성 타당성, 분포 밖 일반화, 효율성, 신뢰성, 모델·스캐폴드 분리, 인간-에이전트 협업 향상 등 핵심 차원을 놓친다는 점을 과학 코드 계산 재현성 벤치마크 CORE-Bench Hard 사례로 보인다. CORE-Bench v1.1과 CORE-Bench OOD를 제안하고 다차원 평가를 통해 정확도가 유사한 에이전트 간 차이를 드러냈으며, 실제 재현성 태스크에서 인간-에이전트 협업은 약 2배의 통계적으로 유의미한 속도 향상을 보였다.

arXiv:2606.24530v1cs.CL

NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

NatureBench는 Nature 계열 동료심사 논문 90개 과제로 구성된 교차학문 벤치마크로, NatureGym 파이프라인이 논문별 컨테이너 과제 환경을 자동 구축해 코딩 에이전트(agent)가 발표된 SOTA(state-of-the-art)를 넘어설 수 있는지 평가한다. 웹 검색을 금지한 프로토콜에서 최강 에이전트도 g>0.1 기준 17.8% 과제에서만 SOTA를 초과했으며, 성공은 주로 과학 과제를 지도학습 예측 문제로 치환하는 방법론적 번역에서 비롯되고 실패는 잘못된 방법 선택과 연산 예산 부족이 주된 원인이었다.

arXiv:2606.22329v1cs.CL

BabelJudge: 언어 및 에이전트 궤적에 걸친 LLM-as-a-judge 신뢰성 측정

BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories

LLM-as-a-judge의 위치·장황함·순서 불일치·다국어 성능 저하 같은 체계적 바이어스를 인간 선호 라벨 없이 측정하는 오픈소스 벤치마크 BabelJudge를 제안하며, 고품질 참조 응답에 통제된 교란을 적용하는 저하 기반 골드 라벨링으로 정답 쌍을 구성한다. Qwen2.5-7B-Instruct-4bit 평가에서 복합 바이어스 페널티 신뢰성 점수는 힌디어 0.714에서 스와힐리어 0.550으로 급락하고, 스와힐리어의 순서 일관성은 0.480까지 무너져 원시 정확도만으로는 드러나지 않는 심사 실패가 확인되었다.

arXiv:2606.22613v1cs.AI

SkillAudit: 고정 스위트 벤치마킹에서 스킬 중심 평가로

SkillAudit: From Fixed-Suite Benchmarking to Skill-Centered Assessment

에이전트 스킬은 대규모 언어 모델(LLM) 에이전트를 확장하는 실용적인 방법이 되었지만, 성장하는 스킬 생태계에는 여전히 스킬의 배포 가치를 판단할 신뢰할 만한 방법이 부족하다. 기존 평가 방법은 여전히 대부분 고정된 태스크 스위트에 의존하여, 사전 정의된 태스크와 환경에서의 성능을 통해 스킬을 평가한다. 스킬 마켓플레이스가 확장됨에 따라 이 패러다임은 부적절해진다. 고정 스위트는 스킬의 한계 기여를 백본 강도와 혼동할 수 있으며, 태스크가 스킬의 의도된 범위를 벗어날 때 그 가치를 놓칠 수 있다. 우리는 임의의 에이전트 스킬을 입력으로 받아 유용성, 효율성/비용, 안전성을 아우르는 포괄적이고 다차원적인 평가 보고서를 자동 생성하는 스킬 중심 평가를 위한 end-to-end 프레임워크인 SkillAudit을 제안한다. SkillAudit은 스킬 아티팩트 자체에 초점을 맞추고, 스킬 패키지로부터 직접 역량 정렬형 평가 태스크를 구성한다. 생성된 태스크는 격리된 샌드박스 환경에서 수행되어 실행 증거를 수집하며, LLM 기반 판정을 통한 자동 검사가 뒤따라 감사 가능한 결과를 생성한다. 에이전트 스킬을 분석하기 위해, 우리는 유용성과 효율성/비용을 측정하는 기준선 비교 원칙을 제안하고, 안전성 위험을 평가하기 위해 정적 의미 분석과 동적 런타임 검증을 결합한 2단계 탐지 패러다임을 도입한다. 23개 직업군에 걸친 상위 순위의 실제 스킬 패키지를 스캔한 결과, 7% 이상의 스킬이 위험 상태에 있는 것으로 나타났다.

arXiv:2606.19704v1cs.AI

정적 리더보드를 넘어: 대규모 언어 모델(LLM) 에이전트 평가를 위한 예측 타당도

Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

에이전트 벤치마크는 빠르게 성장하고 있지만, 배포(deployment) 과정에서 드러나는 차원들 중 4~5개 이상을 다루는 벤치마크는 없습니다. 본 논문은 지금까지 MCP 기반 산업용 에이전트 벤치마크에 대한 가장 큰 규모의 조율된 심층 분석을 종합합니다. 여기에는 새로운 자산 클래스(멀티모달 시각 확장 포함), 대안적인 오케스트레이션, 검색 전략, 추론 모드, 인프라 최적화, 평가 방법론 탐색을 다루는 14개의 병렬 구현 연구가 포함됩니다. 이러한 연구들을 7개의 기존 에이전트 벤치마크와 통합하여, 우리는 집계 점수 리더보드가 배포된 에이전트 평가를 체계적으로 불충분하게 명시한다고 주장합니다. 집계 점수에서 파생된 순위는 분포 외(out-of-distribution) 설정으로 전이되지 않으며, 최근 공개-비공개 경쟁 대회의 회고 분석은 이러한 순위 불안정성에 대한 직접적인 경험적 증거를 제공합니다. 우리는 샘플 내(in-sample) 평균 대신 예측 타당도, 즉 샘플 내 순위와 샘플 외(out-of-sample) 순위 간의 상관관계를 기준으로 구성의 순위를 매길 것을 제안하며, HELM과 그 에이전트 시대 후속 모델들이 구분하지 못하는 배포 관련 차원들을 드러내는 12단계 측정 도구를 보고합니다. 이 입장은 명시적인 임계값이 있는 3가지 반증 가능한 분포 외 기준을 통해 조작화되었으며, 기존 증거는 이를 부분적으로 지원하지만 확인하기에는 아직 불충분합니다. 우리는 사전 등록된 파일럿 설계와 차세대 에이전트 벤치마크가 보고해야 할 내용에 대한 분야 수준의 비전으로 결론을 맺습니다.

arXiv:2606.16000v2cs.CL

GRACE-DS: 데이터 과학 분야의 가드된 보상 기반 에이전트 수정 환경

GRACE-DS: a Guarded Reward-guided Agent Correction Environment in Data Science

GRACE-DS는 조직별 테이블 형식 ML 작업에서 LLM 기반 AutoML 에이전트를 배포 전에 평가하기 위한 격리 환경으로, 계획·데이터 검사·특징 공학·모델 개발·검증·코드 수정부터 최종 제출까지의 워크플로우 단계를 제시하고 숨겨진 실행형 검증기로 예측 성능뿐 아니라 누수 방지, 재현성, 프로토콜 유효성, 수정 행동, 보상 정렬을 함께 측정한다. 7,000개 이상 에피소드 검증에서 유연한 반복적 상호작용 체제가 원샷 생성, 비구조화 상호작용, 재시작 기반 베이스라인보다 높은 엔드투엔드 정규화 은닉 테스트 품질과 프로토콜 유효 완료율을 달성했다.

arXiv:2606.18237v1cs.CL

ReproRepo: GitHub 저장소 이슈를 활용한 재현성 감사의 확장

ReproRepo: Scaling Reproducibility Audits with GitHub Repository Issues

논문과 공개된 코드로부터 연구 결과를 재현하는 것은 과학적 진보의 핵심입니다. 기존 연구에서는 대규모 언어 모델(LLM) 에이전트가 재현성을 보조할 수 있는지 평가하기 위한 벤치마크를 도입했으나, 데이터 큐레이션과 평가에 막대한 수작업이 필요하기 때문에 확장하기 어렵습니다. 우리는 현실적인 재현 방해 요소(reproduction blockers)에 대해 자연적으로 발생하는 지도 신호로서 사람이 제기한 GitHub 이슈를 활용하는, 확장 가능한 재현성 평가 프레임워크인 ReproRepo를 소개합니다. 우리는 주요 컨퍼런스의 1,149편의 최근 머신러닝 논문에 ReproRepo를 적용하고 4가지 최첨단 모델-에이전트 구성을 평가했습니다. 결과에 따르면 LLM 에이전트는 코드를 실행하지 않고도 논문-저장소 쌍에서 많은 실제 재현성 문제를 식별할 수 있습니다: 본 연구에서 가장 우수한 에이전트인 Codex with GPT-5.5는 연구 대상 논문의 약 90%에서 최소 하나 이상의 의미적으로 관련된 사람이 보고한 방해 요소를 찾아냈습니다. 추가 분석 결과, 에이전트는 명백한 실패를 드러내고 올바른 의미적 영역을 식별하는 데 특히 효과적이지만, 정확한 위치 파악(localization)에는 여전히 부족할 수 있음을 보여줍니다. ReproRepo는 실제 재현성 감사에 대한 LLM 에이전트의 향후 평가를 위해 재사용 가능하고 확장 가능한 프레임워크로 활용될 수 있습니다. 우리의 코드는 https://github.com/LithiumDA/ReproRepo에서 공개됩니다.

arXiv:2606.17819v1cs.SE

대규모 에이전트 스킬 평가 프레임워크

A Framework for Evaluating Agentic Skills at Scale

에이전트 스킬—LLM 에이전트 능력을 강화하는 구조화된 재사용 가능한 지식 산출물—은 산업계에서 빠르게 채택되고 있지만, 이들의 도메인 간 영향과 상용·오픈소스 모델 전반에 걸친 사용은 여전히 충분히 연구되지 않았으며, 개별 스킬을 평가할 수 있는 재사용 가능한 방법론은 존재하지 않는다. 본 연구에서는 스킬 작성자가 중요하다고 판단하는 스킬의 측면을 엄격하게 평가하기 위해 현실적인 과제를 구성할 수 있게 하고, 해당 과제를 해결함으로써 스킬의 유용성을 추정하는 평가 프레임워크를 제시한다. 또한 우리의 평가 접근법을 500개의 실제 스킬에 대규모로 적용하여, 스킬 내용에서 파생된 1,000개의 과제와 인스트럭션 준수 및 목표 달성 채점 루브릭을 생성하였다. 이 지표들을 사용하여, 독점 및 오픈소스 모델을 포함한 19개의 에이전트-모델 구성이 과제에서 어떻게 수행되는지 평가하였다. 결과는 모델이 스킬에 인코딩된 지시를 얼마나 충실히 따르는지에 따라 크게 달라지며, 이로 인해 성능 향상에도 상당한 차이가 나타남을 보여준다. 또한 스킬에 대한 접근은 스킬 없는 설정과 비교하여 모델 행동을 크게 바꾸며, 이는 LLM 에이전트에 의견이 반영된(opinionated) 워크플로를 인코딩하는 핵심 메커니즘을 제공함을 보여준다. 에이전트 스킬에 관한 후속 연구를 지원하기 위해 평가 데이터셋을 공개한다.

arXiv:2606.13608v1cs.AI

AgentBeats: 개방성, 표준화, 재현성을 위한 에이전트 평가의 에이전트화

AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility

에이전트(agent) 평가의 파편화 문제를 해결하기 위해 판사 에이전트(judge agent)가 표준화된 프로토콜을 통해 평가를 수행하는 Agentified Agent Assessment(AAA)와 이를 구현한 AgentBeats를 제안한다. 대규모 경진대회와 사례 연구를 통해 이 프레임워크가 개방성, 표준화, 재현성을 확보하며 다양한 환경에서 실용성과 충실도를 제공함을 입증했다.

arXiv:2606.11686v1cs.CL

층 분리 평가: LLM 없는 레그레션 잠금 테스트 하니스를 통한 프로덕션 LLM 에이전트의 결정적 스캐폴드 게이팅

Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness

엔드-투-엔드(end-to-end) 작업 성공률은 LLM 에이전트를 평가하는 지배적인 방식이지만, 집계된 숫자 하나는 에이전트에 레그레션(regression)이 발생했다는 것만 알려줄 뿐, 어디서 발생했는지는 알려주지 않습니다. 우리는 층 분리 평가(layer-isolated evaluation)를 제안합니다: 배포된 주문 에이전트가 고정된 층(layer) 분류 체계(온톨로지, 의도, 라우팅, 분해, 에스컬레이션, 안전성, 메모리 및 횡단 엔벨로프/방어)로 분해되며, 각 층은 결정적이고 LLM이 없는 "순수(pure)" 모드에서 자체 assertion 슬라이스에 의해 실행됩니다. 순수 모드 스위트(23개 슬라이스에 걸친 238개 사례; 225개가 2.39초 내 실행, 사례당 ~10ms)는 모든 변경 사항에 대해 슬라이스별로 잠금된 기준선(baseline)을 대상으로 CI에서 실행됩니다. 우리는 7개의 비안전성(non-safety) 층에 걸쳐 한 번에 하나의 층을 저하시키는 제어된 레그레션 주입을 통해 검증을 수행했습니다. 우리가 설계하지 않은 효과는 마스킹(masking)입니다: 집계 통과율은 거의 변동이 없는 반면(6개의 지역적 레그레션에 대해 -1.7에서 -5.9pp), 일치하는 슬라이스는 급격히 하락합니다(-25에서 -91pp). 자체 결함에 반응하는 층의 슬라이스는 부분적으로 구조상의 결과입니다; 측정된 결과는 (i) 집계된 마스킹과 (ii) 손상이 다른 슬라이스에는 영향을 미치지 않는다는 것입니다: 주입된 층의 슬라이스는 7개 사례 중 5개에서 가장 큰 타격을 입었고, 7개 모두에서 상위 3위 안에 들었습니다(19개 중 평균 순위 1.29). 지역화(localization)는 두 번째이자 구조적으로 다른 테넌트(Starbucks SG)에서도 재현됩니다: 일치하는 7개 슬라이스 모두 급격히 하락하므로, 이는 단일 카탈로그 인공물이 아닙니다. 우리는 이를 EDDOps가 규정하지만 구현하지 않은 구성 요소 수준 평가의 구체적이고 결정적인 구현(instantiation)으로, CheckList를 조상으로 하며 전체 워크플로우 확률적 돌연변이 테스트의 결정적 거울 이미지로 위치를 잡습니다. 우리의 기여는 다음과 같습니다: (a) 프로덕션 에이전트를 위한 완전히 분해된 1초 미만의 LLM 없는 층별 하니스, (b) 실행되지 않은 층에 점수를 매기기를 거부하는 커버리지 정직성(coverage-honesty) 테스트 적절성 기준, (c) 슬라이스별 기준선 잠금 게이트가 집계 메트릭이 마스킹하는 레그레션을 지역화한다는 것을 보여주는 레그레션 주입 시연.

arXiv:2604.18543v4cs.AI

ClawEnvKit: 발톱 모양 에이전트를 위한 자동 환경 생성

ClawEnvKit: Automatic Environment Generation for Claw-Like Agents

발톱 모양 에이전트(claw-like agents)를 위한 환경 구축의 수동적이고 확장이 어려운 문제를 해결하기 위해, 자연어 설명으로부터 다양하고 검증된 환경을 자동 생성하는 파이프라인인 ClawEnvKit을 제안합니다. 이를 통해 1,040개의 환경을 포함하는 대규모 벤치마크인 Auto-ClawEval을 구축하여 인간이 큐레이션한 환경과 유사한 품질을 훨씬 낮은 비용으로 달성하고, 실시간 평가 및 온디맨드 학습 환경 생성을 가능하게 했습니다.