PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02405v1cs.AI

터미널 에이전트 학습이 정체될 때: 데이터 생성 및 검증의 과제 규명

When Terminal-Agent Training Stalls: Demystifying Data Generation and Verification Challenge

강화학습(RL) 학습을 위한 터미널 작업과 검증기(verifier)를 생성하기 위해 Claude Opus와 같은 프론티어 모델을 메타 에이전트로 사용하는 방식이 점차 보편화되고 있습니다. 그러나 실행 가능한 Docker 이미지와 실행 테스트 스위트가 존재하더라도 터미널 에이전트 학습을 위한 신뢰할 수 있는 엔드투엔드 파이프라인이 보장되지는 않습니다. 본 연구에서는 이러한 간극에서 착안하여 벤치마크 무효성, 하네스 취약성, 보상 정렬 불일치라는 세 가지 유형의 실패를 진단하는 메타 에이전트 파이프라인을 제시합니다. 프롬프트 재설계와 컨텍스트 확장을 통해 기준선(baseline) 해결 가능성을 5.6배 높였으나, Claude Opus가 생성한 작업에서 9B 모델은 20스텝 이내에 평균 pass@2 81.3%로 포화 상태에 도달합니다. 학습 설정을 변경하지 않고 고난도 작업을 추가하면 평균 pass@2가 20.6%로 감소하며, 이는 해결 가능성 대역(solvability band)이 모델에 따라 고유함을 보여주는 강력한 증거입니다. 이러한 결과는 메타 에이전트의 신뢰성을 확보하기 위해 해결 가능성 대역 보정, 검증기 감사, 인프라 오류 계산이 사후 진단이 아닌 일급(first-class) 평가 기준으로 요구됨을 보여줍니다.

arXiv:2605.10913v3cs.AI

Shepherd: Enabling Programmable Meta-Agents via Reversible Agentic Execution Traces

As LLM agent systems take on more complex tasks, they increasingly rely on meta-agents: higher-order agents that create, operate on and manage other agents. Meta-agent operations such as coordinating agents, halting risky actions before execution, or repairing failed runs, require runtime manipulation of agentic execution. Yet existing agentic substrates make this difficult: they expose only transcripts and environment snapshots, forcing meta-agents to build ad hoc tooling to reconstruct and operate over full execution state. Therefore, we introduce Shepherd, a Python substrate grounded in functional programming principles, where an agent's execution is itself a first-class object that a meta-agent can easily inspect and transform. Every model action, tool call, and environment change becomes a structured event in a reversible, Git-like execution trace, where any past state can be reverted 5x faster than docker commit and fork. Three example use cases show Shepherd's versatility: (1) a supervisor meta-agent prevents conflicts among parallel coding agents, lifting pair-coding pass rate from 28.8% to 54.7% on CooperBench; (2) a counterfactual optimization meta-agent repairs agent workflows by proposing edits and replaying runs from the point of changed behavior, outperforming MetaHarness on Terminal-Bench 2.0 by 12.8% with 58% lower wall-clock; (3) a training meta-agent picks fork points during rollouts to improve credit assignment in long-horizon agentic RL, doubling GRPO's uplift on Terminal-Bench 2.0. We open-source Shepherd to enable principled and efficient operations over agentic execution for both users and meta-agents.