PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14336v1cs.SE

Copy-on-Write 스코어링: 애플리케이션 특화 에이전트 평가

Copy-on-Write Scoring: Application-Specific Agent Evaluations

소프트웨어 시스템에 LLM 기반 에이전트를 신뢰할 수 있게 배포하려면, 애플리케이션 특화 워크플로에서 어떻게 수행되는지 평가해야 하며, 성공과 실패 지점을 특정할 수 있을 만큼 충분한 세분성이 필요하다. 그러나 기존 에이전트 평가 메커니즘은 제한적이다. 벤치마크는 애플리케이션 특화 워크플로와 환경에 대한 구인 타당성(construct validity)이 낮고, 복제 평가 환경은 비용이 많이 들며 drift에 취약하다. 우리는 Copy-on-Write(CoW) 스코어링을 제안한다. 이는 PostgreSQL 수준의 Copy-on-Write 메커니즘을 사용해 에이전트의 쓰기를 격리하면서 애플리케이션 환경 내에서 에이전트 연산을 직접 평가하는 프레임워크이다. CoW 스코어링은 주어진 애플리케이션 환경에서 에이전트의 데이터베이스 쓰기 연산이 어디에서 성공하고 실패하는지를 강조하는 세션 및 연산 수준 점수를 생성하며, 에이전트 하네스와 도구 표면(tool surface)에 대한 저비용 평가와 반복을 가능하게 한다. 오픈소스 프로젝트 관리 플랫폼인 Plane에서 이 프레임워크를 시연했으며, 분석을 통해 도구 표면의 구체적인 문제가 드러났고, 이에 대응한 수정은 영향을 받은 모델에서 측정 가능한 개선을 가져왔다. Python 라이브러리: https://github.com/trail-ml/agent-cow-python