PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00648v1cs.AI

Incident-Arena: 신뢰성의 마지막 9에 도달하기 위한 에이전트 평가

Incident-Arena: Getting agents to the last nine of reliability

AI 코딩 에이전트는 산업계와 학계 전반의 엔지니어링 워크플로우에 널리 활용되고 있습니다. 그러나 애플리케이션 코딩에서의 활용에도 불구하고, 프로덕션 인시던트 대응(production incident response)을 수행하는 능력에는 상대적으로 적은 어텐션이 기울여졌습니다. 에이전틱 사이트 신뢰성 공학(agentic site-reliability-engineering, SRE)이라 불리는 이 신흥 분야의 기존 벤치마크들은 (1) 주로 토이 저장소로 구성된 비현실적인 환경, (2) 비표준 프레임워크 구현, (3) 단순한 정적 검증기라는 한계를 지닙니다. 우리는 실제 배포된 오픈소스 소프트웨어에 그라운딩된, 정교하게 선별된 20개 작업으로 구성된 수작업 구축 벤치마크인 Incident-Arena를 소개합니다. 각 작업은 임시 Kubernetes 클러스터에 프로덕션 애플리케이션을 배포하고, 설정 층부터 기저 이미지에 이르는 결함과 작업 요구사항에 따른 지속적인 부하 프로파일을 주입합니다. 또한 우리는 정적 검사를 넘어 기능적 검증기로 나아가, 수리가 안전하게 수행되는지 확인하는 동시에 시스템 수준의 지표를 안정적으로 유지하는 새로운 검증 방식을 제시합니다. 에이전트 실험은 평균 2.81M 토큰과 41턴을 실행하여 기존 벤치마크를 넘어서는 에이전트의 긴 호흡 추론(long horizon reasoning)을 보여줍니다. 20개 작업과 3개 애플리케이션 기반 전반에서 프론티어 모델들은 64.3% 미만의 점수를 기록했으며, 실패 원인은 진단/위치 특정 오류부터 불완전한 복구 및 안전하지 않은 회귀(regression)에 이르기까지 다양했습니다.