PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00648v1cs.AI

Incident-Arena: 신뢰성의 마지막 9에 도달하기 위한 에이전트 평가

Incident-Arena: Getting agents to the last nine of reliability

AI 코딩 에이전트는 산업계와 학계 전반의 엔지니어링 워크플로우에 널리 활용되고 있습니다. 그러나 애플리케이션 코딩에서의 활용에도 불구하고, 프로덕션 인시던트 대응(production incident response)을 수행하는 능력에는 상대적으로 적은 어텐션이 기울여졌습니다. 에이전틱 사이트 신뢰성 공학(agentic site-reliability-engineering, SRE)이라 불리는 이 신흥 분야의 기존 벤치마크들은 (1) 주로 토이 저장소로 구성된 비현실적인 환경, (2) 비표준 프레임워크 구현, (3) 단순한 정적 검증기라는 한계를 지닙니다. 우리는 실제 배포된 오픈소스 소프트웨어에 그라운딩된, 정교하게 선별된 20개 작업으로 구성된 수작업 구축 벤치마크인 Incident-Arena를 소개합니다. 각 작업은 임시 Kubernetes 클러스터에 프로덕션 애플리케이션을 배포하고, 설정 층부터 기저 이미지에 이르는 결함과 작업 요구사항에 따른 지속적인 부하 프로파일을 주입합니다. 또한 우리는 정적 검사를 넘어 기능적 검증기로 나아가, 수리가 안전하게 수행되는지 확인하는 동시에 시스템 수준의 지표를 안정적으로 유지하는 새로운 검증 방식을 제시합니다. 에이전트 실험은 평균 2.81M 토큰과 41턴을 실행하여 기존 벤치마크를 넘어서는 에이전트의 긴 호흡 추론(long horizon reasoning)을 보여줍니다. 20개 작업과 3개 애플리케이션 기반 전반에서 프론티어 모델들은 64.3% 미만의 점수를 기록했으며, 실패 원인은 진단/위치 특정 오류부터 불완전한 복구 및 안전하지 않은 회귀(regression)에 이르기까지 다양했습니다.

arXiv:2607.13035v1cs.CL

FixItFlow: 클라우드 인시던트로부터의 자동 트러블슈팅 가이드 생성

FixItFlow: Automated Troubleshooting Guide Generation from Cloud Incidents

클라우드 서비스는 신속한 진단과 해결이 필요한 잦은 인시던트를 겪는다. 트러블슈팅 가이드는 엔지니어가 일관되게 대응하도록 돕지만, 수동으로 작성하는 것은 노동 집약적이어서 커버리지가 불완전하고 문서가 구식이 되는 결과를 낳는다. 우리는 대규모 언어 모델(LLM)을 사용해 과거 인시던트 데이터로부터 트러블슈팅 가이드를 생성하는 자동화 시스템 FixItFlow를 제안한다. 이 시스템은 엔지니어의 조치에서 진단 패턴을 추출하고, 검증된 명령어가 포함된 구조화된 가이드를 합성하며, 허구의 내용을 방지하기 위해 엄격한 검증을 적용한다. 26명의 엔지니어를 대상으로 한 평가에서, 생성된 가이드는 명확성에 대해 61.5%의 긍정 평가를 받았으며, 관련 가이드가 있는 인시던트에 대해 완화 시간을 2.3배 줄였다. 이 결과는 자동화된 가이드 생성이 엔지니어 팀의 문서화 부담을 줄이면서 인시던트 대응을 개선할 수 있음을 보여준다.