AgentArmor: 코딩 에이전트 실패에 대한 프레임워크, 평가 및 완화
AgentArmor: A Framework, Evaluation, \& Mitigation of Coding Agent Failures
소프트웨어 공학 및 배포는 점점 더 AI 코딩 에이전트에게 위임되고 있습니다. 도입 규모가 확대됨에 따라 드물지만 매우 파괴적인 실패 모드가 표면화되고 있습니다. 본 논문에서는 이러한 실패 모드가 세 가지 명확한 메커니즘에서 기인한다고 분석합니다: 기본 모델 동작이 안전하지 않은 명세 불충분(underspecification); 안전한 행동이 가능함에도 바이어스나 능력 제한으로 인해 모델이 이를 준수하지 않는 능력 오류(capability errors); 그리고 모델이 하니스(harness)를 통해 안전한 행동을 실행하지 못하는 에이전트 하니스 오류(agent harness errors)입니다. 실제 배포 실패 사례에서 영감을 받은 8가지 평가를 통해 이를 측정하였으며, 총 20개의 코딩 환경과 59개의 합성 대화 템플릿을 사용하였습니다. 이 평가를 바탕으로, 이러한 오류를 완화하기 위한 에이전트 하니스 수정안인 AgentArmor를 제안합니다. 확장된 시스템 프롬프트, 별도의 명령어 분류기, '3스트라이크' 정책, 결정론적 가드레일(guardrails), 그리고 에이전트가 자체 컨텍스트를 편집할 수 있는 도구를 추가하여, AgentArmor가 통계적으로 유의미한 수의 샘플에서 더 안전함을 입증합니다. 따라서 본 연구는 현재 코딩 에이전트에 대한 구체적인 완화책과 향후 에이전트 하니스 기능에 대한 설계 철학을 제시합니다.