FDE-Bench: 배포 환경 구성을 위한 LLM 에이전트 평가
FDE-Bench: Evaluating LLM Agents for Deployment Environment Configuration
배포는 애플리케이션 코드를 서비스들이 서로 연결되고, 준비 상태가 되며, 관측 가능성을 유지하는 실행 중인 시스템으로 전환하는 에이전트 역량을 요구합니다. FDE-Bench는 신규 구축(greenfield) 및 진단-복구(diagnose-and-repair) 모드에서 Docker 이미지, 다중 서비스 Compose 스택, Kubernetes 전반에 걸친 136개의 배포 구성 태스크를 통해 이 역량을 평가합니다. 에이전트는 선언적 아티팩트를 제출하며, 이는 수집된 후 무결한 환경에서 다시 빌드되고 재배포됩니다. 네 단계의 게이트형 이진 검사 레이어는 LLM 판정자(LLM judge) 없이 프로그래밍 방식의 검사를 사용하여 빌드, 준비 상태, 동작, 그리고 배포 명세에 대한 적합성을 측정합니다. 4개 축으로 구성된 릴리스 게이트는 문제를 해결하는 참조 솔루션을 요구하며 아무런 조치도 취하지 않거나(do-nothing), 명세를 단순 전사하거나(specification-transcription), 범용 스텁(generic-stub)을 제출하여 해결되는 태스크는 거부합니다. 공개된 검사 주석은 7개의 문서화된 격차를 포함하여 2,145개의 검사와 해당 명세 간의 연결 고리를 드러냅니다. 세 가지 추가적인 적대적 전략은 채점 신호의 지름길을 테스트하며, 이들이 다루는 135개 태스크 중 어느 것도 해결하지 못한 반면, 실질적 내용이 없는 헬스 프로브(vacuous health probe)는 준비 상태 검사를 통과함으로써 후속 단계 검사의 필요성을 드러냅니다. 136개 태스크 평가 그리드에서 4개 제공업체의 7개 언어 모델은 동일한 4개 도구 스캐폴드를 사용하여 태스크의 52.9-75.0%를 해결합니다. 세 가지 지능 제로(zero-intelligence) 하한선은 어떤 태스크도 해결하지 못하며 최대 0.44의 평균 배포 점수(Deployment Score)를 기록합니다. 준비 상태 검사는 해결되지 않은 313개 에피소드 중 110개를 차지하는 가장 큰 실패 단계입니다. 평균 해결률은 완전히 분리된 신규 구축 태스크 그룹보다 복구 태스크 그룹에서 30.7%포인트 더 높았으며, 모든 모델에서 양의 격차가 나타났고 10개 태스크는 7개 모델 모두 해결하지 못했습니다. 25개 태스크 대상의 사례 연구에서는 Claude-Sonnet-5를 지휘하는 한 명의 현직 엔지니어가 92%를 해결하여 자율 기준선(72%) 대비 우수한 성능을 보였습니다. FDE-Bench는 배포 성공 및 실패를 검사하고 재생할 수 있는 아티팩트와 연결합니다.