대규모 언어 모델(LLM)이 Infrastructure-as-Code(IaC)를 작성하는 사례가 점점 늘고 있으며, 이 경우 안전하지 않은 기본값 하나가 그대로 프로덕션에 프로비저닝된다. 기존 평가는 모델별 취약점 수만 보고하므로, 모델이 자신이 보조하는 엔지니어보다 더 나쁜지 여부는 말해 주지 못한다. 본 논문은 GenIaC-SecBench를 제시한다. 이는 6개 벤더의 오픈 및 클로즈드 웨이트 모델 12개 구성에 걸친 100개 배포 시나리오로 이루어져 있으며, 세 가지 정책 엔진(Checkov, Trivy, KICS)이 완전한 커버리지로 스캔한 1,196개의 아티팩트를 산출한다. 무엇보다 동일한 툴체인으로 사람이 작성한 IaC 템플릿 634개를 스캔하여, 이 작업에 대한 최초의 크기 매칭(size-matched) 인간 보안 기준선을 확보했다. 취약점 밀도는 아티팩트 크기와 강한 역의 관계(Spearman $\rho=-0.55$, $p<10^{-77}$)를 보이므로, 크기를 맞추지 않은 비교는 보안이 아니라 크기를 측정하게 된다. 크기를 맞추면 모든 구성이 인간 기준선을 $3.21\times$에서 $3.87\times$ 초과하며, 과제가 단순할수록 격차가 커진다(리소스 1개에서 $4.9\times$, 20개 이상에서 $1.4\times$). 시나리오의 다수는 기능만 명시하는 데 그치지 않고 보안 상태까지 규정하므로, 프롬프트 유형별로 층화하였다. 전체를 합산하면 격차는 $3.50\times$이며, 안전하지 않은 구성을 명시적으로 요청하는 시나리오를 모두 제외하더라도 모든 구성이 기준선을 웃돈다($2.4\times$에서 $4.2\times$). 이 코퍼스는 프롬프트로 유도되지 않은 기본 보안 태세를 분리해 낼 수 없으며, 이 한계를 밝힌다. "추론"을 표준 생성, 프롬프트 기반 사고의 연쇄(Chain-of-Thought), 벤더의 extended-thinking API로 분해해 보면, extended thinking이 프롬프트 기반 CoT보다 우수한 반면($-12.0\%$, $p=0.0013$), 프롬프트 기반 CoT만으로는 표준 생성과 구별되지 않는다($-1.3\%$, 유의하지 않음). extended thinking은 출력 예산의 $1\%$ 미만만 사용하므로 그 효과의 범위가 제한된다. 두 가지 부정적 결과도 보고한다. 더 많이 배포 가능한 모델이 더 취약하지는 않으며($r=0.158$, $p=0.625$), 완전 사례(complete-case) Friedman 검정은 이 데이터에서 계산할 수 없어 Skillings-Mack 검정을 사용하게 된 동기가 된다. 모든 코드와 데이터를 공개한다.
자연어로부터 Infrastructure-as-Code(IaC)를 생성하려면 구문적으로 그럴듯한 설정을 만드는 것만으로는 부족하고, 프로바이더 스키마, 의존성 계획, 조직 정책 제약을 만족해야 한다. 본 연구는 Terraform 생성을 위한 7가지 에이전트형 전략에 대한 검증기 우선 실증 연구를 제시하며, Rego v1 의도 정책을 포함한 현대화된 186개 과제 AWS/Terraform 벤치마크 IaC-Eval v2에서 이를 평가한다. 평가는 실패를 세 가지 검증기 단계(terraform validate, terraform plan, opa eval)로 구분하고, 모든 쌍별 비교(n=186, alpha=0.05)에 McNemar 검정과 Wilson 신뢰구간을 적용한다. 다섯 가지 주요 발견을 보고한다. (1) MCP 또는 ChromaDB 기반 RAG를 갖춘 ReAct 에이전트를 통한 능동적 검색(active retrieval)은 Qwen2.5-Coder 7B의 pass@1을 14.0%에서 45.7%로 끌어올린다(p<0.0001). 주로 VALIDATE_FAIL을 144개 과제에서 66개로 줄였기 때문이다. (2) 검증기 피드백을 활용한 반복적 정제는 62.9%(Qwen 7B) 및 84.4%(GPT-4o) pass@1을 달성하며, 이진 수렴을 보인다 — 과제는 한 번의 재시도로 해결되거나 예산을 소진한다. (3) GEPA 반성적 인스트럭션 최적화는 단 80회의 검증기 안내 롤아웃만으로 Active RAG 기준선을 +7.5 pp 끌어올린다(p=0.026). 이는 프롬프트 최적화기가 가중치 업데이트 없이도 검증 가능한 IaC 생성을 개선할 수 있다는 증거를 제공한다. (4) SIMBA 교사 없는 시연 주입은 검색 인프라 없이 Active RAG와 동등한 성능을 달성한다(p=1.0)지만, 지배적인 SELF_DEFINED_PROPERTY 오류 클래스(실패의 50%)를 해결하지 못한다. (5) 진단적 Rego 주입 실험은 정제 후 OPA 실패의 79%가 정책 텍스트가 보일 때 해결 가능한 정보 격차 실패임을 보여준다(p=0.016), motivating policy
AI 소프트웨어 개발 에이전트는 인프라와 보안상 중요한 시스템을 수정할 수 있는 능력이 점점 커지고 있으며, 에이전트가 할당된 작업을 완료하면서 권한 확대, 로깅 저하, 지속성(persistence) 메커니즘 도입 등의 행동을 통해 안전장치를 은밀히 약화시키는 위험을 만들어 낸다. 최첨단 연구소는 정교한 모니터링 파이프라인을 배포할 수 있지만, 코딩 에이전트를 도입하는 많은 조직과 개인 사용자는 복잡한 학습 기반 모니터 앙상블을 유지하는 데 필요한 자원과 거버넌스 성숙도를 갖추지 못한다. 우리는 ControlArena의 인프라-as-code(infrastructure-as-code) 설정에서 작업 성공 하의 인프라 수준 사보타지(sabotage) 문제로 이를 연구하고, 동기 및 비동기 배포 모드에서 학습된 모니터와 학습되지 않은 모니터를 비교한다. 우리는 제어 흐름(control-flow) 및 데이터 흐름(data-flow) 그래프 diff와 원시 코드 diff를 함께 사용하여 구조적 보안 퇴화(regression)를 분석하는 정보 흐름 그래프(Information Flow Graph, IFG) 모니터를 제안한다. 비동기 평가에서, 학습되지 않은 git diff 모니터는 1% 거짓 양성률(false positive rate) 감사 예산에서 11.6%의 공격을 놓치며, 학습되지 않은 IFG 모니터는 이를 3.5%로 줄이고, 학습된 Async RF 모니터는 1% 미만을 달성한다. 학습된 Async RF 모니터와 달리, IFG는 실행 또는 병합 전에 의심스러운 인프라 변경을 차단하는 사전 배포(pre-deployment) 안전장치로 동기적으로도 작동할 수 있다. 동기 모드에서 IFG의 실시간 롤백(rollback)은 합법적인 작업 완료에 측정 가능한 감소 없이, 주요 작업과 은밀한 작업의 결합 성공률을 74.4%에서 0.0%로 줄인다. 이러한 결과는 학습되지 않은 구조적 모니터가 고급 AI 에이전트의 신뢰할 수 있는 도입을 추구하는 조직을 위해 배포 안전성을 대중화하는 실용적이고 감사 가능한 경로를 제공함을 시사한다.