iimk.edu.in

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.28021v2cs.CR

무엇과 비교할 것인가? LLM이 생성한 Infrastructure-as-Code를 위한 인간 기준 보안 벤치마크

Compared to What? A Human-Anchored Security Benchmark for LLM-Generated Infrastructure-as-Code

대규모 언어 모델(LLM)이 Infrastructure-as-Code(IaC)를 작성하는 사례가 점점 늘고 있으며, 이 경우 안전하지 않은 기본값 하나가 그대로 프로덕션에 프로비저닝된다. 기존 평가는 모델별 취약점 수만 보고하므로, 모델이 자신이 보조하는 엔지니어보다 더 나쁜지 여부는 말해 주지 못한다. 본 논문은 GenIaC-SecBench를 제시한다. 이는 6개 벤더의 오픈 및 클로즈드 웨이트 모델 12개 구성에 걸친 100개 배포 시나리오로 이루어져 있으며, 세 가지 정책 엔진(Checkov, Trivy, KICS)이 완전한 커버리지로 스캔한 1,196개의 아티팩트를 산출한다. 무엇보다 동일한 툴체인으로 사람이 작성한 IaC 템플릿 634개를 스캔하여, 이 작업에 대한 최초의 크기 매칭(size-matched) 인간 보안 기준선을 확보했다. 취약점 밀도는 아티팩트 크기와 강한 역의 관계(Spearman $\rho=-0.55$, $p<10^{-77}$)를 보이므로, 크기를 맞추지 않은 비교는 보안이 아니라 크기를 측정하게 된다. 크기를 맞추면 모든 구성이 인간 기준선을 $3.21\times$에서 $3.87\times$ 초과하며, 과제가 단순할수록 격차가 커진다(리소스 1개에서 $4.9\times$, 20개 이상에서 $1.4\times$). 시나리오의 다수는 기능만 명시하는 데 그치지 않고 보안 상태까지 규정하므로, 프롬프트 유형별로 층화하였다. 전체를 합산하면 격차는 $3.50\times$이며, 안전하지 않은 구성을 명시적으로 요청하는 시나리오를 모두 제외하더라도 모든 구성이 기준선을 웃돈다($2.4\times$에서 $4.2\times$). 이 코퍼스는 프롬프트로 유도되지 않은 기본 보안 태세를 분리해 낼 수 없으며, 이 한계를 밝힌다. "추론"을 표준 생성, 프롬프트 기반 사고의 연쇄(Chain-of-Thought), 벤더의 extended-thinking API로 분해해 보면, extended thinking이 프롬프트 기반 CoT보다 우수한 반면($-12.0\%$, $p=0.0013$), 프롬프트 기반 CoT만으로는 표준 생성과 구별되지 않는다($-1.3\%$, 유의하지 않음). extended thinking은 출력 예산의 $1\%$ 미만만 사용하므로 그 효과의 범위가 제한된다. 두 가지 부정적 결과도 보고한다. 더 많이 배포 가능한 모델이 더 취약하지는 않으며($r=0.158$, $p=0.625$), 완전 사례(complete-case) Friedman 검정은 이 데이터에서 계산할 수 없어 Skillings-Mack 검정을 사용하게 된 동기가 된다. 모든 코드와 데이터를 공개한다.