대규모 언어 모델 보안 도구 오케스트레이션의 결정 요인과 한계: HexStrike-AI를 활용한 연구
Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI
Model Context Protocol을 통해 보안 도구 스위트를 구동하는 대규모 언어 모델(LLM) 에이전트의 사용이 점점 보편화되고 있다. 그러나 이들의 능력을 제한하는 요인들은 아직 충분히 규명되지 않았다: 능력이 모델 자체와 이를 구동하는 클라이언트 중 어느 쪽에 더 의존하는지, 에이전트를 오케스트레이터 자체 도구로 제한하는 것이 도움이 되는지, 그리고 능력의 한계가 도구 부재보다 추론에서 비롯되는지가 그 예이다. 150개 이상의 도구를 제공하는 오픈소스 오케스트레이터인 HexStrikeAI를 테스트베드로 삼아, 시스템을 평가하고 실패를 진단하며 목표 지향적 개선을 적용하는 방법론을 따른다. 3가지 도구 접근 방식과 3가지 모델/클라이언트 구성 하에서 7개 카테고리와 3가지 난이도 수준에 걸친 86개의 picoCTF 챌린지를 실행한다(총 774회 시험). 이후 기존 도구의 수정, 에이전트 행동 변경, 11개의 새로운 기능 도구를 적용하고, 이전에 실패했던 시험들을 재실행한다. 진단 결과, 고정된 모델에 대해 구동 클라이언트가 1차 요인으로 분리되었으며(두 DeepSeek 클라이언트 간 2.1배 격차), 단조로운 난이도 그래디언트가 나타났고, 중간 난이도 수준에서 가장 큰 향상이 확인되었다. 전체 해결률은 55.4%에서 72.0%로 상승하였으며, 모든 구성에서 유의미한 개선이 나타났다(대응 McNemar p < 0.001, 비중첩 95% 신뢰 구간). 잔여 실패는 도구 부재보다 추론 또는 환경에 기인한다. 60회 실행 안정성 하위 연구에서 단일 실행 판정이 재현 가능한 것으로 확인되었다(17/20 만장일치). 이러한 오케스트레이터를 평가하는 방법에 대한 결과의 함의를 논의하며, 한계를 명시한다: 본 연구는 단일 벤치마크를 사용하고, 수정 사항은 평가된 동일한 챌린지에 맞게 조정되었으며, 클라이언트 효과는 하나의 모델에 대해서만 입증되었으므로 다른 모델로의 일반화 가능성은 가설로 남아 있다.