에이전트가 생성하고, 우리가 검증한다: 에이전틱 아티팩트 생성을 위한 경량 프레임워크
The agent creates, we validate: A Lightweight Framework for Agentic Artifact Generation
대규모 언어 모델(LLM)로 구조화된 아티팩트(예: 데이터베이스 쿼리, 위협 프레임워크 매핑, 엔티티 스키마)를 생성하는 것은 비교적 간단하지만, 프로덕션 배포에 충분히 신뢰할 수 있는 수준으로 만드는 것은 과제를 수반한다. 우리는 핵심 원칙에 기반한 경량 프레임워크를 제시한다: LLM이 생성하고, 우리가 검증한다. 이러한 재구성은 책임을 생성 품질에서 검증 엄밀성으로 전환한다. 이 프레임워크는 세 가지 핵심 속성에 기반한다. 첫째, 테스트 주도 생성(test driven generation): 테스트가 실패하면 LLM은 출력이 실패한 이유를 드러내는 지시적 오류 메시지를 수신하여, LLM이 자신의 실수를 이해하고 후속 시도를 개선할 수 있도록 한다. 둘째, 결정론적 테스트와 LLM 기반 테스트: 결정론적 테스트는 프로그래밍 방식으로 검증 가능한 휴리스틱(스키마, 구문, 상호 참조)을 포착하고, LLM 기반 테스트는 프로그래밍 방식의 검사에 저항하는 미묘한 의미론적·정교한 특성(의도 정렬, 논리적 일관성, 도메인 정확성)을 평가한다. 셋째, 전문가 지식이 증류된 판정자(expert-distilled judges): LLM 기반 테스트는 인간 전문가의 의사결정 분포를 증류하고 재현하도록 보정되어, 수동 인간 품질 게이트를 전문가 수준의 검증 기준을 반영하는 확장 가능하고 재사용 가능한 평가 프록시로 전환한다. 우리는 Microsoft Sentinel에서 프로덕션 배포된 보안 도메인의 세 가지 아티팩트 유형—KQL 쿼리 생성, MITRE ATT&CK 매핑, 엔티티 매핑—에서 이 프레임워크를 시연한다. 우리는 이 프레임워크가 보안을 넘어 다른 아티팩트 생성 작업에도 적용될 수 있으며, LLM 생성의 효율성 이점을 희생하지 않고 신뢰할 수 있는 고품질 출력에 이르는 경로를 제공한다고 믿는다.