redteamleaders.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.22664v1cs.CR

자율 침투 테스트 하네스에서 역량에서 보증으로: 프레임워크와 참조 구현

From Capability to Assurance in Autonomous Penetration-Testing Harnesses: A Framework and Reference Implementation

침투 테스트를 위한 대규모 언어 모델 에이전트 연구는 거의 전적으로 역량(capability)으로 평가된다. 즉, 에이전트가 플래그를 획득하는지 또는 개념 증명(proof of concept)을 재현하는지 여부이다. 그 지표는 벤치마크에는 적합하지만, 승인된 수행(authorized engagement)에서 자율 에이전트를 사용할 수 있는지를 가르는 성질—보고된 발견이 사실인지, 에이전트가 승인된 범위 안에 머물렀는지, 운영자가 그 행위를 감사(audit)할 수 있는지—에는 말을 하지 않는다. 우리는 이러한 것을 보증(assurance) 속성이라 부르며, 이는 모델을 감싸는 런타임인 하네스(harness)에 속하며 코드로 강제할 수 있다고 주장한다. 본 논문은 세 가지 기여를 한다. 첫째, 다섯 가지 보증 속성(증거 그라운딩(evidence grounding), 비파괴적 주장 축소(non destructive claim reduction), 계산된 심각도(computed severity), 강제된 승인(enforced authorization), 변조 방지 책임(tamper evident accountability))으로 구성된 프레임워크를 정의한다. 각 속성에는 형식 모델과 명시적 수용 테스트(acceptance test)가 있으며, 역량 기반 보안(capability based security), 변조 방지 로깅(tamper evident logging), 소프트웨어 출처(provenance)의 선행 연구와 연결된다. 둘째, 대표 시스템(PentestGPT, Cochise 참조 하네스, MAPTA, 궤적 판정기 PentestJudge)을 공개된 코딩 기준에 따라 프레임워크 안에 배치하고, 일관된 보증 격차(assurance gap)를 식별한다. 셋째, NeuroSploit이라는 하나의 오픈소스 구현을 정확한 커밋에 고정(pin)하여 아키텍처, 복잡도 비용, 공개 의도적 취약 대상에 대한 실행으로부터 얻은 콘텐츠 주소(content addressed) 아티팩트 번들을 보고한다. 우리는 결정적(deterministic) 승인 및 감사 수용 테스트를 직접 실행하여 실제 강제 격차(enforcement gap)를 발견·보고하며, 두 속성 모두 부분(partial) 점수로 반영한다. 따라서 우리는 비교 성능 결과가 아니라, 이 속성들이 함께 실현 가능하다는 초기 존재 논증(existence argument)을 주장하고, 프레임워크 의무를 측정으로 전환하는 데 필요한 다중 대상(multi target), ablation, 적대적(adversarial) 평가 프로토콜을 명시한다.