자율형 대규모 언어 모델(LLM) 에이전트(agent)는 취약점 탐지를 저장소 규모의 탐색으로 전환합니다. 이들은 수많은 취약점 가설을 생성하지만 한정된 예산 내에서는 그중 일부만을 검증할 수 있습니다. 본 연구에서는 자율형 취약점 탐지가 가설-검증 비대칭성을 보이며, 도달 가능성 분석, 실행 및 개념 증명(PoC) 구축을 통해 후보 가설을 검증하는 비용이 가설을 수립하는 비용보다 훨씬 크다는 점을 보입니다. 한정된 자원 예산 하에서 이는 자율 탐지를 자원 제약적 선택적 검증 과정으로 만들며, 나아가 검증에 드는 노력을 고유한 방어 표면으로 노출시킵니다. 본 논문에서는 검증 노력을 실제 취약점으로부터 분산시키는, 증명 가능하게 안전한 미끼를 삽입하는 RedHerring을 제시합니다. 각 미끼는 검증을 유도하는 CVE 유래 취약점 체인과 위험한 싱크(sink)에 도달할 수 없도록 유지하는 거짓 브리지(false bridge)를 결합합니다. 방어자는 비공개 인증서를 통해 이 특성을 효율적으로 검증할 수 있는 반면, 공개된 저장소로부터 동일한 사실을 밝혀내는 것은 계산적으로 어려운 문제를 해결해야 합니다. RedHerring은 나아가 각 미끼를 대상 저장소에 맞게 조정하여 일반적인 프로그램 로직처럼 읽히도록 합니다. 33개의 OSS-Fuzz 프로젝트, 70개의 평가(evaluation) 인스턴스, 동일한 예산 하의 5개 모델에 걸쳐 RedHerring은 탐지되는 실제 취약점을 38.7~60.4% 감소시킵니다. 궤적 분석 결과 에이전트는 완료 토큰(token)의 30.6~51.5%와 예상 실행 시간의 32.5~49.9%를 미끼를 검증하는 데 소비하는 것으로 나타나, RedHerring이 고정된 탐색 예산의 상당 부분을 미끼로 전환함을 보여줍니다. 미끼가 존재할 수 있음을 명시적으로 인지했을 때 에이전트는 탐색 전략을 조정하지만, 그럼에도 RedHerring은 정보를 인지한 기준선(baseline) 대비 발견된 취약점을 37.2% 감소시켜 미끼의 은닉 여부에 효과가 좌우되지 않음을 입증합니다.
AI 펜테스팅 에이전트는 공격적 보안 시스템으로서 신뢰도가 점점 높아지고 있지만, 현재 벤치마크는 여전히 실제 환경 대상에서 어떤 에이전트가 가장 우수한 성능을 낼지에 대한 제한적인 가이던스만 제공한다. 기존 평가 프로토콜은 단순화되었거나 협소한 설정에서 캡처 더 플래그(capture-the-flag), 원격 코드 실행(remote code execution), 익스플로잇 재현(exploit reproduction), 또는 궤적 유사성(trajectory similarity)과 같은 사전 정의된 목표를 평가하고 최적화한다. 이러한 도구들은 제한된 역량을 측정하는 데 가치가 있으나, 현실적인 펜테스팅에 요구되는 복잡성, 개방형 탐험, 그리고 전략적 의사결정을 충분히 포착하지 못한다. 본 논문에서는 평가를 과제 완료에서 검증된 취약점 발견으로 전환하는 실용적인 평가 프로토콜을 제시하며, 이를 통해 여러 공격 표면과 취약점 유형에 걸쳐 충분히 복잡한 대상에서 평가를 가능하게 한다. 이 프로토콜은 취약점 식별을 위해 구조화된 그라운드 트루스(ground-truth)와 LLM 기반 의미 매칭을 결합하고, 현실적인 모호성 하에서 발견 결과를 채점하기 위한 이분 해석(bipartite resolution), 지속적인 그라운드 트루스 유지보수, 확률적 에이전트의 반복 및 누적 평가, 효율성 지표, 그리고 지속 가능한 실험을 위한 축소 스위트 선택을 포함한다. 이 프로토콜은 AI 펜테스팅 에이전트의 보다 현실적이고 운영적으로 유익한 비교를 가능하게 함으로써 최신 기술 수준을 확장한다. 재현 가능성을 위해 제안된 평가 프로토콜에 대한 전문가 주석 그라운드 트루스와 코드도 공개한다: https://github.com/ethiack/ethibench.
대규모 코드베이스에서의 자동화된 취약점 발견은 여전히 어려운 과제입니다. 전통적인 정적 분석은 높은 오탐율을 생성하고, 퍼징(fuzzing)과 같은 동적 접근법은 상당한 인프라를 필요로 하며 종종 좁은 범위의 버그만을 대상으로 합니다. 대규모 언어 모델(LLM)의 최근 발전은 프로그램 동작에 대한 의미론적 추론을 가능하게 하지만, 저장소 규모의 보안 분석에 LLM을 적용하는 것은 컨텍스트 관리, 비용, 검증과 관련된 문제를 야기합니다. 우리는 정적 프로그램 분석을 다단계 파이프라인에서 LLM 기반 추론과 통합하는 오픈소스 취약점 발견 시스템인 OpenAnt를 소개합니다. OpenAnt는 세 가지 핵심 기술을 도입합니다. 첫째, 코드베이스는 외부 진입점으로부터의 도달 가능성에 따라 필터링된 자체 포함 분석 단위로 분해되어, 공격 관련 코드를 보존하면서 분석 대상 범위를 최대 97%까지 감소시킵니다. 둘째, 후보 취약점은 제한된 공격자 시뮬레이션을 통해 적대적 검증을 거치며, 여기서 모델은 현실적인 공격자 능력 하에서 악용 가능성을 평가합니다. 셋째, 발견 사항은 동적 검증을 통해 검증되며, 여기서 익스플로잇 환경은 자동으로 생성되고 샌드박스 컨테이너에서 실행된 후 사용 후 폐기됩니다. OpenSSL, WordPress, Flowise를 포함한 널리 사용되는 오픈소스 프로젝트에 대한 평가 결과, 이 아키텍처는 관리 가능한 분석 비용을 유지하고 오탐을 실질적으로 줄이면서 이전에 알려지지 않은 취약점을 식별할 수 있음을 보여줍니다. 우리의 결과는 의미론적 추론과 익스플로잇 검증을 결합한 폐루프(closed-loop) 취약점 발견 파이프라인이 확장 가능한 자동화된 보안 분석을 위한 실용적인 경로를 제공함을 시사합니다. OpenAnt는 Apache 2.0 라이선스 하에 https://github.com/knostic/OpenAnt에서 오픈소스로 공개됩니다.
바이너리 리버싱은 소프트웨어 이해, 취약점 발견, 악성코드 조사, 펌웨어 감사에 필수적입니다. 그러나 컴파일 과정에서 의미 정보가 되돌릴 수 없는 손실(loss)이 발생하기 때문에 본질적으로 어려운 작업으로 남아 있습니다. 최근 기계학습, 대규모 언어 모델(LLM), 에이전트형 AI 시스템의 발전은 AI 증강 바이너리 리버싱의 도입을 가속화했습니다. 하지만 그 결과로 나온 연구들은 리버싱 도메인, 아티팩트 표현, 학습 접근 방식, 평가 관행에 걸쳐 점점 더 파편화되었습니다. 이 논문은 AI 증강 바이너리 리버싱에 대한 최초의 포괄적인 지식 체계화를 제시합니다. 우리는 2015년 이후 발표된 144편의 연구 논문을 분석하고, 이를 추론(inference) 작업에 따라 22개의 바이너리 리버싱 도메인으로 분류했습니다. 또한, 기존 및 AI 증강 리버싱 파이프라인을 아우르는 통합된 분류 체계(taxonomy)를 소개합니다. 우리의 분류 체계는 전통적인 분석 기법, 바이너리 파생 아티팩트, 표현 전략, 학습 패러다임, 그리고 다운스트림 추론 작업을 연결하며, LLM과 에이전트형 AI 시스템의 부상하는 역할을 명확히 합니다. 공통된 어휘와 구조화된 프레임워크를 수립함으로써, 우리는 지난 10년간 이 분야의 진화에 대한 전체적인 관점을 제공합니다. 우리의 연구는 겉보기에 이질적인 접근 방식들에 내재된 공통 구조를 밝혀내고, 지속적인 기술적 과제와 평가의 공백을 강조하며, 미래 연구를 위한 유망한 기회를 식별합니다. 이러한 통찰력을 종합하면 현재 분야의 현황을 명확히 하고, 신뢰할 수 있고 확장 가능한 차세대 AI 증강 바이너리 리버싱 시스템을 위한 기반을 마련할 수 있습니다.