PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.18166v1cs.CR

CTI 보고서의 다중 레이블 ATT&CK 기법 분류를 위한 오픈소스 LLM 평가

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

MITRE Adversarial Tactics, Techniques, and Common Knowledge(ATT&CK)를 이용한 사이버 위협 인텔리전스(CTI) 분류는 선제적 방어에 필수적이지만, 역사적으로 광범위한 인적 노력이 필요했다. 대규모 언어 모델(LLM) 이전의 자동화는 이 과정을 가속했지만, 비구조화 CTI 보고서에서 발견되는 복잡한 언어와 다단계 공격 패턴을 해결하지 못했다. LLM은 맥락적 추론을 통해 비구조화 텍스트를 이해함으로써 이전의 한계를 해소했다. 그러나 현재 평가는 실제 CTI 보고서의 복잡성을 무시하는 단순화된 단일 기법 문장에 의존하며, 이는 종종 과대평가된 성능 결과로 이어진다. 결과적으로, 복잡한 비구조화 CTI 보고서에서 오픈소스 LLM의 기준선 성능은 아직 평가되지 않은 상태이다. 이 공백을 해소하기 위해, 우리는 83개의 복잡한 비구조화 CTI 보고서에서 2,076개의 인간 주석 문장(기법 양성 1,281개, 음성 795개)으로 구성된 정답(ground-truth) 데이터셋을 구축했다. 이 문장들은 6단계 주석 프로세스를 통해 114개의 고유 ATT&CK 기법에 매핑되었으며, 주석자 간 합의도 κ = 0.68을 달성했다. 이 데이터셋을 사용해, 프롬프트 전략과 temperature 구성에 걸쳐 8B부터 236B 매개변수까지 범위의 7개 오픈소스 LLM을 평가했다. 최고 성능 LLM은 micro-averaged F1 점수 0.22를 달성하여, 복잡한 비구조화 CTI에서의 다중 레이블 ATT&CK 분류에 대한 실증적 기준선을 확립했다. 매개변수 크기는 F1 점수와 통계적으로 유의한 양의 상관관계를 보였다. 프롬프트 전략과 temperature는 모델 구성 전반에 걸쳐 통계적으로 유의한 향상을 가져오지 않았다. 이 결과는 현재 오픈소스 LLM이 프로덕션 수준의 ATT&CK 분류에는 불충분함을 나타낸다. 데이터셋, 벤치마크, 그리고 연구 결과는 향후 CTI 연구를 위한 재현 가능한 기반을 제공한다.