Less Data, More Security: Advancing Cybersecurity LLMs Specialization via Resource-Efficient Domain-Adaptive Continuous Pre-training with Minimal Tokens
범용 대규모 언어 모델(LLM)의 사이버보안 도메인 지식 부족 문제를 해결하기 위해, 도메인 적응 연속 사전학습(DAP)을 Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B, Llama-3.3-70B-Instruct 세 모델에 분산 FSDP 파이프라인으로 적용했다. 1억 2,600만 단어 규모의 사이버보안 코퍼스(118.8M 토큰)만으로 CTI-MCQ, CyberMetric, SecEval 벤치마크에서 최대 50억 토큰으로 학습된 Foundation-Sec-8B 등 기존 특화 모델을 능가하는 최고 성능을 달성해, 학습 데이터를 23~42배 줄이면서도 효과적인 도메인 특화가 가능함을 입증했다.