PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.02964v2cs.CL

Less Data, More Security: Advancing Cybersecurity LLMs Specialization via Resource-Efficient Domain-Adaptive Continuous Pre-training with Minimal Tokens

범용 대규모 언어 모델(LLM)의 사이버보안 도메인 지식 부족 문제를 해결하기 위해, 도메인 적응 연속 사전학습(DAP)을 Llama-3.1-8B, DeepSeek-R1-Distill-Qwen-14B, Llama-3.3-70B-Instruct 세 모델에 분산 FSDP 파이프라인으로 적용했다. 1억 2,600만 단어 규모의 사이버보안 코퍼스(118.8M 토큰)만으로 CTI-MCQ, CyberMetric, SecEval 벤치마크에서 최대 50억 토큰으로 학습된 Foundation-Sec-8B 등 기존 특화 모델을 능가하는 최고 성능을 달성해, 학습 데이터를 23~42배 줄이면서도 효과적인 도메인 특화가 가능함을 입증했다.

arXiv:2607.02118v1cs.AI

Enhancing Fitness Intelligence through Domain-Specific LLM Post-Training

과학적 피트니스 코칭(SFC)에 특화된 대규모 언어 모델(LLM) 시리즈인 FitOne(8B, 32B)을 Qwen3 기반으로 구축하여, 지속적 사전학습·지도 파인튜닝·강화학습의 3단계 사후학습 파이프라인을 적용하였다. ACSM-EP 및 NSCA-CSCS 전문 자격시험에서 기반 모델 대비 최대 12.73% 향상된 성능을 달성하면서도 일반 역량을 유지함을 실험으로 검증하였다.