arXiv:2606.18190v1 cs.CR

다중 소스 사이버보안 로그: ATT&CK 라벨 데이터셋과 SLM 평가

Multi-Source Cybersecurity Logs: An ATT&CK-Labeled Dataset and SLM Evaluation

Abir Ashab Niloy, Ahmed Ryan, Imamul Hossain Rafi, Md Erfan, Md Rayhanur Rahman

제출 2026-06-16

한국어 초록

다단계 사이버 공격은 시스템, 네트워크, 브라우저 로그에 걸쳐 발생한다. 이를 탐지하려면 세 소스 전체에 걸친 이벤트를 상관 분석해야 한다. 머신러닝 방법은 이러한 교차 소스 패턴을 학습할 수 있지만, 라벨이 붙은 다중 소스 데이터가 필요하다. 기존 공개 데이터셋은 이를 충족하지 못한다. CICIDS, UNSW-NB15와 같은 네트워크 전용 데이터셋은 호스트 및 브라우저 활동을 포함하지 않는다. LMDG, CICAPT-IIoT와 같은 호스트 중심 데이터셋은 브라우저 텔레메트리가 없다. ATLAS는 세 소스를 모두 포함하지만 이벤트를 악성/정상으로만 라벨링하며, MITRE 적대적 전술·기법 및 공통 지식(MITRE Adversarial Tactics, Techniques, and Common Knowledge, ATT&CK) 기법 수준의 세분화가 없다. 세 소스를 모두 포함하면서 항목별 ATT&CK 기법 라벨을 제공하는 공개 데이터셋은 없다. 우리는 870개 세션(공격 70, 정상 800)과 약 230만 개 이벤트로 구성된 다중 소스 로그 데이터셋을 구축하여 이 간극을 메운다. Windows 엔드포인트에서 시스템, 네트워크, 브라우저 활동을 동시에 수집했다. 악성 이벤트에는 ATT&CK 기법 ID로 라벨을 부여했으며, 12개 전술과 53개 기법을 포함한다. 원격 접근 트로이목마(Remote Access Trojan, RAT), 명령 및 제어(Command and Control, C2) 터널, 클라우드 유출 등 실제 도구를 사용하여 모든 공격 데이터를 생성했다. 학습 가능성을 입증하기 위해, 저랭크 적응(Low-Rank Adaptation, LoRA)을 사용하여 세 가지 소형 언어 모델(Small Language Model, SLM)(Qwen2.5-1.5B, Llama-3.2-3B, Phi-4-Mini)을 미세조정했다. 두 가지 과제—청크 분류 및 ATT&CK 기법 식별—에서 10개 지표에 걸쳐 각 모델을 기본 변형과 비교했다. 미세조정은 모든 지표에서 모든 모델의 성능을 향상시켰다. 청크 분류 정확도는 기본 변형에서 약 8%에서 미세조정 후 90%에서 97% 사이로 상승했다. 기법 식별은 여전히 어려웠으며, 최고의 정확 일치(exact-match) 정확도는 42%였지만, 높은 부분 일치(partial-match) 점수는 모델이 기저 추론의 대부분을 포착했음을 보여준다.

원문 초록

Multi-stage cyberattacks span system, network, and browser logs. Detecting them requires correlating events across all three sources. Machine learning methods can learn these cross-source patterns, but they need labeled multi-source data. Existing public datasets fall short. Network-only datasets such as CICIDS and UNSW-NB15 miss host and browser activity. Host-focused datasets such as LMDG and CICAPT-IIoT lack browser telemetry. ATLAS includes all three sources but labels events only as malicious or benign, without MITRE Adversarial Tactics, Techniques, and Common Knowledge (ATT&CK) technique granularity. No public dataset combines all three sources with per-entry ATT&CK technique labels. We close the gap by building a multi-source log dataset of 870 sessions (70 attack, 800 benign) and approximately 2.3 million events. We captured system, network, and browser activity simultaneously on Windows endpoints. We labeled malicious events with ATT&CK technique IDs, covering 12 tactics and 53 techniques. We generated all attack data using real tools, including Remote Access Trojan (RAT), Command and Control (C2) tunnels, and cloud exfiltration. To demonstrate learnability, we fine-tuned three Small Language Models (SLMs) (Qwen2.5-1.5B, Llama-3.2-3B, Phi-4-Mini) using Low-Rank Adaptation (LoRA). We compared each against its base variant across ten metrics on two tasks: chunk classification and ATT&CK technique identification. Fine-tuning improved every model on every metric. Chunk classification accuracy rose from approximately 8% in the base variants to between 90% and 97% after fine-tuning. Technique identification remained challenging, with the best exact-match accuracy at 42%, although high partial-match scores show the models captured most of the underlying reasoning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18190v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15732v1cs.CL공통 태그 Text Classification, Benchmarking

NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크

NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.

arXiv:2610.15818v1cs.LG공통 태그 Anomaly Detection, Benchmarking

실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹

Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry

현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.

arXiv:2610.15870v1cs.CL공통 태그 Text Classification, Benchmarking

검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가

Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh

AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.

arXiv:2610.13583v1cs.CL공통 태그 Text Classification, Benchmarking

기계 생성 텍스트 탐지기의 아티팩트 의존성 측정

Measuring Artifact Reliance in Machine-Generated Text Detectors

기계 생성 텍스트 탐지기는 과학 문헌 벤치마크에서 거의 완벽한 점수를 기록하는데, 이는 이러한 탐지기로 인간이 작성한 문서와 기계가 생성한 문서를 신뢰성 있게 구별할 수 있음을 암시한다. 우리는 여섯 개의 널리 사용되는 자료원에서 추출한 열 개의 과학 문서 서브셋을 살펴보았으며, 그중 여러 서브셋에서는 이러한 겉보기의 용이함이 문서가 구성된 방식에서 비롯된 부수 효과임을 확인했다. 27개의 표면적 특징(superficial feature)을 사용한 로지스틱 회귀(logistic regression)는 0.833-0.997의 매크로(macro) F1을 기록했으며, 세 개의 arXiv 서브셋에서는 우리가 평가한 모든 탐지기를 능가하여 0.951-0.997의 F1 점수를 보였다. 탐지기에 가장 강력한 단서는 PDF 추출 아티팩트(artifact)이다: 인간이 작성한 텍스트는 원래의 줄 바꿈을 유지하는 반면, 생성된 텍스트는 단일한 연속된 문장 블록으로 추출된다. 이 단서는 다른 세 가지 서식 특징과 함께 0.996의 AUC로 두 클래스를 구별해낸다. 이러한 신호를 포함하는 벤치마크와 그 신호에 의존하는 탐지기를 구별하기 위해, 우리는 서식 반사실(format counterfactual)을 도입한다: 단 한 단어도 바꾸지 않고 기계가 작성한 초록을 다시 줄바꿈하는 것만으로도 공개된 한 탐지기의 정확한 판단 중 20-27%가 뒤바뀐다. 학습 전에 서식을 정규화(normalizing)하면 일반화 격차(generalization gap)가 0.32에서 0.22로 줄어든다. 서식이 정제된 벤치마크에서는, 아티팩트가 포함된 서브셋으로 학습된 탐지기의 도메인 외(out-of-domain) 매크로 F1 또한 0.33에서 0.65로 향상된다.

arXiv:2610.10613v1cs.LG공통 태그 Anomaly Detection, Intrusion Detection

이상 탐지를 위한 연합 경량 헤드 기반 시계열 트랜스포머 CAN 인코더

Temporal transformer CAN encoder with federated lightweight heads for anomaly detection

현대 차량은 CAN(Controller Area Network) 버스를 통해 지속적으로 정보를 교환하는 수많은 전자제어장치(ECU)에 의존합니다. 이러한 통신의 신속성, 구조, 반복성으로 인해 타이밍, 페이로드 값, 메시지 패턴의 미세한 변화조차도 비정상적인 활동을 나타낼 수 있습니다. 오류, 오작동, 의도적인 간섭 등 원인에 관계없이 이러한 이상 현상은 매우 미묘하여, 메시지를 개별적으로 처리하거나 수작업으로 생성된 규칙에 의존하는 기존 방식으로는 식별하기 어렵습니다. 이러한 한계점을 해결하기 위해, 본 논문에서는 이러한 불규칙성을 더 효과적으로 포착할 수 있도록 연합 경량 헤드를 갖춘 시계열 트랜스포머 CAN 인코더 기반의 차량 내 네트워크 이상 탐지용 프라이버시 보존 프레임워크를 제안합니다. 이 신호들이 시간에 따라 어떻게 변화하는지 학습하는 경량 트랜스포머 인코더를 통해 미묘한 시계열 및 문맥적 이상 현상의 탐지가 가능해지며, 연합학습(federated learning) 메커니즘을 통해 여러 차량이나 ECU가 원시 CAN 데이터를 교환하지 않고도 협력하여 공유 모델을 개선할 수 있습니다. 오픈소스 데이터셋을 대상으로 수행한 실험에 따르면, 이러한 연합학습과 시계열 시퀀스 모델링의 결합은 효율성과 프라이버시를 유지하면서도 견고한 이상 탐지 성능을 제공합니다.

arXiv:2610.02552v1cs.CR공통 태그 Anomaly Detection, Intrusion Detection

동기화에서 벗어나 시야에서 사라지다: 산업용 사물인터넷(IIoT) 침입 탐지를 겨냥한 유령 상태 공격

Out of Sync, Out of Sight: Phantom State Attacks against IIoT Intrusion Detection

머신러닝 기반 침입 탐지 시스템(IDS)은 산업용 사물인터넷(IIoT) 환경의 보안을 유지하는 데 매우 중요합니다. 이에 대응하는 대부분의 적대적 공격 연구는 특징(feature) 벡터나 이를 생성하는 트래픽을 섭동(perturbation)하며, 그래디언트(gradient) 접근, 반복적인 모델 쿼리, 또는 정상 트래픽에 대해 학습된 모델에 의존합니다. 일부 연구에서는 탐지기에 쿼리하지 않고 패킷 타이밍을 재구성하기도 하지만, 악성 트래픽이 정상 타이밍의 학습된 모델을 모방하도록 만듭니다. 이러한 접근법 전반에서 산업 모니터링 파이프라인의 중요한 가정 하나가 거의 주목받지 못했는데, 바로 시간 동기화(temporal synchronization)입니다. IDS는 텔레메트리를 슬라이딩 또는 텀블링 윈도우로 집계하여 운영 상태를 재구성하므로, IDS의 관점은 무엇이 관측되었는지뿐만 아니라 각 관측치가 윈도우 경계와 비교하여 언제 발생하는지에도 의존합니다. 본 논문에서는 수동적이고 쿼리가 없는(zero-query) 위협 모델 하에서 이러한 의존성을 악용하는 유령 상태 공격(Phantom State Attack, PSA)을 소개합니다. PSA는 패킷을 수정하거나, 특징을 섭동하거나, 분류기에 쿼리하거나, 정상 트래픽 모델을 피팅하는 대신, 공격 흐름 자체의 패킷 도착 간 변동성에 맞춰 보정된 유계 타이밍 드리프트(bounded timing drift)를 주입하여 관측치를 가장 가까운 윈도우 경계 너머로 필요한 최소한의 이동량만큼 이동시킵니다. 그러면 IDS는 실제 프로세스 상태와 다른 유령 상태(phantom state)를 재구성하게 됩니다. 저자들은 ToN-IoT 및 CIC IIoT 2025(DataSense) 데이터셋에서 Random Forest, MLP, XGBoost를 대상으로 PSA를 평가하고, 탐지 성능 저하, 동기화 왜곡, 은닉성, 공격자 비용을 측정했습니다. PSA는 윈도우 경계 재배치가 가능할 만큼 충분한 패킷을 가진 플로우에서는 탐지 성능을 저하시키고 다른 플로우는 거의 변화시키지 않으므로 그 효과는 조건부입니다. 쿼리 기반 기준선(baseline)은 더 높은 원시 성공률에 도달하지만 윈도우당 많은 쿼리를 필요로 하는 반면, PSA는 쿼리를 전혀 필요로 하지 않습니다. 본 결과는 시간적 집계(temporal aggregation)가 기존 회피 기법보다 더 완화된 가정 하에서도 도달 가능한 공격 표면임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.