암호화된 C2 탐지를 위한 다중 뷰 융합: 평가 함정에 대한 데이터 누출 통제 측정 연구
Multi-View Fusion for Encrypted C2 Detection: A Leakage-Controlled Measurement Study of Evaluation Pitfalls
한국어 초록
명령 및 제어(C2) 트래픽이 점차 TLS 내에 숨어들면서, 방어자들은 이제 트래픽 메타데이터에 머신러닝을 적용하고 있다. 많은 연구에서는 플로우 통계와 TLS 핸드셰이크 핑거프린트라는 두 가지 메타데이터 뷰를 결합하면 정확도와 견고성이 모두 향상된다고 가정한다. 본 연구에서는 62개의 실제 Cobalt Strike 캡처에서 추출한 17,577개의 TLS 플로우를 대상으로 이 가정을 검증했다. 우리의 평가는 지나치게 낙관적으로 보고된 점수를 초래하는 데이터 누출(data leakage)을 제거한다. 우리는 융합 결과 자체보다 더 중요한 세 가지 발견 사항을 보고한다. 첫째, 잘못된 전처리 단계로 인해 F1 점수가 0.28 증가한다. 이 단계는 각 교차 검증(cross-validation) 폴드 내에서가 아니라 전체 데이터셋에 걸쳐 빈도 인코딩을 계산한다. 이 증가는 우리가 측정한 실제 효과보다 약 10배 더 크다. 둘째, 라벨과 행동 특징(feature) 모두 목적지 주소에 의존한다. 이로 인해 17,577개의 플로우는 2,132개의 독립적인 그룹만을 형성하며, 균형 잡힌 것처럼 보이던 55.1%의 양성 비율은 4.2%로 떨어진다. 따라서 클래스 균형은 플로우를 세는지 아니면 엔드포인트를 세는지와 같이 데이터를 어떻게 분석하는지에 따른 결과일 뿐, 과제의 실제 특징이 아니다. 셋째, 62개 캡처 중 20개(32%)에는 알려진 C2 주소로 향하는 TLS 플로우가 전혀 없으므로 정상 샘플만 포함되어 있다. 우리는 이러한 캡처를 직접 확인하여 이것이 라벨링 오류가 아니라 정답 레이블(ground truth)의 공백임을 확인했다. 이러한 맥락에서 융합은 가장 우수한 단일 뷰보다 F1 기준 겨우 0.022 앞설 뿐이다. 공격자가 두 특징 표면을 동시에 위조할 경우, 모든 모델은 항상 양성을 예측하는 단순 기준선(baseline, F1 = 0.711)보다 성능이 떨어진다. 암호화된 C2 탐지에서 평가 설계는 예비 단계가 아니다. 그것은 바로 주요 결과이다.
원문 초록
Command-and-control (C2) traffic increasingly hides within TLS, so defenders now apply machine learning to traffic metadata. Many studies assume that combining two metadata views, namely flow statistics and TLS handshake fingerprints, improves both accuracy and robustness. We tested this assumption on 17,577 TLS flows from 62 real Cobalt Strike captures. Our evaluation removes the data leakage that leads to overly optimistic reported scores. We report three findings that matter more than the fusion result itself. First, an incorrect preprocessing step increases the F1 score by 0.28. This step computes the frequency encoding across the entire dataset rather than within each cross-validation fold. The increase is about ten times larger than any real effect we measured. Second, both the labels and the behavioral features depend on the destination address. Because of this, the 17,577 flows form only 2,132 independent groups, and the positive rate of 55.1\%, which looks balanced, drops to 4.2\%. Therefore, class balance is just a result of how we analyze the data, specifically whether we count flows or endpoints, and not a real feature of the task. Third, 20 of the 62 captures (32\%) have no TLS flows to any known C2 address, so they contain only benign samples. We checked these captures directly and confirmed that this is a gap in the ground truth, not a labeling error. In this context, fusion beats the best single view by only 0.022 in F1. When an attacker forges both feature surfaces simultaneously, every model performs worse than a simple baseline that always predicts positive (F1 = 0.711). For encrypted C2 detection, the evaluation design is not a preliminary step. It \emph{is} the main result.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27311v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
유사도가 상호작용에 의해 결정될 때: 체제 민감 학습을 위한 양자 커널
When Similarity Is Interaction-Driven: Quantum Kernels for Regime-Sensitive Learning
많은 의사결정 시스템에서 유사도는 거리만으로 결정되는 것이 아니라 변수들 간의 상호작용에 의해 좌우된다. 사기 탐지 및 이상 탐지(anomaly detection)에서는, 국소적인 작은 교란(perturbation)이 주변 거리는 거의 변화시키지 않으면서도 상호작용에 민감한 결정 경계(decision boundary)를 넘어설 수 있다. 이러한 상황에 착안하여, 우리는 박층(thin-slab) 상호작용 모델과, 얽힌(entangled) 파울리 문자열(Pauli-string) 특징 맵으로 구성된 상호작용 기반 양자 커널(quantum kernel)을 제안한다. 이 특징 맵은 희소한 고차 블록 상호작용(sparse high-order block interactions)을 명시적으로 인코딩한다. 우리는 그 결과로 얻어지는 충실도 커널(fidelity kernel)이 양의 준정부호(positive semidefinite)이며, 정확한 블록 분해(block-factorized) 형태로 표현 가능하고, 상호작용 체제(interaction regime)의 변화에 민감한 기하 구조를 유도함을 보인다. 3차, 4차, 6차, 8차 상호작용을 포괄하는 균형 및 불균형 합성 실험 전반에서, 제안된 커널은 선형 커널, 방사 기저 함수(RBF) 커널, 라플라시안(Laplacian) 커널, 다항(polynomial) 커널은 물론, 심어진(planted) 블록 곱을 제공받은 조작된 상호작용 선형 기준선(baseline)보다도 일관되게 더 우수한 성능을 보인다. 실제 사기 탐지 벤치마크에서는, Credit Card Fraud Detection 데이터셋에서 가장 높은 평균 정확도와 F1 점수를 달성하며, IEEE-CIS Fraud Detection에서는 2위를 기록한다. 156큐비트(qubit) IBM Quantum 프로세서에서 4차 설정으로 실행한 결과, 하드웨어로 추정한 커널은 시드 간 변동성(seed-to-seed variability) 범위 내에서 노이즈 없는 시뮬레이터와 일치하며, 기준선들에 대한 우위를 그대로 유지한다. 이러한 결과는 양자 커널의 성능이 힐베르트 공간(Hilbert space)의 차원만이 아니라, 특징 맵의 기하 구조와 기저의 예측 구조 사이의 정합(alignment) 여부에 좌우됨을 보여준다. 제안된 블록 분해 커널은 고전 컴퓨터에서도 정확하게 계산될 수 있으므로, 본 연구의 결과는 계산적인 양자 가속(quantum speedup)이 아니라 예측적 및 표현적 가치를 입증하는 것이다.
Jev-IDS: 네트워크 침입 탐지를 위한 시스템 1 모델
Jev-IDS: System One Models for Network Intrusion Detection
머신러닝 기반 네트워크 침입 탐지 시스템(IDS)은 대규모 레이블링된 데이터셋과 태스크 특화 학습(training)에 의존하는 반면, 대규모 언어 모델(LLM) 기반 탐지는 플로우 기록을 직접 분석할 수 있으나 더 높은 추론(inference) 비용과 지연 시간, 그리고 덜 제한된 출력을 수반합니다. 본 논문에서는 레이블 부족 상황에서 제로데이 침입을 탐지하기 위해 Jev 시스템 1 모델(SOM)을 기반으로 한 공개 실험용 범용 NIDS인 JEV-IDS를 제시합니다. JEV-IDS는 요청당 하나의 플로우를 직렬화하고 JEV에게 이진 공격 확률과 유한 선택 트래픽 카테고리라는 두 가지 질문을 던집니다. 실험 결과에 따르면 k=1일 때 JEV는 GPT-5.6 Luna보다 4.8배 빠르고 3.8배 저렴하면서도 신종 공격 재현율(recall)이 1.5배 더 높았으며, 데이터가 적은 환경의 Random Forest보다 오경보를 15배 적게 생성했습니다. 300개 플로우로 구성된 NSL-KDD 파일럿 분할에 대한 5,400회의 결정 전반에서 JEV는 F1-Score 0.859, 정밀도(precision) 0.941, 재현율 0.790, 신종 공격 재현율 0.838을 달성했습니다. k를 2로 증가시키면 F1-Score는 0.839로 감소했습니다.
SR-Fraud: 비정상(non-stationary) 결제 사기 탐지를 위한 결과 지도(outcome-supervised) 반성형 LLM 에이전트 프레임워크
SR-Fraud: An Outcome-Supervised Reflective LLM Agent Framework for Non-Stationary Payment Fraud Detection
실시간 결제 사기 탐지는 비정상(non-stationary) 스트리밍 예측 문제이다. 적대자는 지도 라벨이 성숙하기 전에 적응하고, 국소적 버스트 공격은 재학습 전에 손실을 유발할 수 있다. 프로덕션 시스템은 일반적으로 테이블형 분류기와 규칙에 의존하며, 주기적 재학습이 이루어지기 전에 새로 나타나는 순차 패턴을 포착하는 데 어려움을 겪을 수 있다. 우리는 요청 시점 의사결정과 오프라인 적응을 분리하는 결과 지도(outcome-supervised) 반성형 LLM 프레임워크인 SR-Fraud를 제안한다. 동결(frozen)된 무상태(stateless) 에이전트가 Hybrid Episodic Window로부터 각 거래를 점수화하여 행동 변화를 추적하고, 오프라인 반성 에이전트는 성숙한 오류로부터 경계 가설을 제안한다. 결정론적 검증기는 이어서 지지되는 가설만 실행 가능한 지식 상태에 편입한다. 프로덕션 결제 사기 벤치마크에서 SR-Fraud는 동결된 의사결정 에이전트 대비 모든 탐지 지표를 개선하고, 정적 및 주기적 재학습 CatBoost보다 높은 점 추정치(point estimate)를 얻으며, 새로 나타나는 사기 버스트를 탐지한다.
기호적 실패 탐지 학습: 머신러닝과 블랙-숄즈 모형의 한계
Learning to Detect Symbolic Failure: Machine Learning and the Limits of Black-Scholes
우리는 옵션 가격 결정을 표현(representation) 문제로 다룬다. 즉, 260만 건의 실제 옵션 계약을 사용하여 머신러닝이 블랙-숄즈(Black-Scholes)로부터의 체계적인 편차를 탐지할 수 있는가? 우리는 세 가지 방식을 비교한다. 학습된 추상 임베딩(커널 PCA), 보존된 도메인 구조(트리 기반 앙상블), 그리고 신경망 검증이다. 트리 기반 방법은 커널 차원 축소보다 21.5%p 높은 성능(93.8% 대 72.3%)을 보였으며, 도메인 전문가가 설계한 특징(그릭스, 머니니스)은 엔지니어링된 특징보다 더 우수한 성능을 보였다. 신경망 기반 편차 레이블과 BS 기반 편차 레이블은 99.9974%의 비율로 일치하며, 이는 편차가 모델의 인위적 결과물이 아니라 시장 구조를 반영함을 시사한다. 우리는 전문가가 설계한 기호적 특징이 존재하는 도메인에서는 추상화를 학습하는 것보다 구조를 보존하는 것이 더 낫다고 결론짓는다. 우리는 활용 가능한 오가격(mispricing)이 존재한다고 주장하지 않는다.
혼돈 역학에서 극한 사건의 예측 지평에 걸친 잡음 유발 예측가능성 재분배
Noise-Induced Predictability Redistribution Across Forecast Horizons of Extreme Events in Chaotic Dynamics
혼돈 역학에서 극한 사건(EE)은 드물게 나타나는 넓은 이탈 excursion이며, 동역학적 잡음에 의해 그 예측 가능성이 달라질 수 있다. 우리는 3차 자율 혼돈 유동에서 잡음이 예측 지평에 걸쳐 EE 발생과 예측 성능을 어떻게 바꾸는지 조사한다. 모든 realization에 대해 단일 clean-data 임계값을 고정하고, broad event는 excursion당 하나의 maximum으로 정의하며, 시간순 데이터 분리를 적용한 HistGradientBoosting으로 15 time unit 이력으로부터 미래 윈도우 W=15를 예측한다. 관측 이력과 미래 사건 윈도우 사이의 예측 간격 G가 커질수록 clean Matthews correlation coefficient(MCC)는 G=0에서 0.641에서 G=15에서 0.165로 감소한다. 잡음 의존성은 8개 진폭에서 10개의 paired realization으로 평가한다. 평균 단기 지평 점수는 clean data에서 0.456에서 sigma=0.007에서 0.546으로 증가하며, paired gain은 0.0895(95% CI 0.0494-0.1295; Holm-adjusted p=0.0234)이다. 잡음은 EE 발생을 크게 증가시키는 반면 사건 amplitude와 width는 비교적 안정적으로 유지된다. 잡음 수준별 양성 학습(training) 샘플 수를 균등화하면 단기 지평 이득이 상당히 약해지고, 강한 잡음은 중기 지평 예측 성능을 낮춘다. 우리는 예측 성능의 이러한 지평 의존적·비균일한 변화를 잡음 유발 예측가능성 재분배(noise-induced predictability redistribution, NIPR)라고 부른다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.