암호화된 C2 탐지를 위한 다중 뷰 융합: 평가 함정에 대한 데이터 누출 통제 측정 연구
Multi-View Fusion for Encrypted C2 Detection: A Leakage-Controlled Measurement Study of Evaluation Pitfalls
명령 및 제어(C2) 트래픽이 점차 TLS 내에 숨어들면서, 방어자들은 이제 트래픽 메타데이터에 머신러닝을 적용하고 있다. 많은 연구에서는 플로우 통계와 TLS 핸드셰이크 핑거프린트라는 두 가지 메타데이터 뷰를 결합하면 정확도와 견고성이 모두 향상된다고 가정한다. 본 연구에서는 62개의 실제 Cobalt Strike 캡처에서 추출한 17,577개의 TLS 플로우를 대상으로 이 가정을 검증했다. 우리의 평가는 지나치게 낙관적으로 보고된 점수를 초래하는 데이터 누출(data leakage)을 제거한다. 우리는 융합 결과 자체보다 더 중요한 세 가지 발견 사항을 보고한다. 첫째, 잘못된 전처리 단계로 인해 F1 점수가 0.28 증가한다. 이 단계는 각 교차 검증(cross-validation) 폴드 내에서가 아니라 전체 데이터셋에 걸쳐 빈도 인코딩을 계산한다. 이 증가는 우리가 측정한 실제 효과보다 약 10배 더 크다. 둘째, 라벨과 행동 특징(feature) 모두 목적지 주소에 의존한다. 이로 인해 17,577개의 플로우는 2,132개의 독립적인 그룹만을 형성하며, 균형 잡힌 것처럼 보이던 55.1%의 양성 비율은 4.2%로 떨어진다. 따라서 클래스 균형은 플로우를 세는지 아니면 엔드포인트를 세는지와 같이 데이터를 어떻게 분석하는지에 따른 결과일 뿐, 과제의 실제 특징이 아니다. 셋째, 62개 캡처 중 20개(32%)에는 알려진 C2 주소로 향하는 TLS 플로우가 전혀 없으므로 정상 샘플만 포함되어 있다. 우리는 이러한 캡처를 직접 확인하여 이것이 라벨링 오류가 아니라 정답 레이블(ground truth)의 공백임을 확인했다. 이러한 맥락에서 융합은 가장 우수한 단일 뷰보다 F1 기준 겨우 0.022 앞설 뿐이다. 공격자가 두 특징 표면을 동시에 위조할 경우, 모든 모델은 항상 양성을 예측하는 단순 기준선(baseline, F1 = 0.711)보다 성능이 떨어진다. 암호화된 C2 탐지에서 평가 설계는 예비 단계가 아니다. 그것은 바로 주요 결과이다.