$L_1$ 노름(norm) 페널티가 적용된 선형 모델은 고차원($d > 1,000,000$) 태스크에서 여전히 최고 수준(SOTA)의 성능을 유지하며, 실제 산업 문제를 해결하기 위한 직관적인 방법을 제공합니다. 산업계에서의 광범위한 사용과 유용성에도 불구하고, 다수의 $L_1$ 솔버는 일반적인 용도로 쓰기에 효과적이지 않고 극도로 느리며 병렬화에 비효율적입니다. 이로 인해 대규모 산업 수준의 말뭉치를 대상으로 MLOps 파이프라인에서 학습(training)하기가 어렵습니다. 본 연구에서는 문헌에서 제안된 여러 '최고 수준'의 솔루션을 테스트하였으며, 기존의 전통적인 방식들이 일반적인 사용 측면에서 현재 훨씬 더 우수하다는 점을 발견했습니다. 또한 학계가 상용화 단계로의 전환을 가로막을 수 있는 과도하게 자신하는 잘못된 결과를 피하도록 돕는 몇 가지 연구 권장 사항을 제시합니다. 그에 못지않게 놀라운 점으로, 서브그래디언트(sub-gradient)에 LBFGS를 사용하는 새롭고 단순한 기준선(baseline) 모델이 이론적인 비수렴(non-convergence)을 이유로 문헌에서 배제되었음에도 불구하고 약간의 수정만으로 매우 효과적임을 확인했습니다. 실제 환경에서 이 방식은 상용화에 있어 유지보수가 더 쉽고 확장하기에도 더 용이한 방법임을 확인했습니다.
조직 전반에서 흔한 요구는 파일 내용을 바탕으로 파일 유형을 식별할 수 있는 도구를 갖는 것이며, 특히 magic number와 파일 확장자를 신뢰할 수 없는 사이버보안 분야에서 그 필요가 두드러진다. 기존 도구들은 실무에서 잘 동작하지만, Magika와 같은 모델 기반 도구는 탐지 시 계산 부하와 소요 시간 측면에서, 프로그래밍 언어 구조를 이용하는 파일 파싱 도구는 탐지 정확도 측면에서 개선 여지가 크다. 본 연구에서는 소스 코드를 비롯한 텍스트 콘텐츠 파일 유형 식별을 위한 신경망 모델을 제안하며, 이는 기존에 이용 가능한 도구들보다 더 정확하고 빠르다. 오픈소스 파일에 대한 실험 결과, 텍스트 콘텐츠 파일 유형 식별에서 평균적으로 더 높은 정확도를 보였을 뿐 아니라 Magika 대비 약 4배 빠르고 모델 크기는 28% 더 작다.
제품 악용(product abuse)은 개별적으로는 드물지만 SaaS 업계 전반에서 점차 증가하고 있는 문제입니다. 고도로 정교한 위협 행위자는 고객 환경 내에서 보안 플랫폼을 오용하거나 제품 자체를 대상으로 우회 실험을 수행할 수 있습니다. 위협 행위자는 번거롭고 자주 탐지되는 악성코드의 사용을 피하기 위해 환경 내 정상 도구를 악용하는 공격(living-off-the-land, LOTL)을 활용할 수 있습니다. 이러한 위협을 해결하기 위해서는 서로 다른 유형의 데이터베이스 전반에서 다중 데이터 모달리티(multiple data modalities)를 수집해야 하며, 정교하지만 위험한 사건의 본질적인 희소성으로 인한 콜드 스타트 문제(cold-start problem)를 해결하고, 실제 배포 제약 조건(예: 비용, 사용자 행동, 성능 등) 내에서 설계해야 합니다. 이에 따라 본 논문에서는 특히 실제 배포되어 운영 중인 역량 측면에서 이러한 전체 시스템 방어에 대한 최초의 연구를 제공합니다. 연구 결과 제품 악용 탐지 범위(coverage)가 35% 증가하고 월간 알림이 30% 감소했으며 악의적인 행위자의 행동 변화에 대한 적응성을 입증했습니다. 또한 운영 요구사항을 충족하기 위해 시스템을 설계할 때 고려한 제약 조건과, 설명 가능한 피처(explainable features)의 가치 및 이전에 식별된 공격에 대한 반사실적(counterfactual) 성능에 대한 사후 평가를 함께 검토합니다.
악성코드(malware) 탐지에서 n-그램 피처의 취약성을 극복하기 위해, 고정 길이와 단일 문자 와일드카드를 갖는 정규표현식의 특수 클래스인 hamm-gram을 효율적으로 추출하는 알고리즘을 제안한다. 해밍 거리(Hamming distance)에 민감한 새로운 지역 민감 해싱(locality-sensitive hashing)과 해시 버킷 내 클러스터링을 결합하여, Drebin 안드로이드 악성코드 및 Ember 2018 Windows 악성코드 분류 태스크에서 기존 n-그램 대비 향상된 견고성과 성능을 보였다.
경량 디렉터리 액세스 프로토콜(LDAP, Lightweight Directory Access Protocol)은 사용자가 Active Directory(AD) 데이터를 조회하고 수정할 수 있게 해주는 프로토콜이다. 기본적으로 모든 사용자는 LDAP를 통해 전체 AD 데이터에 대한 읽기 권한을 가지므로, 위협 행위자가 최초로 자격 증명을 탈취했을 때 정찰 초기 단계에서 흔히 사용되는 도구가 된다. 정찰 단계 초기에 위협 행위자를 포착하기 위해, 우리는 LDAP 정찰을 탐지하는 두 가지 머신러닝 프레임워크를 개발하였다: 악의적인 LDAP 쿼리를 예측하는 머신러닝 분류기와 악의적인 쿼리 시그니처를 추출하는 머신러닝 기반 데이터 마이닝 방법이다. LDAP 쿼리를 엔드포인트 탐지와 상관 분석하여, 첫 번째 프레임워크는 약한 지도학습(weak supervision)을 활용해 대규모 데이터셋에 레이블을 부여하고 LDAP 쿼리를 악의적 또는 정상으로 분류한다. 즉각적인 배포를 위해, 이 접근법 위에 두 번째 기법을 개발하여 엄격한 통계적 가설 검정 프레임워크를 통해 새로운 악의적 LDAP 시그니처를 마이닝하도록 하였다. 이 약한 지도학습 방식은 수동 인간 레이블링에 비해 한계가 있지만, 대규모 자동화 코퍼스 구축을 활용하여 비용과 시간을 절감하므로 이 사용 사례에서는 더 실용적이다. 최종적으로, LDAP 분류기와 머신러닝 기반 LDAP 시그니처 마이닝 방법 모두 성능 벤치마크를 달성하였으며, 분류기는 홀드아웃 세트에서 거짓 양성을 제한하면서 최대 65%의 진양성률(TPR)을 달성하였고, 마이닝된 시그니처는 CrowdStrike의 관리형 탐지 및 대응(Managed Detection and Response) 팀을 통해 81.48%의 필드 정밀도를 달성함을 입증하였다.