arXiv:2607.01445v1 cs.CR

Hamm-Grams: An Algorithm for Mining Regular Expressions of Bytes

Derek Everett, Edward Raff, James Holt

제출 2026-07-01

원문 초록

Malware poses a critical and ever-evolving threat, and robust and effective systems for detecting and classifying malware are of essential importance. $n$-grams features are among the common static features used in effective machine learning systems for malware, but these features are inherently brittle. We propose an algorithm for constructing more robust features, hamm-grams, which are a special class of regular expressions having a fixed length and single-character wildcards. We devise an efficient algorithm for finding common hamm-grams using a new locality-sensitive hash designed to produce collisions among pairs of small Hamming distance and a clustering within hash buckets to place wildcards. We then demonstrate the advantages of these features in malware classification and detection tasks.

요약

악성코드(malware) 탐지에서 n-그램 피처의 취약성을 극복하기 위해, 고정 길이와 단일 문자 와일드카드를 갖는 정규표현식의 특수 클래스인 hamm-gram을 효율적으로 추출하는 알고리즘을 제안한다. 해밍 거리(Hamming distance)에 민감한 새로운 지역 민감 해싱(locality-sensitive hashing)과 해시 버킷 내 클러스터링을 결합하여, Drebin 안드로이드 악성코드 및 Ember 2018 Windows 악성코드 분류 태스크에서 기존 n-그램 대비 향상된 견고성과 성능을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.01445v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13780v1cs.CV공통 태그 Anomaly Detection, Classification

형광 현미경 이미지에서 극히 희귀한 사멸 세포의 검출

Detection of extremely rare dead cells in fluorescence microscopy images

형광 현미경 관찰에서 사멸 세포 검출은 표현형 스크리닝과 약물 효능 평가에 필수적입니다. 그러나 신호 가변성, 광학 인공물(optical artifact), 여러 채널 간 공국재화(colocalization) 모호성으로 인해 자동 식별은 여전히 어렵습니다. 세포핵 경계를 정의하는 마커는 세포사멸(apoptotic) 마커와 공간적 또는 시간적으로 깔끔하게 일치하지 않습니다. 더욱이 마커 축적 동역학은 개별 세포 및 세포사멸 단계마다 다르므로 범용 임계값을 신뢰하기 어렵습니다. 본 논문에서는 핵 염색 검체에서 세포사멸 세포를 검출하기 위한 여러 전산적 접근 방식에 대한 체계적인 비교를 제시합니다: (1) 강도 임계값, 분포, 상관관계 및 도메인 지침을 사용하는 휴리스틱 방법; (2) 수치적 특징(로지스틱 회귀, 랜덤 포레스트, XGBoost 및 LightGBM)과 이미지 특징(ResNet-18 및 EfficientNet-B0)을 사용하는 분류; (3) 마찬가지로 수치적 특징(격리 포레스트, 원클래스 SVM 및 PCA 재구성)과 이미지 특징(합성곱 오토인코더 및 Deep SVDD)을 사용하는 이상 탐지. 수작업으로 주석이 달린 243개의 실측값(ground truth) 사멸 세포를 포함하여 여러 장면에 걸쳐 65,527개의 세포/핵이 포함된 258개 이미지 데이터셋을 사용하여, PR-AUC, 정밀도, 재현율, F1-score 및 macro-F1과 같은 지표로 각 방법을 평가합니다. 연구 결과에 따르면 이미지 특징을 사용하는 분류(심층 학습)와 수치적 특징을 사용하는 분류(전통적 방식)가 가장 우수한 성능을 달성했으며, ResNet-18과 XGBoost가 수작업으로 설계된 휴리스틱 및 이상 탐지 방법보다 크게 우수한 성과를 보였습니다. 이러한 연구 결과는 최첨단 전산 및 학습 기법으로도 이러한 생의학 문제를 해결하는 것이 여전히 매우 까다롭다는 점을 보여줍니다. 우리는 도메인 과학자를 돕는 보조 도구로서 완전 자동 방식이나 인간 참여형(human-in-the-loop) 설정 모두에서 연구자들에게 효과적인 의사결정 지원 도구를 제공하는 것을 목표로 합니다.

arXiv:2610.02048v1cs.AI공통 태그 Anomaly Detection, Classification

HydroJEV: 상수도 관망의 사이버 공격 및 고장 원인 규명을 위한 1초 소요 무학습 선별 모델

HydroJEV: A one-second, training-free screen for cyber-attack and fault attribution in water distribution networks

상수도 관망에서 SCADA 경보가 발생했을 때, 운영자는 그것이 사이버 공격, 물리적 고장, 정상적인 과도 현상, 또는 센서 결함 중 무엇을 반영하는지 신속하게 판단해야 합니다. 지도학습 분류기는 수도 사업자가 거의 보유하지 못한 라벨링된 사고 데이터를 필요로 하며, 프론티어 대규모 언어 모델(LLM)은 결정당 수십 초가 소요됩니다. 본 연구에서는 약 1초 만에 클래스 확률을 반환하는 무학습(training-free) 모델인 Jev가 이러한 분류의 1단계 선별 역할을 수행할 수 있는지 검증했습니다. EPANET의 C-Town 네트워크를 기반으로 구축된 4개 클래스 원인 규명 벤치마크에서, 사전 등록된 4회의 블라인드 라운드 동안 동일한 증거를 바탕으로 Jev를 수작업 규칙 트리, 지도학습 분류기, 그리고 7개의 클라우드 LLM과 비교했습니다. 무라벨 사전 보정(label-free prior correction)만으로도 Jev는 4개 라운드 전체에서 규칙 트리와 동등한 성능(분포 내 매크로 F1 0.62-0.64 대 0.56-0.61)을 보였으며, 라벨에 포함되지 않은 이벤트 하위 유형에서는 지도학습 분류기를 0.36-0.42 앞섰고, 클래스당 라벨링된 이벤트가 약 4개 미만일 때마다 분류기보다 우수한 성능을 나타냈습니다. 또한 Jev는 프론티어 LLM보다 20~40배 더 빠르게 결정을 내렸습니다. 규칙 트리로 확인된 Jev의 정상 판정만을 채택함으로써 매크로 F1의 손실 없이 새로운 블라인드 세트에서 LLM 검토자의 윈도우 작업을 35~38% 줄일 수 있었습니다. 추가적인 두 개 관망에 변경 없이 전이되었을 때도, 이 게이티드 캐스케이드(gated cascade)는 4개 세트 모두에서 검토자의 비열등성 마진(non-inferiority margin) 내를 유지했습니다. 따라서 빠르고 학습이 필요 없는 선별 모델은 정밀한 검토의 정확도를 유지하면서도 SCADA 이상 분류 검토 부담의 약 3분의 1을 대신 처리할 수 있습니다.

arXiv:2609.27936v1cs.LG공통 태그 Clustering, Anomaly Detection

양보다 질: 특징 엔지니어링을 통한 불법 비트코인 흐름의 반지도 학습 탐지

Quality over Quantity: Semi-Supervised Detection of Illicit Bitcoin Flows via Feature Engineering

불법 암호화폐 거래 탐지는 극심한 클래스 불균형, 적대적 난독화, 신뢰할 수 있는 라벨의 부족으로 어렵다. 반지도 학습(SSL)은 비라벨 데이터를 활용해 유망한 해결책을 제공하지만, 우리는 그 성공이 데이터 양만으로 보장되지 않으며 데이터 품질에 달려 있음을 보인다. 우리는 Shared Send Mixers(SSM) 거래에서 불법 비트코인 흐름을 탐지하기 위한 SSL 프레임워크를 제안하며, 이는 1억 6,300만 건의 거래로 구성된 포괄적 역사적 데이터셋 위에 구축되었다. 핵심 결론은 SSL의 성공이 데이터 양이 아니라 품질에 달려 있다는 것이다: KeyLinker 주소 클러스터링 및 Shared Send Untangling(SSU) 복잡도 지표와 같은 고충실도 특징은 비라벨 데이터에서 F1 점수 0.84를 달성한다. 마지막으로, One-Time Change(OTC)와 같은 흔한 휴리스틱은 풍부하지만 노이즈를 유입시키는 반면, KeyLinker와 같은 고충실도 특징에 대한 전략적 의존이 필수적임을 실증적으로 보인다. 본 연구는 블록체인 포렌식에서 더 나은 성능으로 가는 길이 더 큰 데이터셋만이 아니라, 데이터 품질을 위한 더 스마트한 특징 엔지니어링에 있음을 확립한다.

arXiv:2609.28086v1cs.LG공통 태그 Clustering, Classification

LAYERSCOPE: 비디오 및 멀티모달 학습 표현의 층별 특성 분석

LAYERSCOPE: A Layerwise Characterization of Video and Multimodal Learned Representations

우리는 비디오 및 멀티모달 환경에서 모델이 학습한 표현(representation)의 특성을 분석하는 것을 목표로 하는, 레이블이 필요 없는 층별(layerwise) 프레임워크인 LAYERSCOPE를 제안한다. 최종 층 또는 중간 층의 표현을 사용해 다운스트림 성능을 평가하려면 일반적으로 대량의 레이블 데이터, 반복적인 태스크별 평가, 그리고 상당한 연산량이 필요하다. 이러한 한계를 해결하기 위해 LAYERSCOPE는 국소적(local), 전역적(global), 분포적(distributional), 대응 기반(correspondence-based) 기하 지표를 활용하여, 태스크별 레이블 없이도 모델 내부와 모델 간의 층별 표현 구조를 비교한다. 우리는 MVEB/MVEB+의 비디오 및 멀티모달 분류(classification), 클러스터링, 텍스트-비디오 검색 태스크에서 아키텍처가 서로 다른 일곱 개의 모델을 평가한다. 그 결과, 중간 층의 표현이 최종 층 및 모델 기본 출력보다 더 좋은 성능을 낼 수 있음을 발견했다. 또한 어떤 단일 기하 지표도 다운스트림 성능을 일관되게 예측하지는 못하지만, 모델 계열별로 서로 구별되는 층별 기하 시그니처가 나타남을 확인했다. LID는 성능과 태스크에 따라 달라지는 관계를 보이며, RankMe는 분류와 클러스터링에 대해 가장 강력한 척도를 제공하지만 범용적인 층 선택 기준은 아니다. 아울러 페어링(pairing)을 고려하는 지표가 분포 거리만 사용하는 경우보다 검색 성능을 더 잘 설명한다는 점도 발견했다. 따라서 LAYERSCOPE는 모델과 층 전반에 걸쳐 표현을 비교할 수 있는 프레임워크를 제공하며, 비디오 및 멀티모달 환경에서 보다 체계적인 평가를 가능하게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.