머신러닝 기반 피싱 탐지 시스템의 성능에 미치는 컨셉트 드리프트의 영향 평가 및 대응
Evaluating and Combating the Impact of Concept Drift on the Performance of Machine Learning-Based Phishing Detection Systems
한국어 초록
디지털 영역의 확장은 디지털 통신의 현저한 증가를 가져왔으며, 이메일은 가장 주요한 채널 중 하나로 부상했습니다. 이메일 통신의 확산은 업무 및 개인적인 맥락 모두에서 명확하며, 이로 인해 악의적인 행위자가 악용할 수 있는 수많은 취약점이 생성되었습니다. 수신자에게 악의적인 의도를 품고 있는 스팸 이메일(원치 않는 통신의 일종)은 이메일 기술의 시작 이래 이메일 사용자에게 지속적인 과제가 되어 왔으며, 이 문제는 디지털 환경의 성장으로 인해 더욱 악화되었습니다. 이메일 스팸 필터는 잠재적으로 유해한 메시지를 식별하고 그 악의적인 콘텐츠에 대해 사용자에게 경고하도록 설계된 이메일 클라이언트의 필수 구성 요소입니다. 피싱(Phishing)은 종종 맬웨어 기반 공격의 초기 단계가 되며, 맬웨어가 시간이 지남에 따라 점점 더 정교해짐에 따라 빠르게 진화하고 있습니다. 맬웨어 및 스팸 도메인 내의 악의적인 활동을 탐지하기 위해 널리 채택된 접근 방식은 머신러닝(machine learning)의 적용입니다. 우리의 목표는 스팸 이메일 도메인 내의 진화가 이러한 머신러닝 기반 탐지 시스템에 미치는 영향을 평가하고, 관련된 성능 저하를 완화하기 위한 전략을 탐색하는 것입니다.
원문 초록
The expansion of the digital domain has resulted in a substantial increase in digital communication, with email emerging as one of the most prominent channels. The proliferation of email communication is apparent in both professional and personal contexts, thereby creating numerous vulnerabilities for malicious actors to exploit. Spam emails, a form of unsolicited correspondence often bearing malicious intent towards recipients, have been an ongoing challenge for email users since the inception of email technology, and this problem has been exacerbated by the growth of the digital landscape. Email spam filters are integral components of email clients, engineered to identify potentially harmful messages and alert users to their malicious content. Phishing, frequently the initial phase of malware-based attacks, is evolving rapidly, with malware becoming increasingly sophisticated over time. A widely adopted approach for detecting malicious activity within malware and spam domains is the application of machine learning. Our aim is to assess the impact of the evolution within the spam email domain on these machine learning-based detection systems and to explore strategies for mitigating associated performance degradation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.11471v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가
Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh
AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.
불일치를 넘어서: 비정상 가중 위험 최소화에서의 오라클 드리프트
Beyond Discrepancy: Oracle Drift in Nonstationary Weighted Risk Minimization
본 논문에서는 초과 위험(excess risk)을 추정, 드리프트, 근사 성분으로 분해하여 비정상 가중 위험 최소화(nonstationary weighted risk minimization)에서의 분포 드리프트를 분석합니다. 기존에는 드리프트 오차를 예측 모델(predictor) 클래스 전반에 걸친 위험의 변화를 제어하는 불일치 유형의 양(discrepancy-type quantities)을 통해 제한하는 것이 일반적이었습니다. 이와 달리 본 연구에서는 드리프트 오차를 모델 클래스 내 최적 예측 모델의 이동과 직접 연관 짓고, 매개변수화된 회귀 모델에서 이러한 거동을 분석합니다. 우리의 분석에 따르면 불일치 유형의 양은 지나치게 보수적일 수 있습니다. 본 논문의 오라클 드리프트(oracle drift)와 달리, 이러한 기존 양은 그에 따른 초과 위험 기여도보다 더 큰 차수로 스케일링될 수 있으며, 최적 예측 모델에 영향을 주지 않는 위험 표면의 변화에도 반응할 수 있습니다. 선형 회귀에 대해 우리는 이러한 격차를 정밀하게 규명하고, 그에 따른 드리프트 경계를 추정 보장과 결합합니다. 나아가 비모수 회귀로도 분석을 확장합니다.
텍스트 기술어로부터 스타트업 엑시트 예측 - 전산언어학적 프레임워크
Predicting Startup Exit from Textual Descriptors - A Computational Linguistics Framework
본 연구는 맥락, 재무 또는 인적 자본 변수에 의존하지 않고도 텍스트 기술어(textual descriptor)만으로 엑시트(Exit)로 정의되는 초기 단계 스타트업의 성공을 예측할 수 있음을 보여준다. 20년에 걸쳐 7,419개 스타트업을 포괄하는 벤처 캐피털 큐레이션 데이터셋을 활용하여, 본 연구는 텍스트 기반 프레이밍 변수를 분리하고 스타트업 내러티브 매핑을 통해 850개의 특징(feature)을 엔지니어링한다. 데이터 하위 집합과 벡터 임베딩(embedding)의 통계적 유의성을 평가한 후, 6개 모델에 걸쳐 지도 머신러닝 실험을 수행한다. 로지스틱 회귀(Logistic Regression)를 사용한 이진 엑시트 예측은 임베딩을 제외한 모든 특징을 사용했을 때 0.55의 재현율(recall)과 0.48의 F1 점수를 달성하며, 임베딩을 포함한 텍스트 기술어만을 사용했을 때는 0.59의 재현율과 0.26의 F1 점수를 달성한다. 특징 분석 결과에 따르면 형용사, 전문 용어(jargon), 유행어(buzzwords)와 같은 과장 마커(hyping marker)의 최적화된 밀도는 더 높은 엑시트 확률과 연관되어 있는 반면, 과도한 설명문이나 사명(name) 길이는 더 낮은 확률과 연관되어 있음을 나타낸다. 또한 본 연구는 벤처 심사(venture screening)에 잠재적으로 적용할 수 있는 정량화 가능한 Hyping Score를 도입한다. 이러한 결과는 정보 비대칭성이 높은 투자 환경에서 스타트업의 프레이밍이 경제적 성과의 독립적인 예측 요인으로 기능할 수 있음을 시사한다.
문장 수준에서의 법해석 기준 분류: 독일 연방헌법재판소 판결 기반 벤치마크
Classifying Interpretive Canons at the Sentence Level: A Benchmark from the German Federal Constitutional Court
사법적 추론은 대규모 언어 모델(LLM)이 분석하기에 여전히 까다로운 영역입니다. 본 논문은 사비니(Savigny)의 전통에 입각해 라렌츠(Larenz)가 체계화한 법해석 기준(interpretive canons)을 분류하는 LLM의 능력을 평가하기 위한 문장 수준의 벤치마크를 제시합니다. 본 연구의 기여는 세 가지입니다. 첫째, 이러한 법해석 개념을 분류(classification) 기준으로 구체화하여 작동 가능하게 만들었습니다. 둘째, 문장 수준에서 주석이 달린 독일 연방헌법재판소 결정 데이터셋(dataset)을 제공합니다. 셋째, 유전-파레토(Genetic-Pareto, GEPA)로 최적화된 프롬프트와 비교하여, 전문가가 직접 작성한 프롬프트 환경에서 3개 모델 계열의 4개 LLM에 대한 기준선(baseline) 평가를 보고합니다. 7개의 이진 하위 과제에 대한 평균 F1 점수는 모델(model) 전반에서 70.4에서 79.2 사이에 분포하며, 문법적 해석이 대체로 식별하기 가장 쉬운 기준인 반면 체계적 해석은 일반적으로 가장 어려웠습니다. 테스트된 구성에서는 GEPA로 최적화된 프롬프트가 직접 작성된 프롬프트를 일관되게 능가하지 못했으며, 이는 전문가 프롬프트가 유의미한 기준선을 제공함을 시사합니다.
디지털 양층언어현상: X와 Facebook 사이의 아랍어
Digital diglossia: Arabic between X and Facebook
본 연구는 X와 Facebook 전반에 걸친 표준 아랍어(SA; H(상위) 변종) 및 구어체 아랍어(CA; L(하위) 변종)의 분포를 조명한다. Python을 통해 16,754개의 공개 게시물을 수집하였으며, 이 중 10,000개를 최종 데이터셋(dataset)으로 유지하였다. 게시물은 *정치, 기술, 과학, 비즈니스, 문화, 유머, 스포츠*의 7가지 담화 범주로 분류되었다. 카이제곱 검정과 크래머의 V(CV)를 포함한 이변량 분석을 통해 플랫폼, 담화 범주, 양층언어적 선택 간의 연관성을 조사하였으며, 플랫폼과 담화 범주 간 상호작용을 포함한 이항 로지스틱 회귀를 통해 이러한 연관성이 플랫폼 간에 차이를 보이는지 검정하였다. 연구 결과에 따르면, 담화 범주와 양층언어적 선택 사이에는 X(카이제곱(6, *N* = 5000) = 600.35, p < .001, CV = .347)와 Facebook(카이제곱(6, N = 5000) = 1249.52, p < .001, CV = .500) 모두에서 유의미한 연관성이 있는 것으로 나타났다. 전체 플랫폼에 걸쳐 플랫폼 자체도 양층언어적 선택과 연관되어 있었다(카이제곱(1, N = 10000) = 262.16, p < .001, CV = .162). 또한 이항 로지스틱 회귀 분석에 따르면, 정치 기준 범주에서 Facebook보다 X에서 SA를 사용할 승산이 더 높았으며(*OR* = 1.31, p = .0028), 문화(OR = 2.65), 유머(*OR* = 6.34), 스포츠(*OR* = 26.71), 과학(OR = 0.41), 기술(OR = 0.71) 분야에서 유의미한 플랫폼-도메인 상호작용이 나타났다. 본 연구는 SA와 CA의 양층언어적 사용이 디지털 담화에 대한 늘어나는 연구에 기여한다고 결론짓고, 디지털 시대가 양층언어의 경계를 침식하는 것이 아니라 재형성하여 새로운 형태의 재구성된 디지털 양층언어현상을 낳는다는 점을 밝힌다.
대규모 구조화 문헌 마이닝을 위한 도메인 적응 사전학습 기반 수처리 의미 표상 향상
Domain-Adaptive Pretraining Enhances Water Treatment Semantic Representation for Large-Scale Structured Literature Mining
수처리 연구가 급격히 확장되고 있으나, 이러한 연구로부터 도출된 많은 지식은 비정형 문헌 전반에 흩어져 있는 상태로 남아 있다. 이 분야는 대규모 문헌 마이닝을 위해 수처리 특화 도메인 의미를 효율적으로 포착할 수 있는 전용 언어 모델이 여전히 부족하다. 본 연구에서는 수처리 텍스트로부터 의미 표상(semantic representation) 및 구조화된 정보 추출을 수행하도록 설계된 도메인 적응 인코더 모델인 WaterBERT를 개발하여 이를 해결한다. WaterBERT는 약 29억 7천만 개의 토큰으로 구성된 대규모 수처리 말뭉치에 대한 지속 사전학습(continual pretraining)을 통해 개발되었다. WaterBERT를 기반으로 파인튜닝된 세 가지 모델을 다운스트림 태스크에서 체계적으로 평가한 결과, 다중 클래스 처리 공정 분류에서 F1 점수 90.12%, 개체명 인식에서 79.50%, 관계 추출에서 74.04%를 기록하며 범용 및 도메인 특화 BERT 모델 중 전반적으로 가장 우수한 성능을 달성했다. 이러한 벤치마크 태스크를 넘어, 대규모 문헌 처리에 대한 WaterBERT의 이점을 추가로 입증했다. 5,144편의 Environmental Science & Technology 논문에 적용된 WaterBERT-BERTopic은 사전에 정의된 범주 없이도 일관되고 다양하며 도메인에 특화된 연구 주제를 식별했다. WaterBERT를 기반으로 693,211개의 초록을 처리하여 상용 대규모 언어 모델(LLM)보다 현저히 낮은 비용으로 경쟁력 있는 추출 성능을 유지하면서 구조화된 수처리 지식 그래프를 구축했다. 이후 이 지식 그래프를 어휘 및 조밀 검색(dense retrieval)과 통합하여 수처리 지식 증강 검색 시스템(WaterKERS)을 개발했으며, 이는 관련성 점수 77.7을 달성하여 텍스트 기반 검색 베이스라인(54.7-64.5)을 크게 능가했다. 본 연구는 WaterBERT를 통해 수처리 연구에서의 대규모 정보 처리 및 근거 매핑을 위한 컴팩트하고 확장 가능한 의미론적 기반을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.