arXiv:2203.02855

Hybrid Deep Learning Model using SPCAGAN Augmentation for Insider Threat Analysis

R G Gayathri, Atul Sajjanhar, Yong Xiang

제출 2022-03-06

원문 초록

Cyberattacks from within an organization's trusted entities are known as insider threats. Anomaly detection using deep learning requires comprehensive data, but insider threat data is not readily available due to confidentiality concerns of organizations. Therefore, there arises demand to generate synthetic data to explore enhanced approaches for threat analysis. We propose a linear manifold learning-based generative adversarial network, SPCAGAN, that takes input from heterogeneous data sources and adds a novel loss function to train the generator to produce high-quality data that closely resembles the original data distribution. Furthermore, we introduce a deep learning-based hybrid model for insider threat analysis. We provide extensive experiments for data synthesis, anomaly detection, adversarial robustness, and synthetic data quality analysis using benchmark datasets. In this context, empirical comparisons show that GAN-based oversampling is competitive with numerous typical oversampling regimes. For synthetic data generation, our SPCAGAN model overcame the problem of mode collapse and converged faster than previous GAN models. Results demonstrate that our proposed approach has a lower error, is more accurate, and generates substantially superior synthetic insider threat data than previous models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24893v2cs.CR공통 태그 Anomaly Detection, Adversarial Robustness

다중 에이전트 LLM 시스템에서의 분산 백도어 조기 탐지: 특성 분석 연구

Early Detection of Distributed Backdoors in Multi-Agent LLM Systems: A Characterization Study

다중 에이전트 대규모 언어 모델(LLM) 시스템은 단일 에이전트가 결코 전체를 보유하지 않는 페이로드로 공격받을 수 있습니다. 즉, 여러 오염된 도구가 각각 하나의 암호화된 조각을 숨겨 여러 에이전트에 걸쳐 분산시키고, 외부 단계에서 실행 종료 후 이를 재조합하여 실행합니다. 각 행동을 개별적으로 판단하는 단계별 안전성(safety) 검사는 완전한 분산 페이로드를 인식하지 못할 수 있습니다. 본 연구에서는 실행이 진행되는 동안 이러한 공격을 얼마나 조기에 탐지할 수 있는지, 그리고 가장 명백한 단서가 제거되었을 때 얼마나 견고하게 포착할 수 있는지를 조사합니다. 계층적 다중 에이전트 시스템에 작동 인스턴스를 구축하고, 5개의 언어 모델과 2개의 도구 환경 전반에서 정상 및 공격 조건 하에 실행하여 각 조각이 주입되는 시점과 페이로드가 조립 및 실행되는 시점을 기록합니다. 첫 번째 조각이 주입되기 전에는 거의 어떤 실행도 플래그되지 않으며, 주입이 시작되면 접두 문맥(prefix) 탐지기가 주입되지 않은 실행에서 약 $1\%$의 폴드 외부 오경보율(조각을 보유했으나 조립되지 않은 실행에서는 더 높음)과 중앙값 12단계가 남은 시점에서 성공적인 공격의 $99.5\%$에 플래그를 지정합니다. 조립은 실행 후에만 발생하므로, 이러한 경보는 거의 모든 성공적인 공격에서 조립 전에 중단을 가능하게 할 수 있습니다. 또한 이전 단계가 필요한지 확인하기 위해 현재 관찰 결과만 보는 탐지기를 테스트합니다. 현재 관찰 결과에 명백한 단서가 있을 때는 단 하나의 관찰로도 충분한 경우가 많지만, 해당 단서가 제거되면 이전 단계를 사용하는 것이 도움이 될 수 있습니다. 일반적인 제로샷(zero-shot) 및 행동 훈련된 탐지기는 안전하지 않은 실행과 안전한 실행을 구분하지 못하며, 작동하는 탐지기는 부분적으로 제거 가능한 표면 단서, 주로 암호문의 길이와 엔트로피에 의존합니다. 이러한 단서를 제거하면 탐지기가 더 늦게 작동하고, 한 도구 환경에서 다른 도구 환경으로 이전하는 것이 훨씬 더 어려워집니다. 원시 텍스트로 파인튜닝(fine-tuning)된 모델은 손실(loss)의 일부를 복구합니다.

arXiv:2610.02608v1cs.AI공통 태그 Anomaly Detection, Adversarial Robustness

시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다

Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.

arXiv:2609.28099v1cs.CV공통 태그 Anomaly Detection, Adversarial Robustness

Visual Tripwires: 심층 비전 시스템에서의 실패 예측

Visual Tripwires: Anticipating Failure in Deep Vision Systems

강력한 벤치마크 성능에도 불구하고 심층 비전 시스템은 손상(corruption), 가림(occlusion), 분포 이동(distribution shift)에 여전히 취약하다. 기존 신뢰성 방법은 일반적으로 개별 시간 단계에서 불확실성을 평가하며, 시스템이 실패로 진행하는 과정을 명시적으로 모델링하지 않는다. 우리는 Visual Tripwires를 제안한다. 이는 모델 동작의 시간적 불안정성을 이용해 임박한 실패를 예측하는 예측적 신뢰성 프레임워크이다. 우리의 핵심 가설은 예측적 성능 저하가 잠재 표현(latent representation), 예측 궤적, 어텐션 구조의 측정 가능한 변화를 통해 점진적으로 나타난다는 것이다. Visual Tripwires는 표현 드리프트(representation drift), 예측 진동(prediction oscillation), 궤적 곡률(trajectory curvature), 어텐션 엔트로피(attention entropy)로 이러한 변화를 포착한다. 경량 tripwire 예측기는 시간 윈도우에 걸쳐 이 신호들을 집계하여 미래 예측 지평(prediction horizon) 내 실패 확률을 추정한다. 여러 데이터셋, 아키텍처, 점진적 교란(progressive perturbation) 설정에 걸친 실험은 제안된 불안정성 신호가 예측적 성능 저하 이전에 나타나며, 기존 불확실성 추정 방법보다 더 이르고 더 정확한 실패 경고를 제공함을 보여준다. 이러한 결과는 시간적 불안정성이 향후 모델 신뢰성에 관한 유용한 정보를 담고 있으며, 심층 비vision 시스템에서 조기 경보를 위한 실용적 기반을 제공함을 보여준다.

arXiv:2609.27124v1cs.CR공통 태그 Anomaly Detection, Adversarial Robustness

클라이언트가 조율될 때: 연합 학습 서버를 격파하는 전략적 그래디언트 조작과 효율적 방어

When Clients Are Orchestrated: Strategic Gradient Manipulation to Defeat Federated Learning Servers with Efficient Defense

연합 학습(Federated Learning)은 원시 데이터가 아니라 모델 업데이트를 중앙 매개변수 서버(PS)와 교환함으로써 분산 모델 학습을 가능하게 한다. 기존 방어의 대부분은 정적이거나 독립적으로 행동하는 적대자를 주로 가정하는 반면, 우리는 이러한 보호를 체계적으로 우회하는 새로운 유형의 동적·적응형 공격을 밝힌다. 우리는 악성 조율 서버(OS)가 표적·비표적 공격 클라이언트를 포함한 이질적 적대적 클라이언트 집합을 동적으로 조율하는 통합 공격 프레임워크 Fed-ADR을 제안한다. OS의 실시간 조율을 통해 악성 클라이언트는 PS에 배포된 방어를 회피하도록 그래디언트 업데이트를 전략적으로 조정하면서, 전역 모델 성능을 심각하게 저하시키거나 학습을 적대적 목표로 유도한다. 이 위협을 완화하기 위해, 우리는 각 클라이언트의 과거 업데이트로부터 실제 그래디언트를 추정하는 탐지 메커니즘을 제시하여 추가 오버헤드 없이 조율된 악성 행동의 실시간 탐지를 가능하게 한다. 또한 학습을 재시작하지 않고 전역 모델 성능을 복구하는 in-situ 복구 메커니즘을 도입하여 수렴을 유지하고 복구 시간을 최소화한다. MNIST, Fashion-MNIST, CIFAR-10 벤치마크 데이터셋에 대한 종합 실험은 Fed-ADR 공격 체계가 전역 정확도를 90% 이상에서 10% 미만으로 낮출 수 있으며 여러 최신(state-of-the-art) 방어를 우회함을 보여준다. 우리의 탐지 및 복구 모듈을 사용하면 악성 클라이언트를 식별하고 수 라운드 내에 정확도를 90% 이상으로 복구하며, 처음부터 재학습하는 것보다 훨씬 낮은 비용으로—계산 오버헤드를 최소 20배 줄이는—성과를 달성한다.

arXiv:2609.22818v1cs.CR공통 태그 Anomaly Detection, Adversarial Robustness

안전성의 대가: LLM 에이전트에서 메모리 포이즈닝 방어의 양성 케이스 유틸리티와 토큰 오버헤드

The Price of Safety: Benign-Case Utility and Token Overhead of Memory-Poisoning Defenses in LLM Agents

LLM 에이전트용 메모리 포이즈닝(memory-poisoning) 방어는 일반적으로 공격을 막는 능력으로 평가된다. 그러나 이들이 처리하는 트래픽은 적대적(adversarial)인 경우가 드물다. 방어를 도입하는 비용은 매 상호작용마다 지불되지만, 그 이익은 전체 중 극히 일부의 경우에만 나타난다. 우리는 메모리 백엔드, 검색(retrieval) 과정, 판정(judge)을 조건마다 동일하게 유지하고 방어 방식만 바꾸는 측정 설정을 마련했다. 각 조건을 다섯 개의 대화에 걸쳐 세 번씩 시험하여, temperature zero에서도 여전히 유의한 파이프라인 실행에 내재된 잡음과 방어의 실제 효과를 구분했다. 완전히 양성(benign) 트래픽 위에서 세 가지 쓰기 시점(write-time) 방어(입력 정화, 출처(provenance) 검증, LLM 기반 이상 탐지)와 하나의 읽기 시점(read-time) 방어(재순위화(reranking))를 시험한 결과, 쓰기 시점 방어들은 우리가 분별할 수 있는 유틸리티 비용을 보이지 않았으며, 95% 신뢰구간은 대략 ±4.5점 범위에 있고 0을 포함한다. 재순위화기(reranker)는 다르다. 핵심 정확도를 4.4점 낮추며(95% CI [-9.0, -0.05], bootstrap; McNemar p=0.064), 이 결과는 재현에도 견디지만 우리 해상도의 경계에 있다. 더 분명한 비용은 통계적이기보다 기계적이다. 공격이 없는 대화에서 재순위화기는 판정된 항목의 33.6%에서 정당한 메모리를 격리(quarantine)하며, 단일 대화에서 최대 106건의 거짓 격리에 이르고, 2.7%의 토큰 오버헤드가 있다. 네 가지 방어를 모두 겹쳐도 이 비용이 누적되지는 않는다. 결합 조건의 정확도 손실은 더 작고 신뢰구간이 0을 포함하여, 쓰기 시점 방어가 재순위화기가 버리는 것을 부분적으로 상쇄할 수 있음을 시사한다. LLM 사용 여부가 아니라 방어가 파이프라인을 어디서 가로채는지가 양성 케이스에서의 대가를 결정하는 것으로 보인다.

arXiv:2609.23596v1cs.CV공통 태그 Generative Adversarial Network, Adversarial Robustness

StyleAT: 의미론적 공격에 대한 얼굴 인식 방어

StyleAT: Defending Face Recognition Against Semantic Attacks

얼굴 인식 모델이 일상적인 인증 및 감시에 널리 쓰이면서, 최근 연구들은 이러한 모델의 한 가지 중요한 약점을 지적했다: 이 모델들은 적대적 의미론적 편집(adversarial semantic edits)에 여전히 매우 취약하다는 것이다. 즉, 입력에 대한 적대적으로 생성된 의미론적 변화(예: 약간의 노화나 자세 변화)가 오분류를 유발할 수 있다. 기존의 일부 공격은 강력하지만 계산 비용이 커서 방어(예: 적대적 학습을 통한) 개발에는 부적합하다. 이 공백을 메우기 위해, 우리는 StyleGAN의 풍부한 잠재 공간(latent space)에서 동작하여 오분류율을 극대화하는 강력한 의미론적 공격 BoundStyle을 제안한다. 특히 BoundStyle은 기존 최첨단 공격 대비 ${\sim}{\times}9.5$배 빠르면서도 높은 공격 성공률을 달성하여, 적대적 학습에 적합하다. BoundStyle을 기반으로, 저비용 공격 변형을 포함하면서도 더 강하고 보지 못한(unseen) 의미론적 공격에 대비하는 효율적인 적대적 학습 방식 StyleAT를 개발한다. 학습 과정에서 보지 못한 두 데이터셋과 일곱 개 모델에서 평가한 결과, StyleAT는 최첨단 공격에 대한 견고 정확도(robust accuracy)를 높이며 다양한 설정에서 일반적인 방어 기법을 능가한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.