arXiv:2502.07045

Scalable and Ethical Insider Threat Detection through Data Synthesis and Analysis by LLMs

Haywood Gelman, John D. Hastings

제출 2025-02-10

원문 초록

Insider threats wield an outsized influence on organizations, disproportionate to their small numbers. This is due to the internal access insiders have to systems, information, and infrastructure. %One example of this influence is where anonymous respondents submit web-based job search site reviews, an insider threat risk to organizations. Signals for such risks may be found in anonymous submissions to public web-based job search site reviews. This research studies the potential for large language models (LLMs) to analyze and detect insider threat sentiment within job site reviews. Addressing ethical data collection concerns, this research utilizes synthetic data generation using LLMs alongside existing job review datasets. A comparative analysis of sentiment scores generated by LLMs is benchmarked against expert human scoring. Findings reveal that LLMs demonstrate alignment with human evaluations in most cases, thus effectively identifying nuanced indicators of threat sentiment. The performance is lower on human-generated data than synthetic data, suggesting areas for improvement in evaluating real-world data. Text diversity analysis found differences between human-generated and LLM-generated datasets, with synthetic data exhibiting somewhat lower diversity. Overall, the results demonstrate the applicability of LLMs to insider threat detection, and a scalable solution for insider sentiment testing by overcoming ethical and logistical barriers tied to data acquisition.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01000v1cs.AI공통 태그 Diversity, Synthetic Data Generation

LLM이 생성한 선호도 분포 평가

Evaluating LLM-Generated Preference Distributions

대규모 언어 모델(LLM)은 실제 데이터를 얻기 어려운 환경에서 시뮬레이션, 합성 데이터 생성, 의사결정 지원을 위한 확률론적 생성기로 점차 널리 활용되고 있습니다. 그러나 이들 모델이 생성하는 분포의 구조와 신뢰성은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 항공 여행, 음식점, 소비자 제품에 대해 LLM이 생성한 선호도 분포를 체계적으로 분석합니다. 고무적으로도 분석 대상이 된 모든 모델은 자기 일관성(self-coherence)을 보였으며, 반복적인 샘플링 환경에서도 가장 확률이 높은 결과가 빠르게 안정화되었습니다. 동시에 모델 패밀리와 스케일 전반에 걸쳐 상당한 불일치가 관찰되었으며, 가장 확률이 높은 결과 사이에서도 일치도가 거의 나타나지 않았습니다. 이러한 패턴은 9개의 오픈 가중치(open-weight) 모델과 3개의 선택 영역 전반에서 일관되게 나타났으며, 온도(temperature) 변화, 탐욕적 디코딩(greedy decoding), 프롬프트 및 순서의 변형(perturbation)에 대해서도 강건함을 보였습니다. 우리의 연구 결과는 결과물이 프롬프트의 문구보다 모델 선택에 더 큰 영향을 받는다는 점을 시사하며, 충분한 역량을 갖춘 LLM을 설문 응답자의 대리인으로 활용할 때 유사한 선호도 분포를 생성할 것이라는 일반적인 가정에 의문을 제기합니다.

arXiv:2607.04631v1cs.AI공통 태그 Diversity, Synthetic Data Generation

Formal Disco: 형식 검증 프로그램의 확장 가능한 오픈엔드 생성

Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs

AI 에이전트의 역량이 빠르게 향상됨에 따라 코드 생성 비용은 급격히 낮아지고 있지만, 생성된 프로그램의 품질 보증은 이에 발맞추지 못하고 있다. 형식 검증(formal verification)은 가장 강력한 수준의 보장을 제공하지만, 검증 인식 언어(verification-aware language)로 작성된 인간 예제의 희소성으로 인해 AI 모델이 이러한 언어를 다루는 능력이 제한된다. 이러한 만연한 데이터 희소성 문제를 해결하기 위해, 우리는 Formal Disco를 제안한다. 이는 대규모 오픈엔드 합성 데이터 생성에 손쉽게 적용할 수 있는 대규모 언어 모델(LLM) 기반 워커 조율을 위한 분산 시스템이다. 우리는 Formal Disco를 사용하여 세 가지 유형의 워커 간에 태스크와 프로그램을 공유한다: 오픈소스 저장소의 임의 README와 문서 스니펫을 읽어 관련 검증 프로그램의 초안을 작성하는 "initiator", 컴파일러 및 검증기 피드백을 받아 문제를 해결하는 "fixer", 그리고 동작하는 프로그램을 받아 이를 확장하는 패치를 제안하는 "extender"이다. Formal Disco는 에이전트가 생성한 모든 트레이스를 기록하고, 이를 더 강력한 모델로부터의 초기 지식 증류(distillation)와 자기 개선 모두에 활용한다. 또한 합성 프로그램 생성을 위한 최대 엔트로피 원칙을 제안하고, 반복적인 지도 미세조정(supervised fine-tuning)을 통한 엔트로피 최대화를 사용하여 시간이 지남에 따라 점점 더 다양한 프로그램을 생성하도록 학습한다. Dafny, Verus, Frama-C 세 가지 언어로 작성된 대규모 합성 검증 프로그램 데이터셋을 공개하고, 검증 관련 태스크를 위한 오픈 모델을 미세조정하여 Claude Opus 4.5의 성능과 동등하거나 이를 초과하는 결과를 자주 달성한다. 전반적으로, 우리의 연구는 형식 추론 도메인에서 대규모 합성 데이터를 생성하고 오랫동안 지속되어 온 데이터 장벽을 극복하는 경로를 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.