안전성 정렬(safety alignment)이 대규모 언어 모델(LLM) 학습의 필수적인 단계라는 점은 의심할 여지가 없다. 그러나 개념적으로 안전성 정렬은 다양한 도메인과 쿼리의 잠재적 위해 수준을 구분하지 않으며, 이는 모델이 합법적이고 승인된 작업의 목표를 달성하기 위해 안전 회로에 의해 제한받아서는 안 되는 사이버보안과 같은 분야에서 중대한 문제를 야기한다. 본 연구에서는 24개의 오픈소스 LLM에 대한 대규모 어블리터레이션(abliteration) 실험 결과를 공유하고, 1조 매개변수 규모의 Kimi K2를 예시로 표준 방법론을 통해 도메인 특화 어블리터레이션이 달성 가능함을 보인다. LLM의 거부(refusal)가 레이어 내 다차원 부분공간을 차지한다는 최근 연구를 토대로, 거부가 레이어 전반에 걸쳐 광범위하게 분산되어 있음을 발견하였으며, 특히 1조 매개변수 규모의 전문가 혼합(MoE) 아키텍처에서 두드러짐을 확인한다. 이에 따라 사이버보안 도메인의 유해한 개념을 독점적으로 나타내는 부분만을 포착하는 것을 목표로 한다. 또한 모델의 특성과 도메인 특화 어블리터레이션 효과 간의 상관관계를 조사하여, 안전성 학습 유형과 아키텍처가 가장 신뢰할 수 있는 예측 인자임을 확인한다. 마지막으로 모델을 3가지 어블리터레이션 민감도(abliteration susceptibility) 등급으로 분류하고, 특정 모델에서 해당 개입으로 인해 특정 효과가 관찰될 수 있는 이유에 대한 일련의 추측을 제시한다.
The use of agentic systems to perform offensive security operations has moved from a theoretical possibility to a commoditized capability. However, while the community has focused on creating more and more capable agents, less attention has been allocated to assessing the security of those systems. In this work, we present the first in-depth security analysis of the most widely used agentic systems for offensive security operations. We show that most of these tools share common design flaws that enable an active adversary to exfiltrate API keys, establish persistent footholds, and fully compromise the operator's machine, even when the agent operates inside a sandboxed container. To support our analysis, we introduce a full cyber kill chain for such agentic systems, capturing the progression from initial LLM manipulation to lateral movement, persistence, guardrail bypass, and sandbox escape. Building on our security analysis, we derive a robust architecture for agentic offensive-security tools and propose actionable, broadly applicable design principles that mitigate the disclosed attack paths at the architectural level.