arXiv:2605.09504v3 cs.CR

모델 제한에 가려진 시스템의 부재: 공격적 AI 거버넌스에서의 측정과 책임

Restricting the Model, Missing the System: Measurement and Accountability in Offensive AI Governance

Michael Alexander Riegler, Finn Schwall, Annika Willoch Olstad, Birk Sebastian Frostelid Torpmann-Hagen, Sushant Gautam, Klas H. Pettersen, Inga Strümke

제출 2026-05-10

한국어 초록

본 논문에서는 AI의 공격 역량(offensive capability)을 측정하는 데 사용되는 도구들이 두 가지 측면에서 한계를 지닌다는 점을 보인다. 즉, (i) 위해성(harm)을 과장하고, (ii) 모델을 둘러싼 주변 시스템에 기인하는 능력을 모델 자체의 능력으로 귀속시킨다는 점이다. 따라서 모델에 대한 접근을 제한하는 것만으로는 필요조건일 뿐 충분조건이 아니며, 정책 및 조달 과정에서도 시스템 수준의 위해성 기반 역량 평가가 필요하다고 주장한다. 2026년 6월, 코드베이스를 읽고 결함을 수정하도록 요구하는 탈옥(jailbreak)이 발단이 되어 두 개의 프론티어 모델이 미국 수출 통제에 따라 정지된 바 있다. 그러나 이 결과는 모델, 프롬프트(prompt), 태스크로 구성된 유도 시스템(elicitation system)을 측정한 것이었다. 우리는 경량 대규모 언어 모델(LLM) 에이전트들이 공유 메모리와 진화적 최적화(evolutionary optimization)를 통해 협업하는 오픈소스 프레임워크 연구를 바탕으로 두 가지 근거를 제시하여 주장을 뒷받침한다. 첫째, 탈옥 지표는 위해성을 과장한다. 타깃당 225개 이상의 군집 생성 공격에서 LLM 판정관(LLM-as-judge) 점수는 Claude Sonnet 4가 40%의 공격에서 침해당했다고 평가했으나, 수동 검증 결과 실제 실행 가능한 유해 콘텐츠는 전혀 발견되지 않았으며 GPT-4o의 유효 위해율(Effective Harm Rate)은 45.8%였다. 둘째, 스캐폴딩(scaffolded) 평가는 역량을 잘못 귀속시킨다. 취약점이 심어진 타깃에서 1.2B(12억) 매개변수(parameter) 모델 기반의 전체 파이프라인은 9개 취약점 중 9개를 모두 복원한 반면, 수작업으로 구축된 구성 요소가 없는 동일 모델은 충돌 검증(crash verification) 기준 0/9개, 인용된 소스 라인 기준 2/9개 복원에 그쳤다. 공격 역량은 모델, 스캐폴드, 평가 프로토콜이 결합되어 나타나는 특성이다. 따라서 이를 평가할 책임은 시스템을 제어하고, 시스템의 동작을 형성하며, 그 동작을 예측할 수 있는 주체에게 있어야 한다. 본 연구 환경에서는 모델을 둘러싼 하네스(harness)를 구축하는 주체가 이에 해당하지만, 현재의 규제는 이러한 역할을 명확히 포괄하지 못하고 있다.

원문 초록

We show that the instruments used to measure AI offensive capability fail in two ways: (i) they overstate harm, and (ii) they credit the model with capability that belongs to the surrounding system. We argue that restricting access to a model is therefore necessary but not sufficient and that policy and procurement also need system-level, harm-grounded capability assessment. In June 2026, two frontier models were suspended under US export controls, reportedly prompted by a jailbreak that asked a model to read a codebase and fix its flaws. This finding measured an elicitation \emph{system} of model, prompt, and task. We support our argument with a study of an open-source framework in which lightweight large language model (LLM) agents coordinate through shared memory and evolutionary optimization, providing two pieces of evidence. First, jailbreak metrics overstate harm: over 225 swarm-generated attacks per target, LLM-as-judge scoring rated Claude Sonnet 4 compromised in 40% of attacks, yet manual verification found actionable harmful content in none, against a 45.8\% Effective Harm Rate for GPT-4o. Second, scaffolded evaluations misattribute capability: on a planted-vulnerability target, a full pipeline built around a 1.2B-parameter model recovers 9 of 9 weaknesses, while the same model without the hand-crafted components recovers 0 of 9 by crash verification and 2 of 9 by cited source line. Offensive capability is a property of model, scaffold, and evaluation protocol together. The duty to assess it should lie with whoever controls the system, shapes its behaviour, and can foresee what it will do. In our setting, that is the party who builds the harness around the model, a role that current regulation does not clearly cover.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.09504v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02827v1cs.AI공통 태그 Benchmarking, Adversarial Attack, Red Teaming, Large Language Model

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

arXiv:2610.03153v1cs.CR공통 태그 Benchmarking, Adversarial Attack, Large Language Model

EvoRiskBench: 워크스페이스 에이전트의 런타임 보안 위험을 위한 진화형 벤치마크

EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents

워크스페이스 에이전트(workspace agent)는 대규모 언어 모델(LLM)과 실행 하네스를 결합하여 외부 자원에 접근하거나 이를 수정하는 상태 기반의 다단계 작업을 수행합니다. 기존 벤치마크는 이러한 에이전트의 런타임 보안 위험에 대한 실행 가능한 커버리지에 공백을 남기고 있는 반면, 진화하는 모델 역량, 하네스, 도구 및 위협은 벤치마크의 진화를 필요로 합니다. 본 논문에서는 에이전트 매개 위험 경로를 통해 초기 위험 진입점(entry point)을 단일 홉 기술적 효과(technical effect)와 연결하는 EP-Path-EF 프레임워크를 기반으로 구성된 진화형 벤치마크인 EvoRiskBench를 소개합니다. 이 프레임워크는 9개의 진입점 범주와 5개의 효과 범주를 정의하며, 20명의 참가자를 대상으로 한 연구를 통해 대표 사례들에 대한 해석 가능성과 분류 일관성이 확인되었습니다. 이 프레임워크의 안내에 따라, 자동화된 엔드투엔드 워크플로는 격리된 환경에서 위험 사례를 구성 및 실행하고 런타임 추적 및 환경 상태를 사용하여 결과를 독립적으로 검증합니다. 이 벤치마크는 6개 시나리오에 걸친 450개의 적대적 작업으로 구성된 재현 가능한 데이터셋을 제공합니다. 저자들은 세 가지 모델(GPT-5.6 Sol, DeepSeek-V4-Pro-0813, Claude Opus 5)과 세 가지 하네스(Claude Code, Codex, OpenClaw)에 걸친 9가지 모델-하네스 구성을 평가합니다. 평가 결과 전반적인 시스템에서 상당한 취약점이 드러났습니다. 가장 취약한 구성인 DeepSeek-V4-Pro-0813 기반의 Codex는 68.44%의 공격 성공률(ASR)에 도달하여, 워크스페이스 에이전트의 구성만으로는 안전한 자율 실행을 보장하기에 불충분함을 보여줍니다. ASR은 하네스보다 모델 간 편차가 더 컸으며, 하네스에 따른 차이는 모델에 따라 다르게 나타났습니다. 벤치마크 사례와 평가 플랫폼은 아티팩트의 안전성 및 재현성 검증이 완료된 후 공개될 예정입니다.

arXiv:2610.02975v2cs.AI공통 태그 Evolutionary Algorithms, Large Language Model

불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화

Reliable Self-Evolution with Imperfect Proxy Rewards

대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.

arXiv:2610.02418v2cs.CR공통 태그 Adversarial Attack, Large Language Model

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.10942v2cs.AI공통 태그 Benchmarking, Large Language Model

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.