arXiv:2606.18193v2 cs.CR

Anthropic Fable 5 및 Opus 4.8 모델에 대한 레드팀 테스팅 연구

A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models

Nicola Franco

제출 2026-06-16

한국어 초록

본 연구에서는 Anthropic이 개발한 3개의 프론티어 대규모 언어 모델(LLM)인 Opus 4.8, Fable 5 및 그 후속 모델인 Fable 5.1을 대상으로, 10개 범주의 위해성 분류 체계에 걸친 7,826개의 유해한 의도에 대해 4가지 계열의 자동화된 탈옥(jailbreak) 공격에 맞선 적대적 강건성(adversarial robustness)을 평가합니다. HackAgent 레드팀 테스팅(red-teaming) 프레임워크를 활용하여 수십만 건의 적대적 시도를 생성하였으며, 3개의 대상 모델 모두에 대해 성공한 것으로 보이는 모든 결과는 5개의 프론티어 판정 모델로 구성된 동일한 패널($\geq 4/5$ 일치)을 통해 독립적으로 재심사되었습니다. 모든 모델이 대다수의 공격을 방어하지만, 잔여 취약 표면은 종합적인 수치가 시사하는 것보다 더 큽니다. 즉, 정적 난독화(static obfuscation)는 거의 완전히 무력화된 반면, 잔여 표면은 적응형 반복 공격에 의해 지배됩니다. 3개 대상 모델 모두에 동일한 분모로 실행된 두 가지 공격 계열(TAP 및 PAP)에서 강건성 순위는 출시일 순서를 따르지 않습니다. Fable 5가 가장 강건하고($2.72\%$), Opus 4.8이 그 뒤를 이었으며($5.76\%$), 최신 모델인 Fable 5.1이 가장 덜 강건했습니다($8.19\%$). 세 모델은 대체로 서로 겹치지 않는 영역에서 실패하며, 각 모델이 실제로 응답한 프롬프트(prompt)를 조건부로 분석해 보면 그 이유가 드러납니다. 적응형 트리 탐색은 세 모델 모두를 대체로 유사한 비율($10.1\%$, $9.7\%$, $12.1\%$)로 무력화하는 반면, 원샷(one-shot) 설득은 한 자릿수(order of magnitude) 이상의 격차($3.1\%$, $0.7\%$, $9.5\%$)로 모델들을 구분 짓습니다. 적대적 관점에서 이 모델들을 구별하는 요소는 탐색에 대한 저항력이 아니라 프레이밍(framing)에 대한 저항력입니다. 그럼에도 불구하고, 인간 전문가의 개입 없이 공격자 모델에 의해 자동적이고 저렴하게, 대개 1~2회의 정제 단계 내에서 모든 위해성 범주에 걸쳐 패널 검증을 거친 유해 완결문이 Opus 4.8은 1,315개, Fable 5는 620개, Fable 5.1은 1,282개 생성되었습니다. 지속적인 자동화 압력 하에서는 가장 우수하고 가장 많은 테스트를 거친 프론티어 모델조차 여전히 안정적으로 무력화될 수 있으며, 강건성이 버전 간에 단조적으로 향상되지는 않습니다.

원문 초록

We evaluate the adversarial robustness of three frontier large language models (LLMs) developed by Anthropic, Opus 4.8, Fable 5 and its successor Fable 5.1, against four families of automated jailbreak attack across 7,826 harmful intents spanning a ten-category harm taxonomy. Using the HackAgent red-teaming framework, hundreds of thousands of adversarial attempts were generated and every apparent success was independently re-adjudicated by the same panel of five frontier judge models ($\geq 4/5$ agreement) for all three targets. All models resist the majority of attacks, but the residual surface is larger than aggregate framing suggests: it is dominated by adaptive iterative attacks, while static obfuscation is near-fully neutralised. On the two attack families run against all three targets (TAP and PAP), with identical denominators, the ordering does not follow release date: Fable 5 is most robust ($2.72\%$), Opus 4.8 follows ($5.76\%$) and the newest model, Fable 5.1, is least robust ($8.19\%$). The three fail in largely disjoint places, and conditioning on prompts each model actually answered shows why: adaptive tree search breaks all three at broadly similar rates ($10.1\%$, $9.7\%$, $12.1\%$), whereas one-shot persuasion separates them by more than an order of magnitude ($3.1\%$, $0.7\%$, $9.5\%$). What distinguishes these models adversarially is their resistance to framing, not to search. Even so, they produced 1,315 (Opus 4.8), 620 (Fable 5) and 1,282 (Fable 5.1) panel-confirmed harmful completions spanning every harm category, found automatically and cheaply, usually within one or two refinement steps, by an attacker model with no human expert in the loop. Even the best, most-tested frontier models remain reliably breakable under sustained automated pressure, and robustness does not monotonically improve from one version to the next.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18193v2제출 시각 미확인
  2. arXiv:2606.18193v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.