arXiv:2501.07238

Lessons From Red Teaming 100 Generative AI Products

Blake Bullwinkel, Amanda Minnich, Shiven Chawla, Gary Lopez, Martin Pouliot, Whitney Maxwell, Joris de Gruyter, Katherine Pratt, Saphir Qi, Nina Chikanov, Roman Lutz, Raja Sekhar Rao Dheekonda, Bolor-Erdene Jagdagdorj, Eugenia Kim, Justin Song 외 11명

제출 2025-01-13

원문 초록

In recent years, AI red teaming has emerged as a practice for probing the safety and security of generative AI systems. Due to the nascency of the field, there are many open questions about how red teaming operations should be conducted. Based on our experience red teaming over 100 generative AI products at Microsoft, we present our internal threat model ontology and eight main lessons we have learned: 1. Understand what the system can do and where it is applied 2. You don't have to compute gradients to break an AI system 3. AI red teaming is not safety benchmarking 4. Automation can help cover more of the risk landscape 5. The human element of AI red teaming is crucial 6. Responsible AI harms are pervasive but difficult to measure 7. LLMs amplify existing security risks and introduce new ones 8. The work of securing AI systems will never be complete By sharing these insights alongside case studies from our operations, we offer practical recommendations aimed at aligning red teaming efforts with real world risks. We also highlight aspects of AI red teaming that we believe are often misunderstood and discuss open questions for the field to consider.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02827v1cs.AI공통 태그 Benchmarking, Red Teaming

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

arXiv:2610.00557v1cs.CR공통 태그 Benchmarking, Red Teaming

모든 것에 적합한 단일 아키텍처는 없다: 계층적 레드팀 에이전트의 교차 환경 평가

No One Architecture Fits All: A Cross-Environment Evaluation of Hierarchical Red Team Agents

자율 레드팀 에이전트는 전략을 계획하고 다단계 공격을 실행함으로써 AI 기반 사이버 방어를 스트레스 테스트하는 데 점점 더 많이 활용되고 있습니다. 강화학습(RL)과 대규모 언어 모델(LLM)은 이러한 에이전트가 요구하는 계획 및 실행에 대해 상호보완적인 메커니즘을 제공하며, 이전 연구들은 이들을 하이브리드 계층 구조로 결합해 왔습니다. 그러나 특정 아키텍처는 일반적으로 단일 환경 내에서 개발 및 평가되므로, 관찰된 이점이 전반적으로 더 강력한 의사결정 메커니즘을 반영하는 것인지 아니면 특정 설정에 대한 정렬에 불과한 것인지는 명확하지 않았습니다. 본 연구에서는 RL 계획기와 RL 실행기로 구성된 구조(RL+RL), 그리고 LLM 계획기와 LLM 실행기로 구성된 구조(LLM+LLM)라는 두 가지 동질적 계층형 레드팀 아키텍처에 대한 통제된 교차 환경 비교를 통해 이러한 공백을 해결합니다. CybORG CAGE-4 환경 및 두 가지 네트워크 규모의 Cyberwheel 환경에서, 단일 통합 무력화(disruption) 지표 하에 18개 구성을 바탕으로 전문가 자율 방어자를 상대로 두 아키텍처를 모두 평가했습니다. 그 결과 뚜렷한 환경 의존적 역전 현상을 발견했습니다. RL+RL은 조밀한 보상이 주어지는 소규모 CAGE-4(가장 강력한 LLM 구성의 18.0% 대비 78.5% 무력화 성공률)와 100대 호스트 규모의 Cyberwheel 네트워크(50.5% 대비 81.0%)에서 우세했던 반면, 사전학습된 사이버 보안 LLM 에이전트는 권한 상승이 관문 역할을 하는 더 큰 규모의 1010대 호스트 Cyberwheel 네트워크에서 우세했습니다(RL의 0.0% 대비 55.0%). 킬체인(kill-chain) 분석을 통해 전체 성공률에 가려져 있던 아키텍처별 병목 현상으로 이러한 역전을 설명합니다. 1010대 호스트 Cyberwheel 네트워크에서 RL은 호스트를 탐색하고 침해하지만 권한 상승 단계에서 정체되는 반면, CAGE-4에서는 LLM 에이전트가 특권 접근 권한을 획득하고도 이를 실제 운영상의 타격으로 전환하지 못합니다. 이러한 결과는 단일 환경에서 도출된 결론이 일반화되지 않을 수 있음을 시사하며, 하이브리드 계획기-실행기 설계는 특정 아키텍처가 보편적으로 우월하다는 가정보다는 구체적인 실패 모드를 기반으로 타당성을 확보해야 함을 보여줍니다.

arXiv:2610.02363v2cs.LG공통 태그 Benchmarking

ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다

ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time

에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.02946v2cs.CV공통 태그 Benchmarking

아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토

When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation

복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.

arXiv:2610.13549v3cs.CV공통 태그 Benchmarking

ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹

ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation

텍스트 기반의 장기 인간 동작 생성은 지속적으로 작동하는 디지털 아바타와 같은 응용에 필수적이다. 짧은 클립에 대해서는 최근 진전이 있었음에도, 기존 모델은 이전 구간에서 설정된 제약이 시간에 걸쳐 유지되어야 하는 조응(anaphora)을 포함한 다중 구간 지시문에서 어려움을 겪는다. 본 논문에서는 이러한 조응적 구성으로부터의 장기 동작 생성이라는 새로운 과제를 도입한다. 이 격차를 해소하기 위해 구간 간 의존성을 보존하는 조밀한 구간 수준 주석을 갖춘 에피소드형 장기 동작 데이터셋 ELMA를 제시한다. 완전 자동화된 수집 및 필터링 파이프라인으로 구축된 ELMA는 실환경 영상에서 고품질의 연속적인 30초 클립을 추출하여 장거리 상태 모델링에 필요한 에피소드형 서사를 담는다. ELMA를 사용하여 독립적 지시문 설정과 조응적 지시문 설정에서 대표적인 장기 동작 생성 모델을 벤치마크하고, 맥락적 미세 조정이 장거리 상태 모델링을 향상시키는지 연구한다. 폭넓은 실험을 통해 기존 모델이 맥락 의존적 지시문을 처리하는 능력과 한계에 대한 통찰을 제공한다. 이러한 결과는 구간 간 의존성 모델링의 어려움을 부각하며, 더 일관되고 의미적으로 정합적인 장기 동작 생성 모델 개발을 위한 유의미한 방향을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.