Physical-world models (PhyModels) perform grounded perception, reasoning, or decision tasks; physical-world agents (PhyAgents) combine these models with planning or tool use. We introduce RedPhys, an extensible red-teaming platform, instantiated here with vision-language models and agents. Shared interfaces make tasks, test methods, defenses, and victim systems configurable and extensible, producing robustness reports and datasets for future alignment. The platform emphasizes adversarial testing that seeks physically grounded functional failures, while also supporting non-adversarial input perturbations without an attack objective. The benchmark integrates 12 red-teaming methods, 3 model-agnostic defenses, and 13 PhyModels across seven physical domains under a practical black-box threat model. An agentic target-generation pipeline derives a scene-specific, physically grounded target, so targeted methods pursue the same intended error. Our evaluation shows that when attackers control the text prompt or add auxiliary visual instructions, injection exposes substantial instruction-following vulnerabilities; among bounded visual-transfer attacks, multimodal co-optimization transfers best; single-pass generative attacks approach iterative methods without per-image optimization; and neither model scale nor physical-reasoning post-training confers robustness. Code is available at https://github.com/loopleap-lab/RedPhys.
개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.
다중 에이전트 시스템(MAS)은 역할 분해, 조정, 규범적 거버넌스를 위한 성숙한 추상화를 제공하지만, 학습된 컴포넌트의 성능이 점차 향상됨에 따라 배포 후 안전성(safety)을 점검, 감사 및 업데이트하기가 더 어려워지고 있습니다. 안전성 행동이 의사결정 컴포넌트에 흡수되면, 국소적인 실패만으로도 전체 컴포넌트의 재학습(retraining)이나 롤백이 필요할 수 있습니다. 본 연구는 의사결정 생성과 안전성 거버넌스를 분리하는 거버넌스 중심 하이브리드 MAS 아키텍처로서 정렬(alignment) 플라이휠에 대한 비전을 구체화합니다. 후보 궤적을 생성하는 에이전트 또는 정책을 제안자(Proposer)로 정의하며, 이는 출력을 거버넌스된 안전성 오라클(Safety Oracle) 스택으로 전달합니다. 이 오라클 스택은 안정적인 인터페이스를 통해 안전성 점수, 예측 불확실성, 감사 커버리지 불확실성, 증거 훅을 반환합니다. 집행 층(Enforcement layer)은 런타임에 명시적인 위험 정책을 적용합니다. 이 루프를 중심으로 거버넌스 MAS는 모니터링, 레드팀 테스팅(red-teaming), 검증, 트리아지, 개선 및 버전 관리되는 릴리스 관리를 수행합니다. 핵심적인 엔지니어링 원칙은 패치 국소성(patch locality)입니다. 새로 관찰된 많은 안전성 실패는 제안자를 재학습하거나 철회하는 대신, 오라클 스택과 해당 감사 상태에 대한 소규모 거버넌스 배치를 통해 완화될 수 있습니다. 이 아키텍처는 제안자와 오라클 모두에 대해 구현에 구애받지 않습니다(implementation-agnostic). 또한 런타임 게이팅, 감사 수집, 서명된 업데이트, 단계적 롤아웃 및 롤백에 필요한 역할, 산출물, 프로토콜, 릴리스 시맨틱을 정의합니다. 우리는 회귀 검증된 거버넌스 업데이트를 통해 패치된 학습 기반 공간 오라클과 구조화된 규범, 에스컬레이션, 감사 커버리지를 보여주는 임상 GenAI 프록시 환경의 두 가지 시나리오에서 실행 가능성을 입증합니다. 구현 코드와 문서는 https://github.com/decide-ugent/Alignment-Flywheel 에서 오픈 소스로 제공됩니다.
대규모 언어 모델(LLM)은 건강 관련 질문에 답하고 의료 워크플로를 지원하는 데 점점 더 많이 사용되지만, 안전성에 대한 근거는 여전히 빠르게 구식이 되거나 최적화 대상이 될 수 있는 정적 벤치마크에 크게 의존한다. 여기서 우리는 건강 분야 LLM을 네 가지 안전 핵심 축—견고성(robustness), 프라이버시(privacy), 바이어스/공정성(bias/fairness), 환각/사실 부정확성(hallucination/factual inaccuracies)—에 걸쳐 지속적으로 스트레스 테스트하는 동적·자동·체계적(Dynamic, Automatic, and Systematic, DAS) 레드팀 테스팅 감사 프레임워크를 제안한다. 전문의 자격을 갖춘 임상의와의 높은 일치도로 검증된 이 프레임워크에서, 적대적 에이전트(adversarial agents) 모음이 건강 관련 테스트 케이스를 자율적으로 변형(mutate)하여 실시간으로 취약점을 드러낸다. DAS를 독점 및 오픈소스 LLM 15개에 적용한 결과, 높은 정적 벤치마크 성능과 낮은 동적 신뢰성 사이에 "벤치마킹 격차(Benchmarking Gap)"라는 심각한 간극이 드러났다. MedQA 정확도의 중앙값이 80%를 넘었음에도, 이전에 정답이었던 응답의 94%가 동적 견고성 테스트에서 실패했다. 이러한 취약성은 현실적이고 개방형 질문 형식의 HealthBench 데이터셋에서도 일반화되었으며, 최상위 모델들은 70%를 넘는 실패율과 평가 간 모델 순위의 급격한 변동을 보였다. 이는 확립된 정적 벤치마크의 높은 점수가 피상적인 암기를 반영할 수 있음을 시사한다. 다른 영역에서도 유사하게 높은 실패율을 관찰했다: 86%의 시나리오에서 프라이버시 유출이 유발되었고, 인지 바이어스 프라이밍(cognitive-bias priming)이 공정성 테스트의 81%에서 권고를 바꾸었으며, 널리 사용되는 모델에서 환각 비율은 74%를 넘었다. 건강 분야 LLM 안전성 평가를 정적 체크리스트에서 살아 있는 적대적 감사로 전환함으로써, DAS는 소비자 대상 건강 어시스턴트, 임상의 대상 도구, 더 넓은 의료 워크플로에 배포되기 전에 잠재 위험을 드러내는 확장 가능한 프레임워크를 제공한다. 코드는 https://github.com/JZPeterPan/DAS-Medical-Red-Teaming-Agents 에서 확인할 수 있다.
Open-weight medical language models are increasingly used as the base of patient-facing and clinician-support applications. Their model cards prohibit specific behaviors -- recommending exact drug dosages, issuing definitive diagnoses, prescribing treatments, adjudicating drug-drug interactions, and advising that emergency care can be skipped -- yet a model card describes intended behavior, not robust behavior. We quantify that gap for MedGemma-4B-it under attacks that require no technical sophistication. We build a fully factorial benchmark of 5 guarded-behavior concepts x 50 deterministically templated questions x 6 lay-accessible attack manners x 3 repetitions (4,500 generations), serve the model locally through Ollama under default sampling, and code every response refuse/hedge/comply with three independent judges (an LLM judge, a transparent regex judge, and an NLI-entailment judge). Under the primary LLM judge the overall Attack Success Rate (ASR, the fraction coded comply) is 38.0%. The two framings that reinterpret the request as legitimate dominate: recasting a question as a "medical board exam" item raises ASR from a 29.0% baseline to 53.1% (+24.0 points), and an appeal to an alleged doctor's authority raises it to 43.7% (+14.7); crude instruction-override prefixes have no significant effect. Robustness is dominated by topic: the drug-interaction guardrail is nearly absent (83.2% ASR) while the emergency-deferral guardrail is strong (4.7%) -- and the authority framing is the only attack that breaches it. We report Wilson confidence intervals, cluster-bootstrap effect sizes, a cluster-robust logistic regression, Cochran's Q, per-manner McNemar tests, and inter-judge reliability (Fleiss' kappa = 0.26); absolute ASR is judge-dependent while the ordering of attacks and topics is not. Our findings motivate stronger deployment-time guardrails for open medical models.
다중모달 에이전트형 검색-증강 생성(RAG)의 텍스트·이미지 포이즈닝, 직접 쿼리, 오케스트레이터 조작 등 네 가지 공격 표면을 대상으로, MIRROR는 검색 컨텍스트 기반 후보 생성과 결정론적 Novelty Gate를 결합한 메모리 기반 몬테카를로 트리 탐색(MCTS)으로 통합 레드팀 테스팅을 수행한다. 네 표면 평가에서 이미지 포이즈닝 76% ASR(베이스라인 52%), 쿼리 비용 절반으로 오케스트레이터 공격 97% ASR, 최저 교차 표면 분산(변동계수 0.47)을 달성했으며 ART-SafeBench를 공개한다.
Large Language Models remain vulnerable to adversarial prompts that elicit harmful responses, and scaling red-teaming to cover a broad range of failure modes is constrained by the cost of text generation and evaluation. We present \emph{ToxSearch-S}, a speciated extension of toxicity-focused evolutionary prompt search with incremental, embedding-driven niche maintenance, together with an MPI master-worker realization that centralizes population and species bookkeeping on rank~0 while offloading prompt evolution and evaluation to $n_w$ parallel workers. Under a common budget, ToxSearch-S attains peak toxicity competitive with both ToxSearch and RainbowPlus while following a measurably less toxic best-so-far trajectory, indicating lower cumulative search pressure. Diversity is non-uni-dimensional: RainbowPlus yields greater embedding-level spread, whereas ToxSearch-S partitions high-toxicity prompts into more localized behavioral pockets, reflected by a higher DBSCAN cluster count. MPI distribution delivers substantial wall-clock gains, approximately $1.8\times$ with two workers and $3.2\times$ with four, while leaving Best@B statistically indistinguishable from sequential execution. Four-worker runs also produce significantly larger final species cardinality and more toxicity-bearing species, without a reliable gain in global peak toxicity. These results position incremental speciation as a practical quality-diversity mechanism for AI Safety and MPI as an effective means of compressing time-to-result while preserving measured search outcomes.
Scaling adversarial evaluation of large language models requires both a method for generating hard inputs and a reliable way to confirm that resulting failures are real. We present AdversaBench, an end-to-end red-teaming pipeline that mutates seed prompts with five structured operators, queries a target model, and confirms failures through a three-judge panel with a meta-judge tiebreaker. We report experiments on 45 seeds across three categories: reasoning, instruction-following, and tool use. Every seed produced a confirmed failure. Four findings stand out. First, operator effectiveness varies sharply by category: inject_distractor scores 0.00 mean reward on instruction-following seeds but 0.80-0.83 on reasoning and tool-use. Second, binary failure rate hides difficulty: instruction-following seeds required 2.4 attacker iterations on average versus 1.1 for other categories, a gap visible in survival curves. Third, pairwise judge agreement of 80-87% coexists with near-zero Cohen's kappa due to label skew; category-level disagreement rates are more informative. Fourth, adversarial prompts generated against Llama 3.1 8B transfer zero-shot to Llama 3.3 70B, suggesting the mutations exploit general behavioral patterns rather than model-specific weaknesses. Code, dataset, and analysis scripts are available at https://github.com/khanak0509/AdversaBench .
기존 안전성 벤치마크는 일반적인 적대적 시나리오를 대상으로 하지만 금융 특화 위험을 놓치고 있습니다. 금융 대규모 언어 모델(LLM)은 규제 준수 위반, 사기 조장, 시스템적 신뢰 침식 등의 문제에 직면하며, 이는 표적화된 평가가 필요합니다. 우리는 금융 전문가와 함께 개발된 금융 LLM 안전성 평가를 위한 전문가 주도 레드팀 테스팅 프레임워크인 FinRED를 소개합니다. FinRED는 규제 회피부터 복잡한 사기에 이르는 위협에 전 세계 표준(예: FATF 및 EU DORA)을 매핑하는 새로운 2단계 분류 체계를 사용하며, 전문가 정의 스키마를 통해 실제 금융 문서를 문맥이 풍부한 레드팀 테스팅 행동 프롬프트(seeds)로 변환하는 확장 가능한 파이프라인과 통합되어 있습니다. 엄격한 전문가 검증은 의미 있는 LLM 안전성 평가를 위한 시드의 타당성과 현실성을 확인합니다. 또한 면책 조항 확인을 넘어서는 전문가 검증된 금융 특화 루브릭을 제공하며, 이는 정적이고 획일적인 루브릭보다 인간 전문가와 더 밀접하게 정렬되며 중요한 미탐(false negative)을 28개에서 12개로 줄입니다. 국제적으로 채택된 위험 관리 및 정보 보안 표준(예: ISO/IEC 27001)과 정렬된 FinRED는 실제 금융 서비스에서 생성형 AI 보안 평가를 위해 한국 금융보안원(FSI) 규제 샌드박스에 배포되었습니다. 이중 용도(dual-use) 위험을 완화하기 위해 데이터셋, 생성 파이프라인, 프롬프트 템플릿 및 평가 프레임워크는 자격 있는 연구자를 위해 https://github.com/selectstar-ai/FinRED-paper 및 https://huggingface.co/datasets/datumo/FinRED에서 게이트(gated)되어 제공됩니다.
계층적 다중 에이전트 시스템(MAS)의 보안 취약점을 분석하기 위해 에이전트 수준의 Shapley value를 활용하여 취약한 연합을 식별하고 조정된 적대적 공격을 생성하는 MAStrike라는 레드팀 테스팅 프레임워크를 제안합니다. 다양한 최신 모델 기반의 MAS에서 수행된 광범위한 실험 결과, MAStrike는 기존 휴리스틱 기반 방법보다 월등히 우수한 성능을 보이며 에이전트 간의 중요한 상호작용 구조를 밝혀냈습니다.
외부 환경과 상호작용하는 LLM 에이전트(agent)의 잠재적 프롬프트 인젝션(prompt injection) 위협을 식별하기 위해, 피드백 기반 탐색을 통해 테스트 케이스를 진화시키는 자동화된 레드팀(red-teaming) 프레임워크인 PI-Hunter를 제안한다. 이 방법은 기존 방어 조치 하에서도 강력한 기준선 대비 취약점 노출 및 공격 표면 커버리지를 유의미하게 향상시킨다.
멀티모달 대규모 언어 모델(MLLM)로 구동되는 그래픽 사용자 인터페이스(GUI) 에이전트가 점차 더 많이 배포되고 있으나, 환경 주입 공격(EIAs)에 취약합니다. 그러나 현재의 레드팀 테스팅 방법들은 과도한 계산 비용과 제한된 적응성으로 인해 제약이 있습니다. 아직 해결되지 않은 근본적인 질문이 있습니다: 공격 성공의 병목은 시각적 지각에 있는 것인지, 아니면 의미론적 이해에 있는 것인지 하는 점입니다. 통제된 실험을 통해 우리는 시각적 외관이 아닌 의미론적 기만이 공격 성공을 결정하는 주요 요인임을 관찰했습니다. 이 통찰을 바탕으로, 우리는 의미론적 차원 내에서만 적대적 페이로드를 진화시키는 진화적 프레임워크인 EVA를 소개합니다. EVA는 언어적 취약성 패턴을 발굴하여 이를 일반화 가능한 규칙으로 증류하는 발견-배포(discovery-deployment) 프레임워크를 사용합니다. 5개의 대표적인 피해 에이전트에 대한 실험 결과, EVA는 최대 85%의 공격 성공률을 달성하며 단 1.18~1.71회의 반복(iteration) 내에 무해한 시드를 성공적인 공격으로 진화시킴을 보여줍니다. 이러한 빠른 수렴은 모델의 잠재 표현 내에 조밀한 의미론적 공격 공간이 존재함을 드러내며, 중요한 정렬 역설을 밝혀냅니다. 즉, 정렬 학습에 의해 강화된 지시 따르기 능력은 에이전트가 권위 있고 의미론적으로 기만적인 환경 단서에 본질적으로 취약하게 만듭니다.