arXiv:2610.02920v1 cs.AI

HASTE: 희소한 증거를 활용하여 새로운 공격에 대응하는 에이전트 하네스 진화 기법

HASTE: Evolving Agent Harnesses Against Emerging Attacks Using Sparse Evidence

Xiqiao Xiong, Moxin Li, Zhixin Ma, Ouxiang Li, Wenjie Wang, Fuli Feng, Xiangnan He

제출 2026-10-02

한국어 초록

에이전트 하네스(agent harness)는 안전하지 않은 행동을 방지하기 위한 안전성(safety) 제약 조건을 강제함으로써 방어에서 중요한 역할을 수행합니다. 그러나 급격히 등장하는 새로운 공격들은 수동적인 하네스 적응 속도를 앞지르고 있어, 자동화된 하네스 진화의 필요성을 부각합니다. 하지만 위협 보고서나 프리프린트(preprint)에 기재된 짤막한 설명이나 소수의 공격 사례처럼, 하네스 진화에 사용할 수 있는 신호는 종종 희소(sparse)합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 안전 사양 생성과 공격 사례 생성 간의 적대적 상호작용을 통해 희소한 위협 증거로부터 에이전트 하네스를 진화시키는 다중 에이전트 프레임워크인 HASTE를 소개합니다. 안전 사양은 하네스 업데이트가 식별된 안전 취약점을 해결하도록 유도하며, 공격 사례는 각 업데이트 이후 잔여 안전 취약점을 탐색합니다. 평가(evaluation) 결과를 두 프로세스 모두에 피드백함으로써, HASTE는 초기에 관찰된 증거를 넘어 새롭게 등장하는 공격에 맞서 하네스를 진화시킬 수 있도록 합니다. 다양한 백본 모델, 공격 유형 및 증거 형태에 걸친 실험 결과는 HASTE가 정상 작업(benign-task)의 유용성을 보존하면서도 공격 성공률을 일관되게 낮춤을 보여줍니다. 코드는 https://github.com/xxiqiao/HASTE 에서 확인할 수 있습니다.

원문 초록

Agent harnesses play a critical role in defenses by enforcing safety constraints to prevent unsafe actions. However, rapidly emerging attacks outpace manual harness adaptation, motivating automated harness evolution. Yet the signals available for harness evolution are often sparse, such as brief descriptions or a few attack examples in threat reports and preprints. To address this limitation, we introduce HASTE, a multi-agent framework that evolves agent harnesses from sparse threat evidence through an adversarial interplay between safety-specification generation and attack-case generation. Safety specifications guide harness updates toward addressing identified safety vulnerabilities, while attack cases probe for remaining safety vulnerabilities after each update. By feeding evaluation outcomes back into both processes, HASTE enables harness evolution against emerging attacks beyond the initially observed evidence. Experimental results across multiple backbone models, attack types, and evidence forms show that HASTE consistently reduces attack success rates while preserving benign-task utility. The code is available at https://github.com/xxiqiao/HASTE.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02920v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02827v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, Red Teaming

MLCommons 탈옥 벤치마크 v1.0

MLCommons Jailbreak Benchmark v1.0

현대 AI 시스템은 유해한 요청을 거부하도록 설계되어 있습니다. 탈옥(jailbreak)은 이러한 안전장치를 우회하여 시스템이 정상적으로는 제공을 거부할 출력을 이끌어내도록 정교하게 제작된 프롬프트입니다. MLCommons 탈옥 벤치마크(MLCommons Jailbreak Benchmark) v1.0은 단일 턴 텍스트 기반 탈옥 공격에 대한 대규모 언어 모델(LLM)의 강건성을 평가하기 위한 엔드투엔드 방법론을 제공합니다. 이는 기준 기반 시스템 및 공격 선정, 쌍을 이루는 기준선과 적대적 평가, 인간 주석, 자동화된 평가기 보정, 점수 산정, 등급 부여, 위험 보정된 공개를 단일 벤치마킹 파이프라인 내에 결합합니다. 본 벤치마크는 11개 위험 범주에 걸친 264개의 시드 프롬프트와 MLCommons 탈옥 분류체계에서 추출한 대표 공격들을 활용하여 8개의 공개 가중치(open-weight) 시스템을 평가합니다. 응답은 AILuminate Assessment Standard v1.4를 사용하여 평가되며, 강건성은 기준선 조건과 적대적 조건 간의 안전성 성능 변화인 회복력 격차(Resilience Gap)를 통해 측정됩니다. 평가된 모든 시스템과 공격 전반에서 안전하지 않은 응답 비율은 기준선 조건의 11.08%에서 탈옥 조건 하에 18.65%로 증가하여 평균 7.57%의 회복력 격차를 보였습니다. 접근성이 높은 시스템일수록 더 큰 평균 격차를 보인 반면, 공격 효과는 공격 범주 및 위험 요인에 따라 상당한 차이를 나타냈습니다. 또한 본 벤치마크는 평가기의 신뢰성과 측정 오차의 원인을 조사합니다. 결과 보고를 넘어, Jailbreak Benchmark v1.0은 비교 탈옥 평가뿐만 아니라 향후 시스템, 공격, 위험 요인 및 평가 방법에 걸친 확장을 위한 재현 가능한 방법론적 기반을 확립합니다.

arXiv:2610.01323v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, jailbreak defense

TRACE: 다중 턴 안전성을 위한 궤적 리턴 귀속 및 대조적 소거

TRACE: Trajectory Return Attribution and Contrastive Erasure for Multi-Turn Safety

안전성 정렬(safety alignment)을 거친 대규모 언어 모델(LLM)은 유해한 단일 요청은 종종 거부하지만, 동일한 목표가 여러 턴에 걸쳐 분산되면 요청에 순응하곤 합니다. 선호도 목적함수는 단일 프롬프트에 대한 전체 응답을 평가하므로, 해당 학습 손실만으로는 이전에 보지 못한 대화 이력에서의 위험을 제어할 수 없습니다. 본 연구의 분석에서는 지도 학습된 단일 턴 컨텍스트에서의 억제가 다중 턴 궤적 위험에 대한 상한(bound)을 산출하기 위한 충분조건을 제시합니다. 이 경계는 커버리지, 전이 여유(transfer slack), 누출을 고려하며, 학습된 정책의 컨텍스트에서 평가된 기본 정책 위험 예산 대비 수축(contraction)을 특성화합니다. TRACE(Trajectory Return Attribution and Contrastive Erasure)는 이러한 원리를 토큰 수준의 목적함수로 전환합니다. 안전한 응답에서 각 토큰은 거부 귀속 어드밴티지(refusal-attributable advantage)의 할인된 리턴에 의해 가중치가 부여됩니다. 이 어드밴티지는 고정된 참조 모델과 거부 기능이 제거된(refusal-ablated) 사본을 비교함으로써, 앞선 응답 토큰이 이후의 거부 관련 증거로부터 크레딧을 받을 수 있도록 합니다. 거부된 응답의 격차가 큰 위치에서 TRACE는 소거 대상에서 관측된 토큰과 정책이 선택한 대안을 결합합니다. 그래디언트 노름 페널티는 유지 세트(retain set)를 대체합니다. 5개의 오픈 가중치 모델과 7개의 다중 턴 공격에 걸쳐, TRACE는 총 35개의 모든 모델 및 공격 조합에서 가장 낮은 공격 성공률(ASR)을 기록했으며, MMLU 및 HellaSwag에서 평가된 모델 유용성 하락은 최대 1.23점에 불과했습니다. 소스 코드는 보충 자료에서 확인할 수 있습니다.

arXiv:2609.26185v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, jailbreak defense

LLM 탈옥 공격 방어를 위한 동적 딥 프롬프트 최적화

Dynamic Deep Prompt Optimization for Defending Against Jailbreak Attacks on LLMs

대규모 언어 모델(LLM)은 다양한 응용에서 인상적인 성능을 보이지만, 유해하거나 의도하지 않은 콘텐츠를 유도하는 탈옥(jailbreak) 공격에 취약하다. 안전성 정렬(alignment)을 위해 모델 미세조정을 선택할 수 있지만, 비용이 크고 치명적 망각(catastrophic forgetting)에 취약하다. 프롬프트 최적화가 유망한 대안으로 부상했지만, 기존 프롬프트 기반 방어는 일반적으로 고정 접두사나 접미사 같은 정적 수정에 의존하여 다양하고 진화하는 공격에 적응할 수 없다. 우리는 deep prompt optimization에 기반한 최초의 탈옥 방어인 Dynamic Deep Prompt Optimization(DDPO)를 제안한다. DDPO는 대상 LLM의 중간 층을 특징 추출기로 사용하여 경량 다층 퍼셉트론을 통해 방어용 임베딩을 동적으로 생성한다. 이렇게 맞춤형으로 생성된 임베딩은 이후 중간 층에 주입되어, LLM의 가중치를 수정하지 않으면서 입력 의존적 방어를 가능하게 한다. 이러한 설계는 최소한의 계산 부담으로 높은 적응성을 보장한다. 다양한 모델과 공격에 대한 실험에서 DDPO는 정적 프롬프트 최적화 방법보다 현저히 우수하며, 특히 정렬이 약한 모델과 의미적으로 모호한 무해한 프롬프트를 다룰 때 실제로 유해한 요청과 이를 성공적으로 구분한다.

arXiv:2609.23894v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, Red Teaming

에이전틱 AI 보안의 연결 고리: 다차원 위협 분류 체계, 평가 성숙도 및 공개 도전 과제

Connecting the Dots in Agentic AI Security: A Cross-Dimensional Threat Taxonomy, Evaluation Maturity, and Open Challenges

에이전틱 AI(Agentic AI)는 대규모 언어 모델(LLM) 보안의 범위를 생성된 콘텐츠를 넘어 영구 상태(persistent state), 자율 행동, 도구 사용, 그리고 인간 및 타 에이전트와의 상호작용으로 확장합니다. 기존의 위협 분류는 대개 개별 차원을 강조하여 진입점, 영향을 받는 컴포넌트, 보안 결과 간의 연결 고리를 모호하게 만듭니다. 또한 알려진 위협 환경은 실증 연구에서 입증된 커버리지와 차이를 보입니다. 본 논문에서는 2022년부터 2026년까지 발표된 66편의 연구에 대한 체계적인 검토를 통해 영향을 받는 기능적 또는 시스템 표면 {S}, 상호작용 또는 신뢰 경계 {B}, 침해된 보안 속성 {P}, 실증적으로 검토된 아키텍처 {A}를 연결하는 다차원 표현 T={S, B, P, A}를 제안합니다. 또한 실증적 커버리지와 평가 성숙도를 규명하기 위해 아티팩트 기반 레드팀 테스팅(red-teaming) 연구 22편과 대표적인 보안 벤치마크(benchmark) 11개를 분석합니다. 선정된 연구 내에서 실증적 증거는 주로 단일 에이전트 환경의 프롬프트(prompt)/추론, 메모리 및 도구 매개 공격에 집중되어 있습니다. 영구성, 인간-에이전트(Human-Agent), 복잡한 멀티 에이전트, 시스템적, 장기적(long-horizon) 위협에 대한 연구 커버리지는 상대적으로 부족합니다. 이러한 발견은 전체 실증 연구 전반의 격차를 규정하기보다는 선정된 연구 코퍼스의 특성을 설명합니다. 이질적인 지표, 제한적인 적응형 방어 평가, 아키텍처적 불균형, 불완전한 실행 상태 캡처는 비교 및 재현성을 더욱 제약합니다. 마지막으로 에이전틱 AI의 보다 체계적이고 아키텍처를 인식하며 재현 가능한 보안 평가를 유도하기 위한 13가지 공개 연구 질문을 도출합니다.

arXiv:2607.20472v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, jailbreak defense

견고한 크리틱: 다중 턴 공격으로부터 LLM 방어

Robust Critics: Defending LLMs Against Multi-Turn Attacks

사용자가 언어 모델에게 유해한 내용을 물어볼 때, 그것이 진짜 공격인지 아니면 오해에서 비롯된 선의의 질문인지 판단하기 어렵다. 이러한 모호성은 LLM 안전성의 핵심 과제 중 하나이다. 최악을 가정하는 모델은 정당한 사용자에게 피해를 주고, 최선을 가정하는 모델은 쉽게 악용된다. 이 문제는 다중 턴 대화에서 더욱 심화되는데, 공격자의 진짜 의도는 여러 번의 교환에 걸쳐서야 서서히 드러날 수 있지만, 기존 안전성 프레임워크는 문맥적 bandit 방식을 적용하여 대화의 궤적을 무시한다. 이를 위해 우리는 대화의 매 턴마다 사용자 의도를 추론함으로써 이 문제를 해결하는 프레임워크인 Dialogue Critic Guided Sampling(DCGS)를 제안한다. 안전하거나 위험한지에 대한 고정된 규칙을 적용하는 대신, DCGS는 전체 대화 이력을 바탕으로 사용자 의도가 무엇일 가능성이 높은지 학습하고 이에 따라 응답을 생성한다. 형식적으로, 우리는 적대적 대화를 마르코프 결정 과정으로 모델링하고, 개별 토큰 수준과 발화(전체 응답) 수준 모두에서 가치 및 후회(regret) 기반 크리틱을 학습하며, 행동-가치(action-value) 크리틱을 통해 후보 응답을 점수화한다. 우리는 이러한 추론 시점 재가중화가 기본 정책의 지수 기울임(exponential tilting)을 근사함을 증명하며, 이는 임의의 유한 후보 풀에 대해 기대 수익(expected return)의 개선을 보장하는데, 이는 그룹 상대적(group-relative) 목적함수가 갖지 못하는 성질이다. CARES-18k, WildJailbreak, Redbench, Harmbench에서 평가한 결과, DCGS는 적대적 대화 과제에서 강력한 견고성 기준선 및 최첨단(frontier) 모델들을 능가한다. DCGS는 최첨단 모델에도 전이되어, 미세조정 없이 그들의 견고성을 향상시킨다.

arXiv:2607.20982v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, agent safety

GuardianAgentBench: 에이전트가 실패하는 지점과 보호 방법

GuardianAgentBench: Where Agents Fail and How to Guard Them

도구와 외부 환경에 접근하며 대규모 언어 모델 에이전트가 점점 더 자율적으로 작동함에 따라, 이들의 안전하고 신뢰할 수 있는 행동을 보장하는 것이 중요해지고 있다. 본 논문은 LangChain, LlamaIndex, Vectara의 세 가지 프로덕션 수준 프레임워크에서 평가된 6개 도메인에 걸친 580개 시나리오로 구성된 벤치마크인 GuardianAgentBench(GABench)를 제시한다. 이 벤치마크는 엄격한 다단계 검증과 5가지 적대적 공격 모드를 포함한다. 6개의 최신(state-of-the-art) 모델에 대한 실험 결과, 가장 강력한 구성조차 전체 정확도 74.8%에 그치며 두 가지 뚜렷한 실패 양상을 드러낸다. 더 강한 모델은 필요한 도구를 과소 호출(under-call)하고, 더 약한 모델은 도구를 잘못 선택하고 과다 호출(over-call)한다. 성능은 도구 집합 크기와 순차적 턴 깊이 모두에 대해 단조적으로 저하되며, 장기 계획(long-horizon planning)이 더 가파른 병목으로 나타난다. 우리의 가드레일(guardrail) 구현은 모든 모델에서 시스템 프롬프트 기반 방어를 일관되게 능가하며, 단 0.5%의 거짓 양성(false positive) 비율로 실패의 19.9%를 회복한다. 이러한 결과는 실행 시점의 구조적 개입이 올바른 에이전트 행동을 방해하지 않으면서 안전성을 향상시킴을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.