다중 에이전트 평가를 활용한 역할 수행 언어 에이전트의 적대적 스트레스 테스팅
Adversarial Stress Testing of Role-Playing Language Agents using Multi-Agent Evaluation
한국어 초록
역할 수행 언어 에이전트(RPLA)는 의료 지원, 고객 지원, 교육과 같이 적대적 압박 속에서도 일관된 페르소나, 윤리적 제약 조건, 행동의 일관성을 유지하는 것이 매우 중요한 고위험 분야에 점점 더 많이 배포되고 있습니다. 기존 평가 방식은 정적 벤치마크나 단일 턴 프롬프트에 의존하여 장기적인 상호작용 과정에서 발생하는 누적된 행동 실패를 포착하지 못합니다. 본 연구에서는 구조화된 다중 턴 대화를 통해 RPLA를 적대적으로 스트레스 테스트하는 모듈형 다중 에이전트 플랫폼을 제시합니다. 이 시스템은 세 가지 에이전트를 조율합니다. 즉, 여섯 가지 점진적 적대 전략을 적용하는 전략 주도형 질문자 에이전트(Interrogator Agent), 평가 대상 RPLA를 나타내는 타깃 에이전트(Target Agent), 그리고 역할 충실도, 표류(drift), 윤리적 일탈, 일관성 차원에서 행동을 채점하는 자동화된 판정 에이전트(Judging Agent)입니다. 세 가지 페르소나와 세 가지 대규모 언어 모델(LLM) 계열을 대상으로 한 실험을 통해, 다중 전략 적대적 평가가 단일 전략 테스트에서는 보이지 않던 실패 모드를 드러내어 전반적인 견고성 점수를 평균 0.17~0.20점 감소시킴을 입증합니다. 모델 간 교차 검증을 통해 Llama-3.3-70B, GPT-4o-mini, Claude-3.5-Haiku 전반에서 일관된 성능 저하 패턴을 확인하였으며, 권위 도전(Authority Challenge)과 감정 조작(Emotional Manipulation)이 가장 효과적인 공격 전략으로 나타났습니다. 자동화된 판정은 높은 인간 평가 일치도($r = 0.82$, Fleiss' $κ = 0.71$)를 달성했습니다. 본 연구는 AI 안전성(safety)과 재현 가능한 RPLA 벤치마킹을 지원하기 위해 오픈소스 플랫폼으로 공개됩니다. 본 프레임워크가 실패 모드의 체계적인 발견을 가능하게 하지만, 적대적 테스팅 방법론과 관련된 잠재적 윤리적 위험을 인지하며 AI 안전성 향상을 위한 책임감 있는 사용을 강조합니다.
원문 초록
Role-Playing Language Agents (RPLAs) are increasingly deployed in high-stakes applications such as healthcare assistance, customer support, and education, where maintaining consistent personas, ethical constraints, and behavioral coherence under adversarial pressure is critical. Existing evaluation approaches rely on static benchmarks or isolated single-turn prompts that fail to capture cumulative behavioral failures emerging over extended interactions. We present a modular multi-agent platform for adversarially stress-testing RPLAs through structured, multi-turn dialogue. The system coordinates three agents: a strategy-driven Interrogator Agent that applies six progressive adversarial strategies, a Target Agent representing the RPLA under evaluation, and an automated Judging Agent that scores behavior across role fidelity, drift, ethical deviation, and consistency dimensions. Through experiments across three personas and three LLM families, we demonstrate that multi-strategy adversarial evaluation reveals failure modes invisible to single-strategy testing, reducing overall robustness scores by 0.17--0.20 points on average. Cross-model validation confirms consistent degradation patterns across Llama-3.3-70B, GPT-4o-mini, and Claude-3.5-Haiku, with Authority Challenge and Emotional Manipulation emerging as the most effective attack strategies. Automated judging achieves strong human alignment ($r = 0.82$, Fleiss' $κ= 0.71$). This work is released as an open-source platform to support AI safety and reproducible RPLA benchmarking. While the framework enables systematic discovery of failure modes, we acknowledge potential ethical risks associated with adversarial testing methodologies and emphasize responsible usage for improving AI safety.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.03166v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.