조율 학습: 토큰 효율적 레드티밍을 위한 LLM 기반 워크플로 진화
Learning to Coordinate: LLM-Guided Workflow Evolution for Token-Efficient Red Teaming
한국어 초록
자동화된 레드티밍은 대규모 언어 모델(LLM)의 안전성 실패를 식별하는 데 필수적이지만, 실용적인 확장성은 그러한 실패를 발견하는 데 필요한 자원에 좌우된다. 멀티 에이전트 시스템은 상보적인 능력을 결합할 수 있으나, 반복적인 계획 수립, 중복된 교환, 비효율적인 정보 라우팅으로 인해 조율 비용이 커질 수 있다. 더욱이 대상 모델의 응답은 테스트 결과를 나타낼 뿐, 어떤 협업 결정을 바꿔야 하는지는 알려주지 않는다. 우리는 각 레드티밍 사례마다 실행 가능한 멀티 에이전트 워크플로를 진화시키는 LLM 기반 프레임워크 Learning to Coordinate(L2C)를 제시한다. L2C는 에이전트의 책임, 실행 의존성, 입력 바인딩을 버전 관리되는 그래프로 표현하고, 각 그래프를 실제로 전달되고 생성된 정보의 기록과 연결한다. 지도 미세조정으로 학습된 컨트롤러는 이러한 기록을 대상 응답, 평가자의 판정, 남은 예산과 통합하여 워크플로를 유지하거나, 지시문을 정제하거나, 협업 구조를 재구성하거나, 추가 편집을 잠글지를 결정한다. 이 설계는 피드백을 이후 실행의 명시적 변화로 연결하면서, 유용한 조직 구조가 컨트롤러의 반복적인 개입 없이 지속될 수 있게 한다. 평가 프로토콜은 세 가지 실행 백본과 두 가지 대상 모델을 사용한 HarmBench, 구성 요소 ablation, 데이터셋 전이, 평가자 검증을 포함한다. 여섯 가지 실행자-대상 구성 전반에서 L2C는 EvoSynth 대비 ASR을 1.4~4.5%p 향상시키면서 평균 온라인 토큰을 35.6%~37.3% 줄인다. L2C는 적응적 협업을 자동화된 보안 평가의 자원 요구 사항과 연결한다.
원문 초록
Automated red teaming is essential for identifying safety failures in large language models (LLMs), but its practical scalability depends on the resources required to discover those failures. Multi-agent systems can combine complementary capabilities, yet repeated planning, redundant exchanges, and ineffective information routing can make their coordination expensive. Moreover, a target model's response indicates the outcome of a test without identifying which collaboration decision should change. We present Learning to Coordinate (L2C), an LLM-guided framework that evolves an executable multi-agent workflow for each red-teaming case. L2C represents agent responsibilities, execution dependencies, and input bindings in a versioned graph, and associates each graph with records of the information actually delivered and produced. A controller trained through supervised fine-tuning integrates these records with target responses, evaluator verdicts, and remaining budget to retain the workflow, refine instructions, restructure collaboration, or lock further editing. This design connects feedback to explicit changes in subsequent execution while allowing a useful organization to continue without repeated controller intervention. The evaluation protocol covers HarmBench with three execution backbones and two target models, together with component ablations, dataset transfer, and evaluator checks. Across the six executor-target configurations, L2C improves ASR over EvoSynth by 1.4 to 4.5 percentage points while reducing mean online tokens by 35.6% to 37.3%. L2C connects adaptive collaboration to the resource requirements of automated security evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24221v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.