RL-ADA: 적대적으로 강건한 기업 대화 에이전트를 위한 월드 피드백 프레임워크
RL-ADA: A World-Feedback Framework for Adversarially Robust Enterprise Dialogue Agents
한국어 초록
기업 고객 지원에 태스크 지향 대화 에이전트를 배포할 때 지속적인 어노테이션 병목이 남는다. 강건한 학습에는 대규모 라벨 상호작용 데이터가 필요하지만, 기업 대화 로그는 프라이버시에 민감하고 어노테이션 비용이 크며, 사용자 행동은 라벨링 파이프라인이 따라잡기보다 더 빨리 변한다. 우리는 RL-ADA(Reinforcement Learning with Adversarial Dialogue Agents)를 제안한다. 이는 인간 라벨을 world feedback(측정 가능한 상호작용 결과에서 직접 도출된 결과 기반 보상 신호)으로 대체해 이 병목을 없애는 공진화 학습 프레임워크이다. 고객 지원 에이전트(DA, 3B 파라미터)와 적대적 고객 에이전트(CA, 7B 파라미터)는 고정된 자동 심사자가 이끄는 적대적 아레나에서 공진화한다. DA는 다턴 고객 대화를 성공적 해결까지 올바르게 처리하면 보상을 받고, CA는 misroute를 유발하는 현실적이고 의도를 숨기는 발화를 생성하면 보상을 받으며, 서로 반대되지만 독립적으로 구조화된 보상을 통해 비대칭적 적대적 압력이 형성된다. isolation gym은 이전 실패 전사록으로 더 약한 에이전트를 반복 재학습하며, 어떤 단계에서도 인간 어노테이션이 필요하지 않다. 은행 고객 지원 개념 증명에서 도구 라우팅 오류는 제거되었고, 라벨 데이터 없이 자동화된 아레나 보상만으로 다섯 번의 공진화 사이클 동안 엄격한 end-to-end PASS 비율이 두 배가 되었다. 또한 CA가 순수하게 보상 압력만으로 밀도 높은 현실적 고객 세부 정보 속에 의도를 내재화하도록 학습하는 적대적 전략인 Contextual Camouflage(문맥적 위장)의 출현을 관찰했으며, 이는 기업 레드팀 테스팅과 강건성 평가에 직접적인 함의를 준다.
원문 초록
Deploying task-oriented dialogue agents in enterprise customer support faces a persistent annotation bottleneck: robust training requires labelled interaction data at scale, yet enterprise conversational logs are privacy-sensitive and expensive to annotate, while user behaviour evolves faster than labelling pipelines can keep pace. We present RL-ADA (Reinforcement Learning with Adversarial Dialogue Agents), a co-evolutionary training framework that eliminates this bottleneck by replacing human labels with \emph{world feedback}: consequence-based reward signals derived directly from measurable interaction outcomes. A Customer Support Agent (DA, 3B parameters) and an Adversarial Customer Agent (CA, 7B parameters) co-evolve in an adversarial arena guided by a fixed automated judge: the DA is rewarded for correctly handling multi-turn customer conversations to successful resolution, while the CA is rewarded for producing realistic, intent-concealing utterances that cause misroutes, creating asymmetric adversarial pressure through opposing but independently structured rewards. An isolation gym iteratively retrains the weaker agent on prior-failure transcripts, requiring no human annotation at any stage. In a banking customer support proof of concept, tool-routing errors are eliminated and the strict end-to-end PASS rate doubles over five co-evolutionary cycles, driven solely by automated arena reward with no labelled data. We additionally observe the emergence of \textbf{Contextual Camouflage}, an adversarial strategy in which the CA learns to embed intent within dense realistic customer detail purely from reward pressure, with direct implications for enterprise red-teaming and robustness evaluation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.02902v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.