이중 모달리티 다단계 적대적 안전성 학습: 교차 모달 공격에 대한 멀티모달 웹 에이전트의 강건성 강화
Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks
스크린샷과 접근성 트리(accessibility tree)를 모두 처리하는 멀티모달 웹 에이전트(agent)는 웹 인터페이스와의 상호작용을 위해 점점 더 널리 배포되고 있지만, 이러한 이중 스트림 구조는 아직 충분히 탐구되지 않은 공격 표면을 열어둡니다. 즉, 웹페이지 DOM에 콘텐츠를 주입하는 공격자는 일관되고 기만적인 서사로 두 관측 채널을 동시에 오염시킬 수 있습니다. MiniWob++에서의 취약점 분석 결과, 시각적 요소를 포함하는 공격이 텍스트 전용 주입 공격보다 훨씬 뛰어난 성능을 보이며 텍스트 중심의 VLM 안전성(safety) 학습(training)에 심각한 공백이 있음을 드러냈습니다. 이러한 발견에 착안하여, 본 논문에서는 에이전트와 공격자 간의 상호작용을 2인 일반화 합 마르코프 게임(two-player general-sum Markov game)으로 정식화하고 세 단계의 파이프라인을 통해 두 플레이어를 공동 학습시키는 프레임워크인 Dual-Modality Multi-Stage Adversarial Safety Training(DMAST)을 제안합니다. 세 단계는 (1) 강력한 교사 모델(teacher model)로부터의 모방 학습, (2) 적대적 노이즈 속에서 과제 중심 추론을 주입하기 위해 새로운 무인지(zero-acknowledgment) 전략을 사용하는 오라클 유도 지도 미세조정(supervised fine-tuning), (3) GRPO(Group Relative Policy Optimization) 셀프 플레이 기반의 적대적 강화학습(reinforcement learning)으로 구성됩니다. 분포 외(out-of-distribution) 과제에서 DMAST는 공격 성공률을 거의 절반으로 줄이는 동시에(41.2%$\rightarrow$21.4%), 과제 완수율을 상대적으로 60% 이상 향상시켰습니다(6.2%$\rightarrow$10.2%). 제안하는 접근법은 기존의 학습 기반 방어 기법들을 능가하며 프롬프트(prompt) 기반 방어 기법을 보완하여, 진정한 공진화적 발전과 복잡하고 이전에 보지 못한 환경에 대한 강건한 일반화 능력을 입증합니다. 코드는 https://github.com/huajianduzhuo-code/DMAST_official 에서 확인할 수 있습니다.