전이 가능한 기술로서의 강건성: 비전-언어-행동 정책을 위한 교차 태스크 적대적 방어
Robustness as a Transferable Skill: Cross-Task Adversarial Defense for Vision-Language-Action Policies
한국어 초록
비전-언어-행동(VLA) 정책은 적대적 시각 교란에 취약한 반면, 방어는 흔히 태스크별 적대적 미세 조정을 요구한다. 본 연구는 소스 조작 태스크에서 학습된 강건성이 대상 측 적대적 학습 없이도 독립적으로 특화된 대상 정책을 보호할 수 있는지를 조사한다. 먼저 단 한 번의 소스 방어 업데이트만으로도 홀드아웃 태스크에서 강건성이 향상됨을 보이며, 이로써 다중 소스 집계와 무관하게 교차 태스크 방어 재사용이 성립함을 확립한다. 소스 업데이트를 결합하기 위해, 평균의 방향은 유지하되 소스 업데이트 노름을 이용해 크기를 보정하는 Source-Norm Transferable Robustness Vector(SN-TRV)를 도입한다. 결과로 얻은 업데이트는 대상 적대적 데이터, 대상 측 그래디언트 최적화, 추가 추론 모듈 없이 대상 시각 인코더에 적용된다. 세 가지 VLA 백본, 고정 공격과 적응형 공격, 서로 다른 소스 방어 방식에 걸친 평가에서 단순 평균 대비 향상된 강건성이 확인되었으며, 공격 범위 측면의 한계도 확인되었다. 실제 PiPER 로봇 실험에서 인쇄된 적대적 패치 하에서의 평균 성공률이 20.3%에서 45.8%로 증가하였다.
원문 초록
Vision-Language-Action (VLA) policies are vulnerable to adversarial visual perturbations, while defenses often require task-specific adversarial fine-tuning. We investigate whether robustness learned on source manipulation tasks can protect independently specialized target policies without target-side adversarial training. We first show that even a single source defense update improves robustness on held-out tasks, establishing cross-task defense reuse independently of multi-source aggregation. To combine source updates, we introduce Source-Norm Transferable Robustness Vector (SN-TRV), which retains the direction of their mean while calibrating its magnitude using source-update norms. The resulting update is applied to the target visual encoder without target adversarial data, target-side gradient optimization, or additional inference modules. Evaluations across three VLA backbones, fixed and adaptive attacks, and different source defense recipes show improved robustness over naive averaging and identify limits in attack coverage. Physical PiPER trials increase average success under printed adversarial patches from 20.3% to 45.8%.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.18702v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.