PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12978v1cs.RO

비전-언어-액션 모델에 대한 궤적 수준 리다이렉션 공격

Trajectory-Level Redirection Attacks on Vision-Language-Action Models

비전-언어-액션(VLA) 정책은 자연어를 폐루프(closed-loop) 로봇 제어에 통합하여, 로봇이 텍스트 지시로부터 직접 조작(manipulation) 작업을 수행할 수 있게 합니다. 동일한 인터페이스 때문에 프롬프트가 모든 재계획(replanning) 단계에서 재사용되고, 각 프롬프트 조건부 행동이 정책이 작동하는 미래 관찰을 바꾸므로, 제어 과정에서 텍스트가 반복적으로 역할을 합니다. 기존 VLA 공격은 표적 저수준 행동을 유도하거나 변화하는 이미지에도 해당 행동이 지속되도록 하는 적대적 프롬프트를 연구합니다. 본 연구는 의도된 작업을 지정하는 것처럼 $\textit{보이지만}$ 최종 물리적 결과를 리다이렉션하는, 더 강력한 궤적 수준 실패 모드를 식별합니다. 본 연구는 이 설정을 $\textit{명령어 보존 궤적 리다이렉션(command-preserving trajectory redirection)}$으로 수학적으로 정형화합니다. 이는 에피소드 시작 전 공격자가 하나의 프롬프트를 선택하고, 모든 정책 및 환경 구성 요소는 고정된 채 유지되며, 프롬프트가 목표 단어와 수정 언어를 생략하면서 정상(benign) 지시에 가깝게 유지되어야 하는 프롬프트 전용 위협 모델입니다. 이러한 프롬프트를 찾기 위해, 본 연구는 롤아웃(rollout)을 사용하여 명령어 보존 제약을 만족하면서 폐루프 동작이 목표 작업을 추적하는 섭동(perturbation)을 발견하는 온-정책(on-policy) 프롬프트 탐색 방법을 제안합니다. 시뮬레이션 및 실제 하드웨어 실험에서, 정상 지시에 가까운 프롬프트 섭동만으로 VLA 롤아웃을 공격자가 지정한 목표로 리다이렉션할 수 있음을 보였습니다. 이러한 결과는 VLA 명령어 그라운딩(grounding)의 궤적 수준 취약점을 드러냅니다. 의도된 명령어를 보존하는 것처럼 보이는 텍스트라도 적대자가 로봇의 최종 물리적 결과를 제어할 수 있습니다. 프로젝트 웹사이트: https://vla-redirection-attack.github.io/

arXiv:2606.12655v1cs.CR

Amnesia: 지속적 학습 드림에 대한 은밀한 리플레이 공격

Amnesia: A Stealthy Replay Attack on Continual Learning Dreams

지속적 학습(CL) 모델은 치명적 망각(catastrophic forgetting)을 완화하기 위해 경험 리플레이(experience replay)를 널리 사용하지만, 리플레이 샘플링 간섭에 대한 견고성은 아직 충분히 연구되지 않았습니다. 기존 CL 공격은 입력이나 학습 파이프라인(포이즈닝/백도어)을 변조하지만, 명시적인 감사 가능 제약(auditable constraints)을 거의 포함하지 않아 현실성이 제한됩니다. 여기서 감사 가능성(auditability)은 모니터가 샘플러 가시 텔레메트리(예: 기록된 리플레이 인덱스/라벨 통계)를 통해 규정 준수를 검증할 수 있음을 의미합니다. 구체적으로, 실현된 리플레이 클래스 히스토그램이 명목상 기준선(nominal baseline)에 근접하게 유지되고, 배치별 및/또는 롤링 윈도우(rolling window) 기간 동안 리플레이 비율이 변경되지 않았는지 확인하는 것을 말합니다. 본 연구에서는 픽셀, 라벨, 모델 파라미터가 아닌 리플레이 인덱스 선택만 제어하면서, 큐 우선순위(queue priorities)와 같은 감사 가능 한도 내에 머무는 제한된 권한의 내부자(limited-privilege insider)를 다룹니다. Amnesia라는 리플레이 구성 공격(replay composition attack)을 제안합니다. 이 공격은 두 가지 예산 하에서 성능 저하를 최대화합니다: 명목 클래스 히스토그램 p0로부터의 TV/KL 발산을 제한하는 가시성 예산 δ와 리플레이 비율을 고정하는 질량 예산 f입니다. Amnesia는 두 단계로 수행됩니다: (i) EMA 손실이나 신뢰도(confidence)와 같은 가벼운 클래스 유틸리티(class utilities)를 계산하여 p0를 유해한 클래스 쪽으로 기울이는(tilt) 단계, (ii) 효율적인 KL(지수 기울임, exponential tilt) 또는 TV(균형 질량 재분배, balanced mass redistribution) 최적화 도구를 사용하여 기울임을 δ-볼(delta-ball) 내로 다시 투영(project)하는 단계입니다. 윈도우 스케줄러(windowed scheduler)가 롤링 감사(rolling audits)를 강제합니다. 다양한 도전적인 CL 벤치마크와 강력한 리플레이 기준선에서 Amnesia는 최종 정확도(ACC)를 일관되게 낮추고 역전이(-BWT)를 악화시켰습니다. KL 변형(variant)은 배치별 및 롤링 윈도우 검사를 포함한 다양한 감사 방식(audit schemes) 하에서도 대부분 탐지되지 않으면서 높은 영향력을 발휘했습니다. TV 변형은 더 큰 피해를 입히지만 탐지하기 쉬우며, 특히 엄격한 클래스별 제약(per-class constraints) 하에서 그러합니다. 이러한 결과는 인덱스 전용 리플레이 제어가 CL 시스템 내 실용적이고 감사 가능한 위협 표면(threat surface)임을 보여주며, 원칙적인 영향력-가시성 트레이드오프(impact-visibility trade-off)를 확립합니다.