arXiv:2606.18697v1 cs.LG

데이터 포이즌을 통한 은밀한 세계 모델 조작

Stealthy World Model Manipulation via Data Poisoning

Yibin Hu, Xiaolin Sun, Zizhan Zheng

제출 2026-06-17

한국어 초록

모델 기반 학습 에이전트는 학습된 세계 모델(world model)을 이용해 미래 상태를 예측하고, 행동을 계획하며, 새로운 환경에 적응한다. 그러나 수집된 경험으로부터 세계 모델을 갱신하는 과정은 학습 시점의 공격 표면을 만들며, 적대적으로 포이즌된 미세조정 궤적이 학습된 동역학을 조작하여 하류 계획(planning)을 손상시킬 수 있다. 본 논문에서는 학습된 세계 모델을 위한 최초의 2단계 데이터 포이즌(data poisoning) 프레임워크인 SWAAP를 제안한다. 1단계에서 SWAAP는 전이-그래디언트 정리(transition-gradient theorem)로 가능해진 1차 이중수준 최적화(first-order bilevel optimization)를 사용하여, 계획 하에서 저수익(low-return) 행동을 유도하면서도 깨끗한 동역학에 가깝게 유지되는 유해한 목표 세계 모델을 식별한다. 2단계에서 SWAAP는 은밀 제약 그래디언트 매칭(stealth-constrained gradient matching)을 통해 이 목표를 실현하며, 유발된 학습 그래디언트가 피해 모델(victim model)을 적대적 목표로 유도하도록 미세조정 전이 타깃 중 제한된 비율만 수정하고, 예측 오차 정규화항(prediction-error regularizer)은 포이즌된 타깃이 세계 모델의 자연스러운 근사 오차(approximation error)에 가깝게 유지되도록 한다. 공격의 은밀성을 평가하기 위해, 포이즌 파이프라인의 세 단계—포이즌 전이의 사전학습 단계 탐지, 미세조정 중 강건 학습(robust training), 결과 세계 모델의 테스트 시점 모니터링—에 걸쳐 방어와 탐지 가능성을 평가한다. 다양한 연속 제어(continuous-control) 과제에서 SWAAP는 포이즌 전이를 깨끗한 데이터에 가깝게 유지하면서 상당한 성능 저하를 유발하고, 평가된 비적응형 잔차(residual)/CUSUM/TRIM 방식 방어를 회피한다. 이러한 결과는 세계 모델 적응 파이프라인의 실용적 취약점을 드러내며, 세계 모델 학습 데이터와 학습된 동역학을 모두 보호하는 강건성(robustness) 방법의 필요성을 강조한다.

원문 초록

Model-based learning agents use learned world models to predict future states, plan actions, and adapt to new environments. However, the process of updating world models from collected experience creates a training-time attack surface: adversarially poisoned fine-tuning trajectories can manipulate the learned dynamics and thereby corrupt downstream planning. In this paper, we propose SWAAP, the first two-stage data poisoning framework for learned world models. In the first stage, SWAAP identifies a harmful target world model that induces low-return behavior under planning while remaining close to clean dynamics, using first-order bilevel optimization enabled by a transition-gradient theorem. In the second stage, SWAAP realizes this target through stealth-constrained gradient matching, modifying only a limited fraction of fine-tuning transition targets so that the induced training gradients steer the victim model toward the adversarial target, while a prediction-error regularizer encourages the poisoned targets to remain close to the world model's natural approximation error. To assess attack stealthiness, we evaluate defenses and detectability across three stages of the poisoning pipeline: pre-training detection of poisoned transitions, robust training during fine-tuning, and test-time monitoring of the resulting world model. Across diverse continuous-control tasks, SWAAP causes substantial performance degradation while keeping poisoned transitions close to clean data and evading the evaluated non-adaptive residual/CUSUM/TRIM-style defenses. These results reveal a practical vulnerability in world-model adaptation pipelines and highlight the need for robustness methods that protect both world-model training data and learned dynamics.

요약

세계 모델(world model) 파인튜닝에서 수집 궤적을 조작하면 학습된 동역학을 손상시켜 하류 계획(planning)을 망가뜨릴 수 있는 훈련 시점 취약점을 다루며, SWAAP라는 2단계 데이터 포이즌(data poisoning) 공격을 제안한다. 이 방법은 이중수준 최적화(bilevel optimization)로 저수익 행동을 유도하는 은밀한 적대 목표 세계 모델을 찾고, 소량의 전이 타깃만 수정하는 은밀 제약 그래디언트 매칭으로 구현하며, DMControl·MyoSuite·MetaWorld 등 연속 제어 과제에서 큰 성능 저하를 유발하면서 포이즌 전이를 깨끗한 데이터에 가깝게 유지하여 잔차·CUSUM·TRIM 등 평가된 방어를 우회한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18697v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.36117v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness, Data Poisoning

신경망에 백도어를 심는 것은 왜 이토록 쉬운가?

Why Backdooring Neural Networks is so Easy?

현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.

arXiv:2609.27667v1cs.LG공통 태그 Continuous Control, Deep Reinforcement Learning, Adversarial Robustness

위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습

Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization

강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

arXiv:2610.03498v2cs.RO공통 태그 Adversarial Attack, Adversarial Robustness

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.