arXiv:2606.09499v2 cs.RO

월드 모델을 표적으로 삼아 로봇 학습 파이프라인 무력화하기

Targeting World Models to Compromise Robot Learning Pipelines

Ethan Rathbun, Ahmed Agha, Saaduddin Mahmud, Christopher Amato, Alina Oprea, Eugene Bagdasarian

제출 2026-06-08

저자 비고

arXiv Comments

9 Pages, CoRL Spotlight

한국어 초록

월드 모델(world model)은 로봇 학습(training) 데이터를 생성하거나 실제 환경을 시뮬레이션하기 위한 데이터 효율적인 도구로서 최근 활용도와 성능 측면에서 급격한 성장을 이루었으며, 다수의 연구에서 이를 로봇 학습 파이프라인에 통합할 것을 제안하고 있습니다. 본 연구에서는 월드 모델이 매우 실용적임에도 불구하고 로봇 학습 공급망에 매우 은밀하고 효과적인 데이터 오염(data poisoning) 유입 경로를 만들어 내며, 겉보기에 안전해 보이는 정답(ground truth) 학습 데이터를 사용하더라도 안전하지 않거나 손상된 로봇 정책(policy)이 배포되는 결과를 초래할 수 있음을 입증합니다. 판매되거나 업로드된 데이터셋에 위험한 궤적을 직접 삽입하는 기존의 데이터 오염 기법과 달리, 본 논문에서 제안하는 새로운 공격 기법은 겉보기에 안전한 원격 조작(teleoperation) 데이터셋에 악성 프롬프트(prompt)나 시스템을 손상시키는 전이 동역학(transition dynamics)을 주입하며, 이는 월드 모델의 입력으로 처리될 때에만 활성화됩니다. 이는 합성된 위험한 로봇 학습 궤적을 생성하고 결과적으로 안전하지 않거나 오염된 로봇 정책으로 이어질 수 있습니다. 저자들은 최첨단 행동 조건부(action-conditioned) 및 텍스트 조건부(text-conditioned) 월드 모델 모두에서 본 공격의 효과를 입증하여, 다운스트림 심층 강화학습(DRL) 정책에 대한 완전한 엔드투엔드 백도어와 비전-언어-행동(VLA) 환경에서의 개념 증명(proof-of-concept)을 제시합니다. 전반적으로 이러한 연구 결과는 보다 안전한 월드 모델에 대한 연구의 필요성과 로봇 학습 공급망 내에서 월드 모델의 위치를 재평가해야 함을 시사합니다.

원문 초록

World models have recently seen a rapid growth in both their popularity and capability as more data efficient tools for generating robot training data or simulating real world environments, with many works proposing their integration into the robot learning pipeline. While highly practical, in this work we demonstrate that world models introduce a uniquely stealthy and effective data poisoning entry point into the robot learning supply chain that can result in the deployment of unsafe or otherwise compromised robotic policies despite training on seemingly safe ground truth training data. In contrast to traditional data poisoning techniques which directly implant dangerous trajectories into sold or uploaded datasets, our novel attack methods inject malicious prompts or compromising transition dynamics into visibly safe teleoperated datasets which are only activated once fed through a world model as input. This can result in the generation of synthetic, dangerous robot training trajectories and subsequently unsafe or compromised robot policies. We demonstrate the effectiveness of our attacks against both state of the art action conditioned and text conditioned world models, showing a full end-to-end backdoor on a downstream DRL policy and a proof-of-concept for the VLA setting. Overall these findings necessitate research into more secure world models and reevaluating their position within the robot learning supply chain.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.09499v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03498v2cs.RO공통 태그 Imitation Learning, Adversarial Attack

탐지 및 억제: VLA 모델의 적대적 패치에 대한 기제론적 방어

Detect and Suppress: A Mechanistic Defense against Adversarial Patches in VLA Models

적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.

arXiv:2609.36117v2cs.LG공통 태그 Adversarial Attack, Data Poisoning

신경망에 백도어를 심는 것은 왜 이토록 쉬운가?

Why Backdooring Neural Networks is so Easy?

현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.

arXiv:2610.02339v1cs.RO공통 태그 Imitation Learning, robot learning

NEEDLEWORK: 검증된 로컬 스티칭을 통한 로봇 데이터의 오프라인 재작성

NEEDLEWORK: Offline Rewriting of Robot Data with Verified Local Stitches

로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.

arXiv:2610.03079v1cs.AI공통 태그 Imitation Learning, robot learning

RIFAR: 지속적인 로봇 학습을 위한 신뢰성 및 망각 인지형 리플레이

RIFAR: Reliability and Forgetting-Aware Replay for Continual Robot Learning

진정한 체화된 에이전트(embodied agency)가 되려면 로봇이 지속적인 현실 세계 경험을 영구적이고 전이 가능한 기술로 전환할 수 있어야 합니다. 이는 작업과 환경이 진화함에 따라 이전 지식을 훼손하지 않으면서 새로운 능력을 통합하는 지속 학습(continual learning)을 요구합니다. 경험 리플레이(experience replay)는 망각을 완화하지만, 작업이 누적됨에 따라 전체 시연(demonstration)을 저장하는 데 드는 비용이 커집니다. 월드-액션 모델(world-action model)은 행동과 미래 관측의 결합 예측을 통해 과거 경험을 재구성하는 생성적 대안을 제공합니다. 그러나 시각적으로 일관된 롤아웃(rollout)이라도 예측된 전이를 실현할 수 없는 행동이 포함될 수 있으며, 새로운 작업에 적응하는 과정에서 이전에 학습한 동작이 방해받을 수 있습니다. 이에 따라 RIFAR는 신뢰성 스크리닝과 드리프트 인지형(drift-aware) 리플레이 선택을 결합합니다. RIFAR는 압축된 시연 접두사(prefix)로부터 궤적을 재구성하고 고정된(frozen) 역역학 모델(inverse-dynamics model)을 사용하여 행동-시각적 일관성을 평가합니다. 학습은 먼저 현재 시연과 스크리닝을 통과한 최고 품질의 궤적을 결합합니다. 그런 다음 RIFAR는 동일한 과거 입력에 대해 이러한 적응 전후의 행동 예측을 비교하여, 동일한 스크리닝 풀에서 정규화된 드리프트가 더 큰 궤적을 다시 선택해 지속적인 학습을 수행합니다. 세 가지 LIBERO 제품군 및 실제 환경 실험 전반에서 RIFAR는 WAM 기반 생성형 리플레이 분야의 기존 최고 성능(SOTA)을 능가합니다. LIBERO-Goal에서 RIFAR는 작업당 320개의 과거 타임스텝(50개 시연 리플레이를 사용할 때 유지되는 스텝의 약 4.9%에 불과함)만을 유지하면서도 90.97 AUC를 달성합니다.

arXiv:2609.27155v1cs.CR공통 태그 Adversarial Attack, Data Poisoning

좋아요 함정: 유사도 기반 추천 시스템에서 에이전트를 겨냥한 다단계 포이즈닝 공격

The Like Trap: Multi-Stage Poisoning against Agents in Similarity-based Recommendation Systems

대규모 언어 모델(LLM) 및 LLM 기반 에이전트(agent)의 최근 발전과 함께, 이러한 에이전트들은 점차 자율성을 갖추며 인터넷상에서 사용자를 대신해 행동할 수 있는 더 넓은 접근 권한을 얻고 있다. 그러나 소셜 미디어 플랫폼에 배포된 자동화된 에이전트(예: 사용자의 개인 계정 관리)의 취약성은 아직 충분히 연구되지 않았다. 에이전트 포이즈닝에 관한 기존 연구들은 일반적으로 공격자가 에이전트에게 오염된 콘텐츠를 직접 노출할 수 있다고 가정한다. 이러한 공격은 직접적이고 효과적이지만, 감지 및 완화가 더 쉽다. 소셜 미디어 플랫폼 맥락에서는 추천 시스템 자체가 보다 은밀한 방식으로 이러한 콘텐츠를 에이전트에게 노출할 수 있는지 여부가 여전히 미해결 과제로 남아 있다. 이론적 분석을 통해 본 연구는 OASIS에서 사용되는 좋아요 점수(like-score) 메커니즘이 악용될 수 있음을 보이고, 다단계로 이루어진 오염된 게시물 연쇄가 에이전트의 피드를 유도할 수 있는 조건을 규명한다. 이러한 통찰을 바탕으로, 우리는 사실적인 오염 게시물을 제작하는 알고리즘을 추가로 개발한다. 실험을 통해 이론적 발견을 뒷받침하고 제안된 알고리즘의 효과를 입증한다. 특히, 좋아요 점수 피드백 루프를 악용함으로써 이 공격은 오염된 게시물의 사용자-게시물 유사도가 검색 임계값 미만으로 떨어지는 경우에도 추천 시스템이 해당 게시물을 선택하도록 만든다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.