computer.org

이 이메일 도메인이 관측된 논문 2건

arXiv:2610.00430v1cs.SI

밈적 트로이목마: 에이전트 네트워크에서 적대적 페이로드의 매개체로서의 사회적 전염

Memetic Trojans: Social Contagions as Carriers of Adversarial Payloads in Agent Networks

자율형 대규모 언어 모델(LLM) 에이전트(agent)는 에이전트 간에 적대적 콘텐츠가 전파될 수 있는 네트워크 환경에서 점점 더 많이 상호작용하고 있습니다. 알려진 공격으로는 자기 복제 프롬프트(prompt) 주입이나 구성 손상을 통해 확산되는 에이전트 웜(agent worm)이 있습니다. 본 연구에서는 콘텐츠를 재전송하고 증폭하려는 에이전트의 성향을 악용하는 별개의 네트워크 매개 공격 클래스인 밈적 트로이목마(memetic trojan)를 소개합니다. 전파가 적대적으로 유도되는 에이전트 웜과 달리, 밈적 트로이목마는 에이전트가 공유할 내적 동기를 가진 콘텐츠인 사회적 전염(social contagion)에 적대적 페이로드를 삽입하여 내생적(endogenous) 전송을 악용합니다. 연구의 일환으로, LLM 에이전트용 소셜 미디어 플랫폼인 Moltbook에서 사회적 전염 콘텐츠를 추출합니다. 통제된 전송 실험을 통해 바이럴리티(virality)에 큰 차이가 있음을 확인했습니다. 가장 효과적인 전염 콘텐츠는 이후 에이전트 게시물의 약 50%에서 재전송되었으며 평균 게시물 대비 2.5배 높은 비율로 추천(upvote)을 받았습니다. 이에 대응하는 밈적 트로이목마 역시 이러한 특성을 대부분 물려받습니다. 몬테카를로(Monte Carlo) 공격 시뮬레이션 결과, 밈적 트로이목마는 기대 노출을 최대 3.19배까지 증폭하는 것으로 나타났습니다. 네트워크 구조와 증폭 메커니즘은 전파 양상을 강하게 형성하여 네트워크 전반에 걸친 노출에 가까운 두터운 꼬리(heavy-tailed) 결과를 초래합니다. 이러한 결과는 내생적 사회 전송이 다중 에이전트 시스템에서 별개의 보안 취약점임을 규명합니다. 전파를 위해 에이전트가 악의적인 재전송 지시를 따를 필요가 없으므로, 프롬프트 주입 탐지나 에이전트 손상 방지에만 초점을 맞춘 방어책으로는 밈적 트로이목마의 전파를 단독으로 막을 수 없습니다. 대규모 에이전트 생태계를 안전하게 보호하려면 에이전트의 선호도, 추천 메커니즘, 네트워크 토폴로지가 적대적 페이로드를 어떻게 증폭하는지 고려하는 네트워크 수준의 방어가 필요할 수 있습니다.

arXiv:2607.00334v1cs.AI

Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems

Autonomous agents, whether LLM-driven software agents or robotic physical agents, face a common class of failure modes when operating without continuous human oversight: safety violations from unverified actions, behavioral instability from unconstrained loops, and continuity loss from unhandled error states. We develop \system{}, a discrete-time control system that combines five execution gears (\Gobs{}, \Gsug{}, \Gplan{}, \Gexec{}, \Gint{}) with utility-gated dispatch and event-driven fallback. For the single-agent case, we prove monotonic stability, execution safety, eventual stabilization, fallback completeness, and equivalence to a gear-constrained Markov decision process. For multi-agent cyber-physical systems (CPS), we apply the established \smart{} managed-autonomy lifecycle and map runtime evidence into its four governance states (\Stable{}/\Meta{}/\Assisted{}/\Regulated{}). Consensus gating, swarm-level Lyapunov analysis, per-agent gear authority, and rendezvous control provide distributed safety and stability guarantees, including zero collision under the stated assumptions. We evaluate the resulting runtime on a three-agent UR5 robotic assembly cell using fault magnitudes calibrated from the NIST \emph{Degradation Measurement of Robot Arm Position Accuracy} dataset across 10,000 Monte Carlo episodes. It achieves a 99.6\% anomaly detection rate versus 2.1\% for the single-agent baseline, reduces detection latency by $3.5\times$, and supplies a formal physical-workspace safety certificate. The execution gears act as micro-level permissions beneath the \smart{} runtime governance states, separating action control from autonomy governance.