GFCL: A GRU-based Federated Continual Learning Framework against Data Poisoning Attacks in IoV
원문 초록
Integration of machine learning (ML) in 5G-based Internet of Vehicles (IoV) networks has enabled intelligent transportation and smart traffic management. Nonetheless, the security against adversarial poisoning attacks is also increasingly becoming a challenging task. Specifically, Deep Reinforcement Learning (DRL) is one of the widely used ML designs in IoV applications. The standard ML security techniques are not effective in DRL where the algorithm learns to solve sequential decision-making through continuous interaction with the environment, and the environment is time-varying, dynamic, and mobile. In this paper, we propose a Gated Recurrent Unit (GRU)-based federated continual learning (GFCL) anomaly detection framework against Sybil-based data poisoning attacks in IoV. The objective is to present a lightweight and scalable framework that learns and detects the illegitimate behavior without having a-priori training dataset consisting of attack samples. We use GRU to predict a future data sequence to analyze and detect illegitimate behavior from vehicles in a federated learning-based distributed manner. We investigate the performance of our framework using real-world vehicle mobility traces. The results demonstrate the effectiveness of our proposed solution in terms of different performance metrics.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술
AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.
AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템
AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.
SafeCoEvo: 테스트 시점에서 LLM 에이전트를 위한 안전 하네스 및 가드의 공진화
SafeCoEvo: Co-Evolving Safety Harnesses and Guards for LLM Agents at Test-Time
실제 환경에 배포된 대규모 언어 모델(LLM) 에이전트(agent)는 새로운 태스크와 안전성(safety) 위험에 지속적으로 직면하지만, 실행 피드백은 대개 각 태스크가 완료된 후에야 얻을 수 있습니다. 그러나 기존의 자기 진화(self-evolving) 접근 방식은 고정되어 반복적으로 접근 가능한 태스크 분포에 대한 여러 차례의 최적화(optimization)에 주로 의존하므로, 과거 태스크에서 축적된 경험만을 활용해 미래의 미확인 태스크에 대한 안전 결정을 개선해야 하는 실제 배포 환경에서의 테스트 시점 적응(test-time adaptation)과는 근본적으로 다릅니다. 이러한 한계를 해결하기 위해, 우리는 런타임에 축적된 경험으로부터 외부 안전 시스템이 지속적으로 적응할 수 있도록 지원하는 LLM 에이전트 안전을 위한 테스트 시점 하네스-가드(Harness-Guard) 공진화 프레임워크인 SafeCoEvo를 제안합니다. SafeCoEvo는 서로 다른 시간 척도에서 두 가지 상호 보완적인 안전 역량을 공동으로 향상합니다. S-Harness는 최근의 런타임 경험을 후속 태스크에 신속하게 영향을 미칠 수 있는 갱신 가능한 명시적 안전 지식으로 빠르게 외재화하는 반면, GuardVPO는 더 긴 시간 척도에 걸쳐 축적된 런타임 안전 경험을 매개변수 기반 위험 판단 역량으로 내재화합니다. 단기적인 빠른 적응과 장기적인 역량 강화를 결합함으로써 SafeCoEvo는 에이전트의 안전 역량을 지속적으로 개선하여, 가장 강력한 기준선(baseline) 대비 안전하지 않은 결과 발생률을 10.05% 줄이는 동시에 태스크 성공률을 12.15% 향상해 안전성과 태스크 유용성 모두에서 동시 이득을 달성합니다.
ARGOS: 컴퓨팅 연속체에서의 서비스 오케스트레이션을 위한 강화학습 기반 다차원 탄력성
ARGOS: Reinforcement Learning-Driven Multidimensional Elasticity for Service Orchestration in the Computing Continuum
컴퓨팅 연속체(Computing Continuum)의 데이터 집약적 서비스는 용량이 제한적이고 불균등한 이기종 노드 전반에서 분석 품질, 자원 사용량, 비용 간의 균형을 유지해야 합니다. 자원 스케일링이 용량 한계에 도달하면 수요 변화와 클러스터 압박을 클라이언트가 정의한 품질 범위를 위반하지 않으면서 흡수해야 하므로 이러한 균형을 맞추기가 특히 어려워집니다. 기존 오케스트레이터는 주로 자원, 배치 또는 복제본을 조정하는 반면, 커버리지, 샘플, 최신성과 같은 분석 요구사항은 고정된 상태로 유지합니다. 본 논문에서는 용량 인식 승인 제어(capacity-aware admission)의 지원을 받아 분석 품질 및 클러스터 압박에 대한 요청별 마르코프 결정 과정(MDP)으로 다차원 탄력성을 정형화하는 엔드투엔드 컨트롤러인 ARGOS(Adaptive Reinforcement Learning-Driven Governance for Orchestrated Services)를 제시합니다. ARGOS는 이기종 클러스터에서 통제된 워크로드와 시간에 따라 변하는 다중 테넌트 유입 환경을 바탕으로 평가되었습니다. 통제된 시나리오 전반에서 심층 강화학습 정책은 비학습 기반 베이스라인을 일관되게 능가하며 독립적으로 튜닝된 최적 고정 참조 모델에 근접했습니다. 별도의 실제 환경 평가에서는 현실적이고 포화된 유입 조건에서 정적 중간값 대비 성능 향상을 보였으며, 기록된 CPU 또는 메모리 위반은 없었으나 커버리지 위반은 일부 남아 있었습니다. 이러한 결과는 자원 스케일링만으로는 불충분할 때 심층 강화학습이 다차원 탄력성을 위한 적응형 메커니즘으로 유효함을 뒷받침합니다.
MobiAgent: 장기 모바일 조작을 위한 이중 루프 재귀적 정책 자가 개선
MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation
장기(long-horizon) 모바일 조작은 복합적인 실행 오류와 이동(locomotion) 및 로봇 팔 제어 간의 용량 간섭(capacity interference)으로 인해 상당한 어려움을 야기합니다. 최근의 비전-언어-행동(VLA, Vision-Language-Action) 모델은 단기 태스크에는 뛰어나지만 다단계 목표에 필요한 계층적 추론 능력이 부족합니다. 게다가 기존의 계층적 에이전트는 경직된 하위 태스크 매핑, 유연하지 못한 재계획(replanning), 그리고 지속적인 학습의 부재로 어려움을 겪습니다. 이러한 한계를 해결하기 위해, 우리는 견고한 배포 실행과 재귀적 정책 자가 개선을 연결하는 이중 루프 에이전트 프레임워크인 MobiAgent를 소개합니다. 배포 중에 내부 루프(Inner Loop)는 구성 가능성이 높은 원자적 기술(atomic skills)을 통해 고차원 추론을 저수준 제어와 분리합니다. 이는 축소 지평 계획(receding-horizon planning)과 시각적 반추(visual reflection)를 위해 비전-언어 모델을 활용하며, 기술을 동적으로 구성하여 견고한 오류 복구를 보장합니다. 이러한 기술들은 통일된 VLM 백본을 공유하는 특화된 플로우 매칭(flow-matching) 전문가에 의해 실행되어 용량 간섭을 완화하는 동시에 재사용성을 극대화합니다. 동시에 외부 루프(Outer Loop)는 배포 롤아웃을 자율적으로 분할 및 검증하고, 이를 클러스터링하여 원자적 기술을 발견하며, 인간의 주석 없이 스킬 라이브러리를 지속적으로 미세조정함으로써 자동화된 평생 학습을 주도합니다. RoboCasa, BEHAVIOR-1K, 그리고 실제 환경 태스크에서의 평가는 MobiAgent의 효과를 입증합니다. 본 모델은 BEHAVIOR-1K에서 $\pi_{0.5}$-TA보다 22.5%p 높은 성능을 보이며 실행 실패로부터의 견고한 복구를 가능하게 합니다. 자율적인 데이터 재활용을 통해 RoboCasa에서는 성공률이 7.50%에서 27.50%로 향상되었고, Astribot S1에서는 32.5%에서 57.5%로 향상되었습니다.
ReLiveGym: 수 주간 재현된 현실 스트림 상에서 장기 생존 에이전트 평가
ReLiveGym: Evaluating Long-Lived Agents over Weeks of Replayed Reality
대규모 언어 모델(LLM) 에이전트가 널리 채택됨에 따라, 지속적인 모니터링이나 반복적인 행동이 필요한 작업(예: 시장 분석)에 점점 더 많이 배포되고 있습니다. 이러한 에이전트는 며칠 또는 몇 주 동안 사람의 개입 없이 운영되고, 적절한 타이밍에 행동하며, 시간에 따른 동적 환경에 적응할 것으로 기대됩니다. 그러나 기존의 장기(long-horizon) 에이전트 연구는 시간에 따라 변화하지 않는 정적인 환경을 고려하는 경우가 많아 이러한 문제를 완전히 포착하지 못합니다. 본 논문에서는 에이전트가 시간 순서대로 재현된 실제 뉴스, 시장 및 소셜 미디어 스트림의 시뮬레이션된 수 주에 걸쳐 드물게 행동하는 장기 생존(long-lived) 작업 진단 평가 환경인 ReLiveGym을 소개합니다. 이 작업들은 다양한 수준의 시간 민감도, 추론 강도 및 반복성을 아우릅니다. 본 연구에서는 8개의 베이스 언어 모델에 걸쳐 모델 선택과 하네스(harness) 설계가 이러한 장기 생존 작업에서 에이전트 성능에 어떤 영향을 미치는지 조사합니다. 실험 결과, 에이전트가 언제 행동할지 결정하는 방식이 장기 생존 작업을 위한 중요한 하네스 설계 축으로 나타났으며, 최적의 설계는 작업에 따라, 때로는 모델 선택에 따라서도 달라진다는 점을 보여줍니다. 또한 사후 피드백(hindsight feedback)을 통한 지속적 학습이 성능에 미치는 영향과 이러한 장기 생존 작업에서 관찰되는 실패 모드를 어떻게 해결하는지 평가합니다. 이러한 발견은 모델 선택, 행동 타이밍 메커니즘, 피드백 활용이 장기 생존 에이전트 설계에서 중요한 고려 사항임을 시사합니다. 코드: https://github.com/SaharaLabsAI/ReLiveGym
토론
이 논문과 연결된 포럼 글이 아직 없습니다.