기억하는 법 배우기: 엣지 서버리스 오토스케일링을 위한 어텐션 기반 강화학습
Learning to Remember: Attentive Reinforcement Learning for Edge Serverless Autoscaling
한국어 초록
엣지 컴퓨팅에서 서버리스 워크로드의 확률적이고 버스트(bursty)한 특성은 자율적인 리소스 오케스트레이션에 도전 과제를 제기합니다. 쿠버네티스(Kubernetes)의 Horizontal Pod Autoscaler(HPA)와 같은 기존의 반응형 컨트롤러는 반응 지연 문제를 겪으며, 이는 트래픽 급증 시 서비스 수준 목표(SLO) 위반을 초래하고 트래픽 감소 시에는 리소스 플래핑(flapping) 현상을 유발합니다. 심층 강화학습(DRL)이 선제적 관리를 위한 해결책을 제시하지만, 일반적인 에이전트는 비마르코프(non-Markovian) 엣지 환경에서 최근의 시간적 맥락을 활용하지 못하는 '시간적 맹목성(temporal blindness)' 문제를 겪습니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Proximal Policy Optimization(PPO) 에이전트 내에 통합된 어텐션 강화 이중 적층 LSTM(Attention-Enhanced Double-Stacked LSTM) 아키텍처를 통해 단기 시간적 맥락과 제어를 결합한 안정성 인식 오토스케일링 프레임워크를 제안합니다. 얕은 순환 모델과 달리, 본 접근 방식은 학습된 어텐션 메커니즘을 사용하여 최근의 과거 상태에 비균등한 가중치를 부여함으로써, 고주파 지터(jitter)를 억제하는 동시에 수요 변화에 선행하는 추세를 보존합니다. 실제 Azure Functions 트레이스를 사용하여 두 개의 독립적인 쿠버네티스 클러스터에서 해당 프레임워크를 검증했습니다. 단일 층 LSTM 절제 연구 및 정적 HPA 기준선(baseline)과 비교했을 때, 본 접근 방식은 P90 지연 시간을 약 67% 감소시켰으며, 각각 49.6% 및 43.5%에 불과했던 50ms의 엄격한 SLO(hard SLO) 내 평균 지연 시간 유지율을 실행 시간의 98.8%까지 달성했습니다. 또한 Kubernetes Event-Driven Autoscaling(KEDA)과 비교하여 75% 적은 레플리카-스텝(replica-steps)과 59% 적은 변동(churn)으로 동등한 지연 시간 성능을 달성했으며, KEDA가 최대 24회에 달했던 P90 엄격한 SLO 위반 버스트를 최대 5회 연속 구간으로 제한했습니다. 이러한 결과는 심층 어텐션 메모리를 통해 시간적 맹목성을 완화함으로써 버스트성 엣지 워크로드 하에서 쿠버네티스 오토스케일링의 신뢰성과 안정성을 향상시킬 수 있음을 보여줍니다.
원문 초록
In edge computing, the stochastic and bursty nature of serverless workloads challenges autonomous resource orchestration. Traditional reactive controllers, such as the Kubernetes Horizontal Pod Autoscaler (HPA), suffer from reaction latency, leading to Service Level Objective (SLO) violations during traffic spikes and resource flapping during ramp-downs. While Deep Reinforcement Learning (DRL) offers a pathway toward proactive management, standard agents suffer from \textit{temporal blindness}, an inability to exploit the recent temporal context in non-Markovian edge environments. To bridge this gap, we propose a stability-aware autoscaling framework unifying short-horizon temporal context and control via an Attention-Enhanced Double-Stacked LSTM architecture integrated within a Proximal Policy Optimization (PPO) agent. Unlike shallow recurrent models, our approach employs a learned attention mechanism that weights recent historical states non-uniformly, suppressing high-frequency jitter while preserving the trend that precedes demand shifts. We validate the framework on two independent Kubernetes clusters using real-world Azure Functions traces. Against the single-layer LSTM ablation and the static HPA baseline, our approach reduces P90 latency by $\approx$67\%, and holds average latency within the 50ms hard SLO for 98.8\% of the run against 49.6\% and 43.5\% respectively. Against Kubernetes Event-Driven Autoscaling (KEDA), it matches latency performance at 75\% fewer replica-steps and 59\% less churn, with P90 hard-SLO violation bursts of at most 5 consecutive intervals against up to 24 for KEDA. These results indicate that mitigating temporal blindness through deep attentive memory improves the reliability and stability of Kubernetes autoscaling under bursty edge workloads.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.28790v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
강화학습 및 게임 이론을 활용한 자원 제약 차량 사물 인터넷 환경용 적응형 다중 판별자 WGAN 프레임워크
Adaptive Multi-Discriminator WGAN Framework for Resource-Constrained Internet of Vehicles Using Reinforcement Learning and Game Theory
머신러닝 워크로드를 네트워크 서비스로 관리하는 것은 기존의 모델 학습(training)과는 다른 자원 오케스트레이션 문제를 발생시킵니다. 즉, 어떤 노드(node)를 작업에 할당해야 하는지, 통신 및 연산 예산을 노드 간에 어떻게 분배해야 하는지, 그리고 이동성에 따라 연결성과 노드 가용성이 변화할 때 서비스 품질을 어떻게 유지해야 하는지의 문제입니다. 차량 사물 인터넷(IoV) 환경에 생성적 적대 신경망(GAN)을 배포하는 것은 이러한 문제의 대표적인 고난도 사례입니다. 자원 제약, 동적인 네트워크 토폴로지, 그리고 상충하는 최적화 목표로 인해 기존 GAN 아키텍처는 높은 정확도, 효율적인 자원 사용, 낮은 지연 시간, 낮은 통신 오버헤드를 동시에 달성할 수 없습니다. 본 논문에서는 이러한 문제를 종합적으로 해결하기 위해 강화학습(reinforcement learning)과 게임 이론 기반 조율을 통합한 적응형 다중 판별자 바서슈타인 GAN(MD-WGAN) 프레임워크를 제안합니다. 제안하는 프레임워크에서는 노변 기지국(RSU)이 판별자 하위 집합을 선택하고 이동 차량 노드 전반의 분산 학습을 관리하는 심층 Q 네트워크(DQN) 에이전트와 결합된 생성자를 호스팅하며, 게임 이론 기반 조율 단계를 통해 생성자와 판별자 간의 학습 에포크를 할당합니다. 통합 최적화 목적 함수는 차량 환경의 제약 조건 하에서 적대적 학습 품질을 자원 효율성, 통신 오버헤드, 지연 시간과 연계하여, 네트워크 조건이 변함에 따라 프레임워크가 학습 동작을 지속적으로 적응시킬 수 있도록 합니다. 실제 NGSIM 궤적 데이터를 활용한 평가 결과, 본 프레임워크는 최고 수준의 최신 GAN 베이스라인과 대등한 예측 정확도를 달성하여 평가된 모든 방법 중 가장 낮은 RMSE(1.029) 및 MAE(0.894)를 기록하는 동시에, 경쟁력 있는 통신 오버헤드와 지연 시간을 유지하면서 평균 CPU 사용률을 약 28%, 평균 메모리 사용량을 약 6% 대폭 절감하여 자원 효율성을 뚜렷하게 향상시킴을 입증했습니다.
ARGOS: 컴퓨팅 연속체에서의 서비스 오케스트레이션을 위한 강화학습 기반 다차원 탄력성
ARGOS: Reinforcement Learning-Driven Multidimensional Elasticity for Service Orchestration in the Computing Continuum
컴퓨팅 연속체(Computing Continuum)의 데이터 집약적 서비스는 용량이 제한적이고 불균등한 이기종 노드 전반에서 분석 품질, 자원 사용량, 비용 간의 균형을 유지해야 합니다. 자원 스케일링이 용량 한계에 도달하면 수요 변화와 클러스터 압박을 클라이언트가 정의한 품질 범위를 위반하지 않으면서 흡수해야 하므로 이러한 균형을 맞추기가 특히 어려워집니다. 기존 오케스트레이터는 주로 자원, 배치 또는 복제본을 조정하는 반면, 커버리지, 샘플, 최신성과 같은 분석 요구사항은 고정된 상태로 유지합니다. 본 논문에서는 용량 인식 승인 제어(capacity-aware admission)의 지원을 받아 분석 품질 및 클러스터 압박에 대한 요청별 마르코프 결정 과정(MDP)으로 다차원 탄력성을 정형화하는 엔드투엔드 컨트롤러인 ARGOS(Adaptive Reinforcement Learning-Driven Governance for Orchestrated Services)를 제시합니다. ARGOS는 이기종 클러스터에서 통제된 워크로드와 시간에 따라 변하는 다중 테넌트 유입 환경을 바탕으로 평가되었습니다. 통제된 시나리오 전반에서 심층 강화학습 정책은 비학습 기반 베이스라인을 일관되게 능가하며 독립적으로 튜닝된 최적 고정 참조 모델에 근접했습니다. 별도의 실제 환경 평가에서는 현실적이고 포화된 유입 조건에서 정적 중간값 대비 성능 향상을 보였으며, 기록된 CPU 또는 메모리 위반은 없었으나 커버리지 위반은 일부 남아 있었습니다. 이러한 결과는 자원 스케일링만으로는 불충분할 때 심층 강화학습이 다차원 탄력성을 위한 적응형 메커니즘으로 유효함을 뒷받침합니다.
Sim-to-Real 격차 측정: AIoT 시스템에서 강화학습을 위한 저비용 실세계 벤치마크 플랫폼 설계
Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems
강화학습(RL)은 자율 사물인터넷(AIoT)을 포함한 자율 시스템의 성능 향상에 널리 사용된다. 그러나 RL의 시행착오 특성상 실제 환경에서 수행하면 비용이 크고 일부 시나리오에서는 위험하다. 따라서 RL 연구의 대부분은 시뮬레이션에서 이루어진다. 이러한 의존은 Sim-to-Real 전이 가능성과 관련된 과제를 야기한다. Sim-to-Real 알고리즘의 견고성과 Sim-to-Real 격차를 평가하는 것은 실세계에서 RL 성능을 개선하기 위한 연구의 중요한 전제 조건이다. 따라서 로보틱스 등 산업에서는 이러한 연구를 지원하기 위해 시뮬레이션과 물리 플랫폼을 병행 개발해 왔다. 그러나 AIoT를 위한 범용 Sim-to-Real 벤치마크 플랫폼은 현재 존재하지 않는다. 이러한 문제를 해결하기 위해, 우리는 AIoT에서 RL을 연구하기 위한 실세계 AIoT 플랫폼을 개발했다. 이 플랫폼에서 엣지 디바이스에 배포된 에이전트는 시각 입력에 따라 안내되며, 하드웨어 에뮬레이션 키보드를 통해 별도의 호스트 컴퓨터에서 비디오 게임을 플레이한다. 이 플랫폼은 400 USD 미만의 상용 부품과 컴퓨터 두 대로 구성된다. 시스템의 목표가 게임 점수 최대화이므로, 실세계 RL 배포와 관련된 안전 위험을 본질적으로 완화한다. 실험 결과, 시뮬레이션에서 학습된 에이전트는 실세계 배포 후 인간 수준 성능 대비 1160%의 성능 저하를 겪었으며, 이는 상당한 Sim-to-Real 격차를 나타낸다. 심층 Q 네트워크(DQN) 알고리즘을 이용한 직접 실세계 학습은 1천만 학습 스텝 후 인간 수준 성능의 약 49%를 달성하여, 실세계 조건에서 RL의 실현 가능성을 보여준다. 이러한 결과는 제안한 Sim-to-Real 벤치마크 플랫폼이 실세계 AIoT 시스템에서 RL에 대한 정성적·정량적 평가를 위한 실질적인 기반을 제공함을 시사한다.
능동 비대각선 RIS 기반 이질적 엣지 컴퓨팅: 분포형 강화학습 접근법
Active Beyond-Diagonal RIS Empowered Heterogeneous Edge Computing: A Distributional Reinforcement Learning Approach
능동형 비대각선 재구성 가능 지능 표면(active beyond-diagonal reconfigurable intelligent surface, BD-RIS)은 하이브리드 송신 및 반사 모드를 통해 효과적인 신호 증폭과 전공간 커버리지를 달성할 수 있어, 이질적 모바일 엣지 컴퓨팅(MEC) 시스템에서 차단을 고려한 업링크 오프로딩에 유망한 해결책을 제공한다. 그러나 실용적인 하이브리드 모드 능동형 BD-RIS는 상호(reciprocal) 장치로 구현되며, 이는 본질적으로 교차 섹터(cross-sector) 에너지 누설을 발생시켜 시스템 수준의 에너지-지연 트레이드오프를 재구성한다. 본 논문은 상호형 능동 BD-RIS 지원 이질적 MEC에서 에너지 인식 오프로딩과 자원 할당을 연구하며, 오프로딩 결정, CPU/GPU 연산 할당, 송신 전력, 수신 처리, 능동 BD-RIS가 밀접하게 결합되어 있다. 그 결과 도출되는 문제는 고차원 혼합 정수 비볼록 문제이며, 기존의 인스턴스별 최적화로는 효율적으로 풀기 어렵다. 이 과제에 대응하기 위해, 분포형 소프트 액터-크리틱(distributional soft actor-critic) 알고리즘의 개선 버전인 DSAC-T를 기반으로 한 종단 간(end-to-end) 공동 최적화 프레임워크를 제안한다. 기대값만이 아니라 수익(return) 분포를 모델링함으로써, DSAC-T는 보상 이질성 및 실행 가능성 경계 민감성 하에서 정책 안정성을 향상시킨다. 다른 기준선 알고리즘과 비교할 때, DSAC-T는 최고의 에너지-지연 보상, 81.67%의 최고 실행 가능 비율, 시나리오당 0.0267초의 빠른 온라인 의사결정 시간을 달성한다.
규칙 정렬 소형 언어 모델과 다중 에이전트 자기 수정을 활용한 폐루프 제어
Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction
자율 산업 운영을 향한 핵심 단계는 수동 재설계를 최소화하거나 없이 자연어 요구사항 명세로부터 제어 정책을 생성하고 재구성하는 능력이다. 이 환경에서, AI 에이전트에 의한 정책 생성은 실행 전 생성된 후보 액션을 검사할 수 있는 플랜트 인식 검증기(예: 디지털 트윈)와 결합될 때 신뢰할 수 있는 경로가 될 수 있다. 그러나 실용적 배포는 추론 지연과 계산 자원 규모에 의해 제약된다: 대형 클라우드 기반 모델은 엣지 폐루프 사용에 있어 너무 느리거나, 불투명하거나, 데이터 민감도 측면에서 문제가 있는 경우가 많다. 본 연구는 소형 언어 모델(SLM)이 제어 추론을 위해 재훈련되고 검증기 기반 수정 루프에 내장될 수 있는지를 조사한다. 우리는 그룹 상대 정책 최적화(GRPO)를 통해 정렬된 Qwen2.5-1.5B 모델을 (i) 액션 에이전트, (ii) 심볼릭/디지털 트윈 방식의 검증 층, (iii) 유효한 액션을 향해 출력을 반복적으로 조정하는 리프롬프팅 에이전트와 결합하여 사용한다. 무작위화된 열 제어 시뮬레이션(각 500 스텝의 30회 실험)에서, 이 프레임워크는 평균 추론 지연 3.84초에 평균 액션 정렬 정확도 91.5%(사례별 86.3%--100%)를 달성한다. 심볼릭 재매핑 하에서 95%의 범위 내 비율을 유지하며, 이는 감소된 토큰 수준 일치도에도 불구하고 견고한 물리적 조절을 나타낸다. 이러한 결과는 SLM+검증기 아키텍처가 엣지에서의 재구성 가능한 자율 제어를 향한 실용적인 경로임을 지지한다.
IoV-Oriented Integrated Sensing, Computation, and Communication: System Design and Resource Allocation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.