기억하는 법 배우기: 엣지 서버리스 오토스케일링을 위한 어텐션 기반 강화학습
Learning to Remember: Attentive Reinforcement Learning for Edge Serverless Autoscaling
엣지 컴퓨팅에서 서버리스 워크로드의 확률적이고 버스트(bursty)한 특성은 자율적인 리소스 오케스트레이션에 도전 과제를 제기합니다. 쿠버네티스(Kubernetes)의 Horizontal Pod Autoscaler(HPA)와 같은 기존의 반응형 컨트롤러는 반응 지연 문제를 겪으며, 이는 트래픽 급증 시 서비스 수준 목표(SLO) 위반을 초래하고 트래픽 감소 시에는 리소스 플래핑(flapping) 현상을 유발합니다. 심층 강화학습(DRL)이 선제적 관리를 위한 해결책을 제시하지만, 일반적인 에이전트는 비마르코프(non-Markovian) 엣지 환경에서 최근의 시간적 맥락을 활용하지 못하는 '시간적 맹목성(temporal blindness)' 문제를 겪습니다. 이러한 격차를 해소하기 위해, 본 논문에서는 Proximal Policy Optimization(PPO) 에이전트 내에 통합된 어텐션 강화 이중 적층 LSTM(Attention-Enhanced Double-Stacked LSTM) 아키텍처를 통해 단기 시간적 맥락과 제어를 결합한 안정성 인식 오토스케일링 프레임워크를 제안합니다. 얕은 순환 모델과 달리, 본 접근 방식은 학습된 어텐션 메커니즘을 사용하여 최근의 과거 상태에 비균등한 가중치를 부여함으로써, 고주파 지터(jitter)를 억제하는 동시에 수요 변화에 선행하는 추세를 보존합니다. 실제 Azure Functions 트레이스를 사용하여 두 개의 독립적인 쿠버네티스 클러스터에서 해당 프레임워크를 검증했습니다. 단일 층 LSTM 절제 연구 및 정적 HPA 기준선(baseline)과 비교했을 때, 본 접근 방식은 P90 지연 시간을 약 67% 감소시켰으며, 각각 49.6% 및 43.5%에 불과했던 50ms의 엄격한 SLO(hard SLO) 내 평균 지연 시간 유지율을 실행 시간의 98.8%까지 달성했습니다. 또한 Kubernetes Event-Driven Autoscaling(KEDA)과 비교하여 75% 적은 레플리카-스텝(replica-steps)과 59% 적은 변동(churn)으로 동등한 지연 시간 성능을 달성했으며, KEDA가 최대 24회에 달했던 P90 엄격한 SLO 위반 버스트를 최대 5회 연속 구간으로 제한했습니다. 이러한 결과는 심층 어텐션 메모리를 통해 시간적 맹목성을 완화함으로써 버스트성 엣지 워크로드 하에서 쿠버네티스 오토스케일링의 신뢰성과 안정성을 향상시킬 수 있음을 보여줍니다.