Reclaimer: A Reinforcement Learning Approach to Dynamic Resource Allocation for Cloud Microservices
원문 초록
Many cloud applications are migrated from the monolithic model to a microservices framework in which hundreds of loosely-coupled microservices run concurrently, with significant benefits in terms of scalability, rapid development, modularity, and isolation. However, dependencies among microservices with uneven execution time may result in longer queues, idle resources, or Quality-of-Service (QoS) violations. In this paper we introduce Reclaimer, a deep reinforcement learning model that adapts to runtime changes in the number and behavior of microservices in order to minimize CPU core allocation while meeting QoS requirements. When evaluated with two benchmark microservice-based applications, Reclaimer reduces the mean CPU core allocation by 38.4% to 74.4% relative to the industry-standard scaling solution, and by 27.5% to 58.1% relative to a current state-of-the art method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
User Allocation in Mobile Edge Computing: A Deep Reinforcement Learning Approach
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
유클리드 클리핑을 넘어서: 리만 등거리 정책 최적화를 통한 LLM 강화학습 내 탐험 붕괴 극복
Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었다. 그러나 PPO-Clip을 사용하는 강화학습 알고리즘은 본질적으로 탐험(exploration) 붕괴라는 한계를 지닌다. 이후 연구들은 주로 휴리스틱에 머물러 있으며 PPO-Clip 실패의 본질적인 원인을 규명하지 못하고 있다. 본 연구는 PPO-Clip의 근본적인 결함을 밝힌다: PPO-Clip은 유클리드 메트릭을 사용하여 정책 불일치를 암묵적으로 측정하는데, 이는 정책 리만 다양체의 내재적 기하구조와 이론적으로 불일치한다. 이러한 기하학적 불일치는 저확률 영역에서는 지나치게 보수적인 업데이트를, 고확률 영역에서는 공격적인 업데이트를 초래하여 결국 탐험을 붕괴시킨다. 이러한 기하학적 결함을 수정하기 위해, 우리는 리만 다양체 위에서 등거리 정책 업데이트를 보장하여 탐험과 활용(exploitation)의 균형을 효과적으로 맞추는 Riemannian Isometric Policy Optimization(RIPO)을 제안한다. 나아가 우리는 RIPO가 유리한 바이어스(bias)-분산 트레이드오프를 달성하여 최적화를 안정화함을 보인다. 광범위한 실험을 통해 RIPO가 7개의 경시대회 수준 벤치마크 전반에서 기존 LLM 강화학습 알고리즘을 크게 능가함을 입증한다(AIME24에서 GRPO 대비 최대 60% 향상).
Molt: 에이전트 강화학습을 위한 확장 가능한 PyTorch 네이티브 학습 프레임워크
Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning
에이전트 강화학습(RL)은 에이전트 및 학습 알고리즘에 대한 빠른 실험을 필요로 하지만, 대규모 정책과 긴 멀티모달 궤적은 상당한 분산 인프라를 요구합니다. 본 논문에서는 네 가지 기여를 통해 이러한 목표들을 결합한 경량 PyTorch 및 Hugging Face 네이티브 프레임워크인 MOLT를 제시합니다. MOLT는 약 9,200줄의 프레임워크 코드 내에서 Hugging Face 모델의 직접 로딩과 실험적으로 검증된 1조 개 매개변수(parameter) 확장성을 결합합니다. 통합된 OpenAI 및 Anthropic 호환 인터페이스는 컨텍스트 압축의 자동 처리를 통해 기존 에이전트들을 통합합니다. 완전 비동기 학습은 에이전트 롤아웃(rollout)과 정책 최적화를 중첩하여 가변적인 에이전트 실행 시간을 수용합니다. 분산 경험 저장은 긴 멀티모달 궤적에 대한 중앙 집중식 롤아웃 메모리 병목 현상을 제거합니다. 1조 개 매개변수 정책에서 전체 RL 학습 파이프라인을 실험적으로 검증하고 30B 전문가 혼합(MoE) 에이전트를 통해 지속적인 학습을 입증함으로써, MOLT가 대규모 에이전트 RL 연구를 위한 경량 기반임을 확립합니다.
EBRL: 다중 세분도 자원 관리를 통한 비동기 체현형 RL
EBRL: Asynchronous Embodied RL by Multi-Grained Resource Management
체현형 강화학습(RL)은 환경 시뮬레이션, 행동 생성, 모델 업데이트로 이루어진 파이프라인을 통해 모델 역량을 향상시킨다. 이러한 단계들은 서로 다른 CPU·GPU 수요를 보여 효율적인 자원 활용을 어렵게 한다. 최근 시스템은 효율을 위해 롤아웃(시뮬레이션 및 생성)과 학습을 겹치지만, 롤아웃에서 GPU를 독점 할당하고 동기화 배리어를 두는 방식은 여전히 하드웨어 자원 낭비가 크다. 본 논문에서는 두 가지 핵심 기법을 갖춘 비동기 체현형 RL 학습 시스템 EBRL을 제안한다. 비동기 파이프라인 스케줄러는 롤아웃과 학습을 겹치고, 환경 그룹 간에 시뮬레이션과 생성을 파이프라인으로 연결하며, 각 환경을 독립적으로 실행해 동기화로 인한 정체를 없앤다. 세분화된 자원 관리자는 CPU 코어와 GPU 스트리밍 멀티프로세서(SM)를 풀로 묶고, 단계별 프로파일과 런타임 피드백으로 단계 간 변하는 수요에 맞춰 자원 할당량과 배치 크기를 조정한다. EBRL을 RLinf 위에 구현하고, 이질적 GPU 테스트베드에서 체현형 정책 네 종과 시뮬레이션 벤치마크 네 종으로 평가했다. 실험 결과 EBRL은 SOTA 체현형 RL 시스템 대비 end-to-end 롤아웃 처리량 1.30–3.47배, 학습 수렴 속도 2.5배를 달성했다.
극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기
Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons
가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.