arXiv:2203.12315

The state-of-the-art review on resource allocation problem using artificial intelligence methods on various computing paradigms

Javad Hassannataj Joloudari, Sanaz Mojrian, Hamid Saadatfar, Issa Nodehi, Fatemeh Fazl, Sahar Khanjani Shirkharkolaie, Roohallah Alizadehsani, H M Dipu Kabir, Ru-San Tan, U Rajendra Acharya

제출 2022-03-23

원문 초록

With the increasing growth of information through smart devices, increasing the quality level of human life requires various computational paradigms presentation including the Internet of Things, fog, and cloud. Between these three paradigms, the cloud computing paradigm as an emerging technology adds cloud layer services to the edge of the network so that resource allocation operations occur close to the end-user to reduce resource processing time and network traffic overhead. Hence, the resource allocation problem for its providers in terms of presenting a suitable platform, by using computational paradigms is considered a challenge. In general, resource allocation approaches are divided into two methods, including auction-based methods(goal, increase profits for service providers-increase user satisfaction and usability) and optimization-based methods(energy, cost, network exploitation, Runtime, reduction of time delay). In this paper, according to the latest scientific achievements, a comprehensive literature study (CLS) on artificial intelligence methods based on resource allocation optimization without considering auction-based methods in various computing environments are provided such as cloud computing, Vehicular Fog Computing, wireless, IoT, vehicular networks, 5G networks, vehicular cloud architecture,machine-to-machine communication(M2M),Train-to-Train(T2T) communication network, Peer-to-Peer(P2P) network. Since deep learning methods based on artificial intelligence are used as the most important methods in resource allocation problems; Therefore, in this paper, resource allocation approaches based on deep learning are also used in the mentioned computational environments such as deep reinforcement learning, Q-learning technique, reinforcement learning, online learning, and also Classical learning methods such as Bayesian learning, Cummins clustering, Markov decision process.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27741v1cs.LG공통 태그 reinforcement-learning, Deep Reinforcement Learning, Q-Learning

극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기

Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons

가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.

arXiv:2607.10309v3cs.AI공통 태그 reinforcement-learning, Deep Reinforcement Learning, Q-Learning

Sim-to-Real 격차 측정: AIoT 시스템에서 강화학습을 위한 저비용 실세계 벤치마크 플랫폼 설계

Measure the Sim-to-Real Gap: Designing an Affordable Real-World Benchmark Platform for Reinforcement Learning in AIoT Systems

강화학습(RL)은 자율 사물인터넷(AIoT)을 포함한 자율 시스템의 성능 향상에 널리 사용된다. 그러나 RL의 시행착오 특성상 실제 환경에서 수행하면 비용이 크고 일부 시나리오에서는 위험하다. 따라서 RL 연구의 대부분은 시뮬레이션에서 이루어진다. 이러한 의존은 Sim-to-Real 전이 가능성과 관련된 과제를 야기한다. Sim-to-Real 알고리즘의 견고성과 Sim-to-Real 격차를 평가하는 것은 실세계에서 RL 성능을 개선하기 위한 연구의 중요한 전제 조건이다. 따라서 로보틱스 등 산업에서는 이러한 연구를 지원하기 위해 시뮬레이션과 물리 플랫폼을 병행 개발해 왔다. 그러나 AIoT를 위한 범용 Sim-to-Real 벤치마크 플랫폼은 현재 존재하지 않는다. 이러한 문제를 해결하기 위해, 우리는 AIoT에서 RL을 연구하기 위한 실세계 AIoT 플랫폼을 개발했다. 이 플랫폼에서 엣지 디바이스에 배포된 에이전트는 시각 입력에 따라 안내되며, 하드웨어 에뮬레이션 키보드를 통해 별도의 호스트 컴퓨터에서 비디오 게임을 플레이한다. 이 플랫폼은 400 USD 미만의 상용 부품과 컴퓨터 두 대로 구성된다. 시스템의 목표가 게임 점수 최대화이므로, 실세계 RL 배포와 관련된 안전 위험을 본질적으로 완화한다. 실험 결과, 시뮬레이션에서 학습된 에이전트는 실세계 배포 후 인간 수준 성능 대비 1160%의 성능 저하를 겪었으며, 이는 상당한 Sim-to-Real 격차를 나타낸다. 심층 Q 네트워크(DQN) 알고리즘을 이용한 직접 실세계 학습은 1천만 학습 스텝 후 인간 수준 성능의 약 49%를 달성하여, 실세계 조건에서 RL의 실현 가능성을 보여준다. 이러한 결과는 제안한 Sim-to-Real 벤치마크 플랫폼이 실세계 AIoT 시스템에서 RL에 대한 정성적·정량적 평가를 위한 실질적인 기반을 제공함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.