arXiv:2503.00256

Traffic Priority-Aware 5G NR-U/Wi-Fi Coexistence with Deep Reinforcement Learning

Mohammad Reza Fasihi, Brian L. Mark

제출 2025-03-01

원문 초록

Coexistence of 5G new radio unlicensed (NR-U) and Wi-Fi is highly prone to the collisions among NR-U gNBs (5G base stations) and Wi-Fi APs (access points). To improve performance and fairness for both networks, various collision resolution mechanisms have been proposed to replace the simple listen-before-talk (LBT) scheme used in the current 5G standard. We address two gaps in the literature: first, the lack of a comprehensive performance comparison among the proposed collision resolution mechanisms and second, the impact of multiple traffic priority classes. Through extensive simulations, we compare the performance of several recently proposed collision resolution mechanisms for NR-U/Wi-Fi coexistence. We extend one of these mechanisms to handle multiple traffic priorities. We then develop a traffic-aware multi-objective deep reinforcement learning algorithm for the scenario of coexistence of high-priority traffic gNB user equipment (UE) with multiple lower-priority traffic UEs and Wi-Fi stations. The objective is to ensure low latency for high-priority gNB traffic while increasing the airtime fairness among the NR-U and Wi-Fi networks. Our simulation results show that the proposed algorithm lowers the channel access delay of high-priority traffic while improving the fairness among both networks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27309v1cs.SE공통 태그 Fairness, Deep Reinforcement Learning

FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트

FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.

arXiv:2607.08681v1cs.AI공통 태그 Fairness, Deep Reinforcement Learning

SolarChain-Eval: 분산 에너지 시장에서 신뢰할 수 있는 경제 에이전트를 위한 물리 제약 벤치마크

SolarChain-Eval: A Physics-Constrained Benchmark for Trustworthy Economic Agents in Decentralized Energy Markets

에이전트 AI 시스템이 사이버-물리 환경에 점점 더 많이 적용됨에 따라, 그 평가는 작업 성능과 신뢰성 모두에 대한 평가를 요구한다. 분산 에너지 시장에서 자율 에이전트는 시장 효용을 개선할 수 있지만, 유효하지 않은 물리 데이터를 악용하거나, 인위적 유동성을 생성하거나, 불안정한 거버넌스 결정을 내릴 수도 있다. 이에 우리는 신뢰할 수 있는 경제 에이전트를 평가하기 위한 물리 제약 벤치마크인 SolarChain-Eval을 제안한다. 이 벤치마크는 에이전트가 매 시간 결정을 내리는 Gymnasium 호환 마르코프 결정 과정(Markov Decision Process)으로 시장 거버넌스를 정식화한다. SolarChain-Eval은 시장 효용, 물리적 안전성, 슬리피지(slippage), 행동 매끄러움, 공간적 공정성, 감사 가능성을 포함한 다차원에서 각 정책을 평가한다. 에이전트 평가를 지원하기 위해 SolarChain-Eval은 대규모 언어 모델(LLM) 기반 플래너(Planner)/감사자(Auditor) 층(layer)을 통합한다. 플래너는 에피소드 수준의 행동 범위와 감사 규칙을 정의하고, 감사자는 고위험 행동을 검토하고 수정한다. 모든 개입은 트리거 신호, 제안된 행동, 수정된 행동, 감사 근거를 포함한 구조화된 로그를 통해 기록된다. 정적, 무작위, 근시안적, 강화학습(RL), RL+LLM 정책을 사용한 실험은 명확한 효용-안전성 트레이드오프를 드러낸다. RL 에이전트는 시장 효용을 개선하지만 여전히 안전하지 않은 행동을 생성할 수 있다. 물리 페널티가 제거되면, 보상(reward) 최대화 에이전트는 유효하지 않은 발전을 악용하고 인위적 유동성을 증가시킨다. LLM 플래너/감사자는 감사 가능성을 개선하고 일부 위험을 완화하지만, 잘못 명세된 보상(reward) 함수를 완전히 보완할 수는 없다. 이러한 결과는 신뢰할 수 있는 에이전트 AI 평가가 물리적 제약과 투명한 개입 추적 모두를 필요로 함을 시사한다. 재현 가능성을 위해 데이터와 코드를 GitHub에 오픈 액세스로 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.