arXiv:2501.17878

Collaborative Channel Access and Transmission for NR Sidelink and Wi-Fi Coexistence over Unlicensed Spectrum

Zhuangzhuang Yan, Xinyu Gu, Zhenyu Liu, Liyang Lu

제출 2025-01-20

원문 초록

With the rapid development of various internet of things (IoT) applications, including industrial IoT (IIoT) and visual IoT (VIoT), the demand for direct device-to-device communication to support high data rates continues to grow. To address this demand, 5G-Advanced has introduced sidelink communication over the unlicensed spectrum (SL-U) to increase data rates. However, the primary challenge of SL-U in the unlicensed spectrum is ensuring fair coexistence with other incumbent systems, such as Wi-Fi. In this paper, we address the challenge by designing channel access mechanisms and power control strategies to mitigate interference and ensure fair coexistence. First, we propose a novel collaborative channel access (CCHA) mechanism that integrates channel access with resource allocation through collaborative interactions between base stations (BS) and SL-U users. This mechanism ensures fair coexistence with incumbent systems while improving resource utilization. Second, to further enhance the performance of the coexistence system, we develop a cooperative subgoal-based hierarchical deep reinforcement learning (C-GHDRL) algorithm framework. The framework enables SL-U users to make globally optimal decisions by leveraging cooperative operations between the BS and SL-U users, effectively overcoming the limitations of traditional optimization methods in solving joint optimization problems with nonlinear constraints. Finally, we mathematically model the joint channel access and power control problem and balance the trade-off between fairness and transmission rate in the coexistence system by defining a suitable reward function in the C-GHDRL algorithm. Simulation results demonstrate that the proposed scheme significantly enhances the performance of the coexistence system while ensuring fair coexistence between SL-U and Wi-Fi users.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27309v1cs.SE공통 태그 Fairness, Deep Reinforcement Learning

FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트

FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.

arXiv:2607.08681v1cs.AI공통 태그 Fairness, Deep Reinforcement Learning

SolarChain-Eval: 분산 에너지 시장에서 신뢰할 수 있는 경제 에이전트를 위한 물리 제약 벤치마크

SolarChain-Eval: A Physics-Constrained Benchmark for Trustworthy Economic Agents in Decentralized Energy Markets

에이전트 AI 시스템이 사이버-물리 환경에 점점 더 많이 적용됨에 따라, 그 평가는 작업 성능과 신뢰성 모두에 대한 평가를 요구한다. 분산 에너지 시장에서 자율 에이전트는 시장 효용을 개선할 수 있지만, 유효하지 않은 물리 데이터를 악용하거나, 인위적 유동성을 생성하거나, 불안정한 거버넌스 결정을 내릴 수도 있다. 이에 우리는 신뢰할 수 있는 경제 에이전트를 평가하기 위한 물리 제약 벤치마크인 SolarChain-Eval을 제안한다. 이 벤치마크는 에이전트가 매 시간 결정을 내리는 Gymnasium 호환 마르코프 결정 과정(Markov Decision Process)으로 시장 거버넌스를 정식화한다. SolarChain-Eval은 시장 효용, 물리적 안전성, 슬리피지(slippage), 행동 매끄러움, 공간적 공정성, 감사 가능성을 포함한 다차원에서 각 정책을 평가한다. 에이전트 평가를 지원하기 위해 SolarChain-Eval은 대규모 언어 모델(LLM) 기반 플래너(Planner)/감사자(Auditor) 층(layer)을 통합한다. 플래너는 에피소드 수준의 행동 범위와 감사 규칙을 정의하고, 감사자는 고위험 행동을 검토하고 수정한다. 모든 개입은 트리거 신호, 제안된 행동, 수정된 행동, 감사 근거를 포함한 구조화된 로그를 통해 기록된다. 정적, 무작위, 근시안적, 강화학습(RL), RL+LLM 정책을 사용한 실험은 명확한 효용-안전성 트레이드오프를 드러낸다. RL 에이전트는 시장 효용을 개선하지만 여전히 안전하지 않은 행동을 생성할 수 있다. 물리 페널티가 제거되면, 보상(reward) 최대화 에이전트는 유효하지 않은 발전을 악용하고 인위적 유동성을 증가시킨다. LLM 플래너/감사자는 감사 가능성을 개선하고 일부 위험을 완화하지만, 잘못 명세된 보상(reward) 함수를 완전히 보완할 수는 없다. 이러한 결과는 신뢰할 수 있는 에이전트 AI 평가가 물리적 제약과 투명한 개입 추적 모두를 필요로 함을 시사한다. 재현 가능성을 위해 데이터와 코드를 GitHub에 오픈 액세스로 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.