arXiv:2407.06868

Energy Efficient Fair STAR-RIS for Mobile Users

Ashok S. Kumar, Nancy Nayak, Sheetal Kalyani, Himal A. Suraweera

제출 2024-07-09

원문 초록

In this work, we propose a method to improve the energy efficiency and fairness of simultaneously transmitting and reflecting reconfigurable intelligent surfaces (STAR-RIS) for mobile users, ensuring reduced power consumption while maintaining reliable communication. To achieve this, we introduce a new parameter known as the subsurface assignment variable, which determines the number of STAR-RIS elements allocated to each user. We then formulate a novel optimization problem by concurrently optimizing the phase shifts of the STAR-RIS and subsurface assignment variable. We leverage the deep reinforcement learning (DRL) technique to address this optimization problem. The DRL model predicts the phase shifts of the STAR-RIS and efficiently allocates elements of STAR-RIS to the users. Additionally, we incorporate a penalty term in the DRL model to facilitate intelligent deactivation of STAR-RIS elements when not in use to enhance energy efficiency. Through extensive experiments, we show that the proposed method can achieve fairly high and nearly equal data rates for all users in both the transmission and reflection spaces in an energy-efficient manner.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27309v1cs.SE공통 태그 Fairness, Deep Reinforcement Learning

FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트

FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.

arXiv:2607.08681v1cs.AI공통 태그 Fairness, Deep Reinforcement Learning

SolarChain-Eval: 분산 에너지 시장에서 신뢰할 수 있는 경제 에이전트를 위한 물리 제약 벤치마크

SolarChain-Eval: A Physics-Constrained Benchmark for Trustworthy Economic Agents in Decentralized Energy Markets

에이전트 AI 시스템이 사이버-물리 환경에 점점 더 많이 적용됨에 따라, 그 평가는 작업 성능과 신뢰성 모두에 대한 평가를 요구한다. 분산 에너지 시장에서 자율 에이전트는 시장 효용을 개선할 수 있지만, 유효하지 않은 물리 데이터를 악용하거나, 인위적 유동성을 생성하거나, 불안정한 거버넌스 결정을 내릴 수도 있다. 이에 우리는 신뢰할 수 있는 경제 에이전트를 평가하기 위한 물리 제약 벤치마크인 SolarChain-Eval을 제안한다. 이 벤치마크는 에이전트가 매 시간 결정을 내리는 Gymnasium 호환 마르코프 결정 과정(Markov Decision Process)으로 시장 거버넌스를 정식화한다. SolarChain-Eval은 시장 효용, 물리적 안전성, 슬리피지(slippage), 행동 매끄러움, 공간적 공정성, 감사 가능성을 포함한 다차원에서 각 정책을 평가한다. 에이전트 평가를 지원하기 위해 SolarChain-Eval은 대규모 언어 모델(LLM) 기반 플래너(Planner)/감사자(Auditor) 층(layer)을 통합한다. 플래너는 에피소드 수준의 행동 범위와 감사 규칙을 정의하고, 감사자는 고위험 행동을 검토하고 수정한다. 모든 개입은 트리거 신호, 제안된 행동, 수정된 행동, 감사 근거를 포함한 구조화된 로그를 통해 기록된다. 정적, 무작위, 근시안적, 강화학습(RL), RL+LLM 정책을 사용한 실험은 명확한 효용-안전성 트레이드오프를 드러낸다. RL 에이전트는 시장 효용을 개선하지만 여전히 안전하지 않은 행동을 생성할 수 있다. 물리 페널티가 제거되면, 보상(reward) 최대화 에이전트는 유효하지 않은 발전을 악용하고 인위적 유동성을 증가시킨다. LLM 플래너/감사자는 감사 가능성을 개선하고 일부 위험을 완화하지만, 잘못 명세된 보상(reward) 함수를 완전히 보완할 수는 없다. 이러한 결과는 신뢰할 수 있는 에이전트 AI 평가가 물리적 제약과 투명한 개입 추적 모두를 필요로 함을 시사한다. 재현 가능성을 위해 데이터와 코드를 GitHub에 오픈 액세스로 공개한다.

arXiv:2607.11607v2cs.AI공통 태그 Deep Reinforcement Learning

학습된 불확실성은 언제 신뢰할 수 있는가? 분포적 강화학습에 대한 감사

When Can Learned Uncertainty Be Trusted? An Audit of Distributional Reinforcement Learning

많은 학습된 예측 모델은 불확실성을 확률분포로 표현하며, 플래너와 정책은 이 분포를 이용해 위험을 판단한다. 그러나 모델이 분포를 출력한다는 사실만으로는 그 분포가 의사결정과 관련된 환경의 불확실성을 포착하는지 알 수 없다. 본 연구는 이 문제를 분포적 강화학습에서 다루며, 여기서 학습된 반환 분포 P_{\theta}(Z | s,a)는 스냅샷-재시작 몬테카를로로 추정한 환경 기반 분포 P_env(Z | s,a)와 직접 비교될 수 있다. 우리의 감사는 먼저 상위 두 행동 간의 초과 Wasserstein 격차(1차 확률 지배가 위배되는 질량과 같음)를 이용하여 위험 민감 사용자가 근거로 삼을 주장들을 선별한다. 이후 각 주장은 순열 귀무분포, 부트스트랩 반박, FDR 통제를 사용하여 실제 정답과 대조하여 검증된다. MinAtar에서 QR-DQN, C51, IQN(33회 실행) 전반에 걸쳐, 가장 강하게 주장된 위험 상충 관계의 40-95%가 95% 신뢰도로 반박되었고, 그 배치는 정답을 모르는 배치와 통계적으로 구별되지 않았으며, 확인될 수 있는 것은 거의 없었다. 사전 학습된 전체 Atari QR-DQN에서도 유사한 양상이 나타났다. 크기를 아는 양성 대조군에서는 동일한 감사가 실제 주장의 96-100%를 확인하여(상관 0.89-0.92), 실제 위험이 존재할 때 이를 탐지할 수 있다. 가장 많이 표시된 상태에서 학습된 CVaR 조언에 따라 행동하면 그 결과는 유익한 경우부터 우연보다 유의하게 나쁜 경우까지 다양했다. 앙상블, 위험 민감 학습, 재보정은 문제를 해결하지 못하며, 재보정 실험은 학습된 분산이 실제 위험에 관해 쓸 만한 정보를 갖지 않음을 시사한다. 이러한 결과에 따라, 학습된 세계 모델의 추정을 포함한 불확실성 추정은 그것이 사용되는 의사결정 지점에서 실현된 결과와 대조하여 검증되어야 한다고 제안한다.

arXiv:2610.02545v2cs.LG공통 태그 Deep Reinforcement Learning

보상 인플레이션: 강화학습을 위한 건강한 자극

Reward Inflation: A Healthy Stimulus for Reinforcement Learning

보상은 강화 학습(RL)의 주된 학습 신호이다. 그러나 보상의 크기는 보통 학습 내내 고정되는 반면, 그 시간적 조절은 아직 충분히 탐구되지 않았다. 본 논문은 학습이 진행되는 동안 보상을 점진적으로 스케일링하는 보상 인플레이션(reward inflation)을 제안하고, 이것이 RL에 건강한 자극으로 작용할 수 있음을 보인다. 이론적으로 보상 인플레이션은 정책 갱신 중 최근 전이에 더 큰 가중을 두는 암묵적 최신성 가중을 유도하여 더 빠른 적응을 가능하게 한다. 또한 보상 인플레이션이 정책이 포화될 때 그래디언트 신호를 유지함으로써 휴면 뉴런의 출현을 억제함을 보이며, 이는 가소성 보존에 기여할 가능성을 시사한다. ALE 게임과 MuJoCo 과제에 대한 실험 결과는 이러한 발견을 뒷받침하며, 적절한 수준의 보상 인플레이션이 광범위한 과제에 이롭다는 것을 보여 준다. 마지막으로 인플레이션 수준을 즉석에서 조정하는 적응형 변형인 Fed를 도입하며, 이것이 고정된 인플레이션보다 자주 성능을 향상시킨다는 것을 확인한다. 소스 코드는 https://github.com/northadventure/RewardInflation 에서 이용할 수 있다.

arXiv:2607.14393v3cs.RO공통 태그 Deep Reinforcement Learning

로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법

An offline approach to fNIRS-guided reinforcement learning for robot behavior

인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.