arXiv:2402.17773

SINR-Aware Deep Reinforcement Learning for Distributed Dynamic Channel Allocation in Cognitive Interference Networks

Yaniv Cohen, Tomer Gafni, Ronen Greenberg, Kobi Cohen

제출 2024-02-17

원문 초록

We consider the problem of dynamic channel allocation (DCA) in cognitive communication networks with the goal of maximizing a global signal-to-interference-plus-noise ratio (SINR) measure under a specified target quality of service (QoS)-SINR for each network. The shared bandwidth is partitioned into K channels with frequency separation. In contrast to the majority of existing studies that assume perfect orthogonality or a one- to-one user-channel allocation mapping, this paper focuses on real-world systems experiencing inter-carrier interference (ICI) and channel reuse by multiple large-scale networks. This realistic scenario significantly increases the problem dimension, rendering existing algorithms inefficient. We propose a novel multi-agent reinforcement learning (RL) framework for distributed DCA, named Channel Allocation RL To Overlapped Networks (CARLTON). The CARLTON framework is based on the Centralized Training with Decentralized Execution (CTDE) paradigm, utilizing the DeepMellow value-based RL algorithm. To ensure robust performance in the interference-laden environment we address, CARLTON employs a low-dimensional representation of observations, generating a QoS-type measure while maximizing a global SINR measure and ensuring the target QoS-SINR for each network. Our results demonstrate exceptional performance and robust generalization, showcasing superior efficiency compared to alternative state-of-the-art methods, while achieving a marginally diminished performance relative to a fully centralized approach.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13354v1cs.AI공통 태그 Reinforcement Learning (RL), Deep Reinforcement Learning

AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술

AlphaNIST: Emergent Assembly Skills from Binary Task Rewards

NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Multi-agent Reinforcement Learning

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.00619v1q-fin.TR공통 태그 Deep Reinforcement Learning, Multi-agent Reinforcement Learning

초과 경쟁적 결과를 넘어서: 최적 집행 게임을 위한 심층 강화학습에서의 담합 행위

Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games

본 논문에서는 이탈을 억제하고 담합의 행동적 증거를 제공하는 학습된 징벌 메커니즘을 규명함으로써, 최적 집행(optimal-execution) 게임에서 나타나는 초과 경쟁적 결과(supra-competitive outcomes)에 대한 기존 연구 결과를 확장합니다. 저자들은 2인 유한 시간 지평 Almgren-Chriss 청산 게임에서 이 메커니즘을 조사합니다. 에피소드 내 가격 및 행동 이력에 접근할 수 있는 독립적인 근접 정책 최적화(PPO) 에이전트들은 내시(Nash) 벤치마크보다 낮은 비용을 달성합니다. 학습된 평균 청산 일정에 대항해 학습(training)시킴으로써 수익성 있는 이탈을 식별한 뒤, 원래 에이전트 중 하나에 이탈의 첫 거래를 강제합니다. 이에 상대방은 청산을 가속화하는 방식으로 대응합니다. 이러한 대응은 모든 실행과 두 플레이어 역할 모두에서 이탈자의 이득을 상쇄하고도 남으며, 동일한 이탈 하에서 처벌하지 않았을 때와 비교해 처벌자의 평균 보수는 실질적으로 변하지 않은 채 유지됩니다. 처벌자는 더 수익성이 높고 징벌성이 덜한 청산 계획을 선택할 수 있음에도 불구하고, 자신의 평균 보수를 보존하면서 이탈자에게 더 큰 손실(loss)을 부과합니다. 이에 상응하는 이탈과 그에 따른 추가 매도는 학습 과정에서 증가했다가 이후 감소하지만, 최종 정책은 효과적인 징벌적 대응을 유지합니다. 저자들은 처벌이 이탈로 인한 이득을 능가하는지 여부, 그리고 거래 행동의 변화가 부과된 손실을 설명할 만큼 충분히 큰지 여부라는 두 가지 검증 기준을 정식화합니다. 테스트된 이탈에 대해 두 검증 기준 모두 충족됩니다. 종합하면, 이러한 발견들은 학습된 초과 경쟁적 결과가 담합이라는 해석을 뒷받침하는 행동적 및 경제적 증거를 제공합니다.

arXiv:2609.27309v1cs.SE공통 태그 Deep Reinforcement Learning, Multi-agent Reinforcement Learning

FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트

FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.

arXiv:2609.28364v1cs.RO공통 태그 Deep Reinforcement Learning, Multi-agent Reinforcement Learning

LEAP-CBF: 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials)을 이용한 불확실 시스템용 안전 필터

LEAP-CBF: A Safety Filter for Uncertain Systems with Least-Effort Adversarial Potentials

제어 장벽 함수(Control Barrier Function, CBF)는 비선형 동역학 시스템의 안전성을 보장하기 위해 널리 쓰이는 안전 필터이다. 그러나 시스템에 불확실성과 외란이 존재할 때는 CBF의 강건(robust) 변형을 사용해야 하는데, 이러한 변형은 구성하기 어려울 수 있으며 특히 입력 제약이 있는 고차원 시스템에서는 지나치게 보수적일 수 있다. 본 연구에서는 이러한 문제를 해결하기 위한 새로운 접근법으로, 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials, LEAP)을 제안한다. LEAP은 주어진 상태가 외란에 대해 갖는 강건성을, 외란이 실패를 일으키기 위해 필요한 노력의 크기로 정량화하는 인증서(certificate)이다. 우리는 LEAP이 외란이 없는 시스템에 대한 CBF임을 보이는 동시에, 누적 노력이 제한된 외란에 대해 강건한 안전 필터를 구성하는 데에도 사용될 수 있음을 보인다. 또한 온-정책(on-policy) 심층 강화학습(deep reinforcement learning)으로 LEAP을 구성하는 방법을 제안한다. 이어서 외란과 불확실성이 있는 다양한 멀티 에이전트 시스템에 대한 시뮬레이션에서 LEAP을 시연한다. 마지막으로, 사족보행 로봇과 쿼드로터를 이용한 하드웨어 실험을 통해 LEAP이 실제 로봇 시스템의 외란과 불확실성을 다루는 데 적합함을 검증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.