arXiv:2607.06115v1 cs.IT

6G Sensing Security: Distributed Game-Theoretic RL for Urban Beamforming and Attacker Detection

Parmida Geranmayeh, Onur Günlü

제출 2026-07-07

원문 초록

In next-generation networks, communication systems will no longer be limited to data transmission and will be expected to acquire awareness of the surrounding environment. This leads to the concept of integrated sensing and communication (ISAC), where the same wireless infrastructure is used for both communication and environmental sensing. Thus, ISAC enables the system to transmit information efficiently and observe and interpret channel variations and user behavior. Motivated by this capability, this work focuses on detecting an active attacker in an urban environment scenario, where the attacker intentionally manipulates beamforming directions to increase interference and mislead the transmitter into allocating the main lobe of beam toward itself instead of legitimate users. We apply game-theoretic approaches to model the interaction between legitimate users and the attacker, and integrate the resulting utility-based formulation into a reinforcement learning (RL) framework. Simulation results demonstrate that the proposed method effectively addresses security challenges in dynamic 6G ISAC systems.

요약

6G 통합 감지 및 통신(ISAC) 시스템에서 공격자가 빔포밍 방향을 조작해 간섭을 유발하는 시나리오를 대상으로, 베이즈 추론과 Nash/Stackelberg 게임 이론을 결합한 Q-러닝 기반 강화학습(RL) 프레임워크를 제안한다. 독일 도르트문트 도심의 3GPP 기반 레이트레이싱 도시 환경 시뮬레이션 결과, 제안 방법이 공격자 탐지 및 빔포밍 보안 문제를 효과적으로 해결함을 보였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.06115v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00619v1q-fin.TR공통 태그 Deep Reinforcement Learning, Multi-agent Reinforcement Learning

초과 경쟁적 결과를 넘어서: 최적 집행 게임을 위한 심층 강화학습에서의 담합 행위

Beyond Supra-Competitive Outcomes: Collusive Behaviour in Deep Reinforcement Learning for Optimal Execution Games

본 논문에서는 이탈을 억제하고 담합의 행동적 증거를 제공하는 학습된 징벌 메커니즘을 규명함으로써, 최적 집행(optimal-execution) 게임에서 나타나는 초과 경쟁적 결과(supra-competitive outcomes)에 대한 기존 연구 결과를 확장합니다. 저자들은 2인 유한 시간 지평 Almgren-Chriss 청산 게임에서 이 메커니즘을 조사합니다. 에피소드 내 가격 및 행동 이력에 접근할 수 있는 독립적인 근접 정책 최적화(PPO) 에이전트들은 내시(Nash) 벤치마크보다 낮은 비용을 달성합니다. 학습된 평균 청산 일정에 대항해 학습(training)시킴으로써 수익성 있는 이탈을 식별한 뒤, 원래 에이전트 중 하나에 이탈의 첫 거래를 강제합니다. 이에 상대방은 청산을 가속화하는 방식으로 대응합니다. 이러한 대응은 모든 실행과 두 플레이어 역할 모두에서 이탈자의 이득을 상쇄하고도 남으며, 동일한 이탈 하에서 처벌하지 않았을 때와 비교해 처벌자의 평균 보수는 실질적으로 변하지 않은 채 유지됩니다. 처벌자는 더 수익성이 높고 징벌성이 덜한 청산 계획을 선택할 수 있음에도 불구하고, 자신의 평균 보수를 보존하면서 이탈자에게 더 큰 손실(loss)을 부과합니다. 이에 상응하는 이탈과 그에 따른 추가 매도는 학습 과정에서 증가했다가 이후 감소하지만, 최종 정책은 효과적인 징벌적 대응을 유지합니다. 저자들은 처벌이 이탈로 인한 이득을 능가하는지 여부, 그리고 거래 행동의 변화가 부과된 손실을 설명할 만큼 충분히 큰지 여부라는 두 가지 검증 기준을 정식화합니다. 테스트된 이탈에 대해 두 검증 기준 모두 충족됩니다. 종합하면, 이러한 발견들은 학습된 초과 경쟁적 결과가 담합이라는 해석을 뒷받침하는 행동적 및 경제적 증거를 제공합니다.

arXiv:2609.27309v1cs.SE공통 태그 Deep Reinforcement Learning, Multi-agent Reinforcement Learning

FairTest: 다중 에이전트 강화학습 시스템을 위한 탐색 기반 공정성 테스트

FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems

다중 에이전트 강화학습(MARL)은 하나의 환경을 공유하는 에이전트 팀을 학습시키며, 에이전트들이 정책을 함께 학습한다. 학습은 팀 return을 최대화하지만, 높은 return이 모든 에피소드에서 에이전트 간 보상이 공정하게 분배된다는 뜻은 아니다. 테스트는 심층 강화학습의 실패를 찾아내는 확립된 방법이지만, MARL의 공정성을 다루는 방법은 거의 없다. 본 연구에서는 MARL 정책의 불공정한 실행을 찾는 탐색 기반 테스트 접근법 FairTest를 제안한다. 설계는 탐색 안내(search guidance)와 테스트 우선순위화를 결합한다. 안내는 세 가지 적합度(fitness) 함수로 각 후보를 점수화한다. 하나는 이미 수행된 실행의 공정성을 측정하고, 다른 하나는 추상 상태와 공정성 특징으로부터 공정성을 예측하며, 세 번째는 정책에서 의사결정 불확실성을 읽는다. 교차(crossover)와 변이(mutation)는 관측된 실행으로부터 추가 후보를 도출한다. 우선순위화는 예측된 공정성과 의사결정 불확실성으로 후보를 순위화하여, 실행이 실패가 예상되는 후보에 도달하도록 한다. FairTest는 세 가지 환경과 두 가지 MARL 알고리즘에서 평가되며, 네 가지 기준선에 동일한 예산을 부여한다. 통계적 유의성과 큰 효과 크기(effect size)를 가진 세 가지 기준선 대비 가장 많은 공정성 실패를 탐지한다. 실패 횟수는 평균적으로 가장 강한 기준선보다 221% 더 많으며, 커버리지(coverage)는 평균 23% 개선된다.

arXiv:2609.28364v1cs.RO공통 태그 Deep Reinforcement Learning, Multi-agent Reinforcement Learning

LEAP-CBF: 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials)을 이용한 불확실 시스템용 안전 필터

LEAP-CBF: A Safety Filter for Uncertain Systems with Least-Effort Adversarial Potentials

제어 장벽 함수(Control Barrier Function, CBF)는 비선형 동역학 시스템의 안전성을 보장하기 위해 널리 쓰이는 안전 필터이다. 그러나 시스템에 불확실성과 외란이 존재할 때는 CBF의 강건(robust) 변형을 사용해야 하는데, 이러한 변형은 구성하기 어려울 수 있으며 특히 입력 제약이 있는 고차원 시스템에서는 지나치게 보수적일 수 있다. 본 연구에서는 이러한 문제를 해결하기 위한 새로운 접근법으로, 최소 노력 적대적 포텐셜(Least-Effort Adversarial Potentials, LEAP)을 제안한다. LEAP은 주어진 상태가 외란에 대해 갖는 강건성을, 외란이 실패를 일으키기 위해 필요한 노력의 크기로 정량화하는 인증서(certificate)이다. 우리는 LEAP이 외란이 없는 시스템에 대한 CBF임을 보이는 동시에, 누적 노력이 제한된 외란에 대해 강건한 안전 필터를 구성하는 데에도 사용될 수 있음을 보인다. 또한 온-정책(on-policy) 심층 강화학습(deep reinforcement learning)으로 LEAP을 구성하는 방법을 제안한다. 이어서 외란과 불확실성이 있는 다양한 멀티 에이전트 시스템에 대한 시뮬레이션에서 LEAP을 시연한다. 마지막으로, 사족보행 로봇과 쿼드로터를 이용한 하드웨어 실험을 통해 LEAP이 실제 로봇 시스템의 외란과 불확실성을 다루는 데 적합함을 검증한다.

arXiv:2607.20547v1cs.LG공통 태그 Deep Reinforcement Learning, Multi-agent Reinforcement Learning

다중 에이전트 강화학습을 이용한 항공 회랑 내 저하된 감시 환경에서의 충돌 해소

Conflict Resolution under Degraded Surveillance in Air Corridors Using Multi-Agent Reinforcement Learning

안전한 고급 항공 이동성(Advanced Air Mobility, AAM) 운용은 감시 정보가 노이즈가 있거나, 지연되거나, 불완전하거나, 일시적으로 이용 불가능할 때 항공기가 분리(separation)를 유지해야 한다. 본 연구는 구조화된 3차원 회랑 내에서 운용되는 이질적인 소형 무인 항공기와 전기 수직 이착륙(eVTOL) 항공기 간 분산형 충돌 해소를 위한 심층 Q 네트워크 기반 다중 에이전트 강화학습 프레임워크를 개발한다. 두 항공기 유형에 대해 각각 국부 관측과 항로 유지, 선회, 수직 기동, 착륙, 속도 제어를 포함하는 14개 행동 공간을 사용하여 별도의 정책을 학습한다. 시뮬레이션에는 항공기별 동역학, 에너지 사용, 회랑 제약, 관측 노이즈, 통신 지연, 정보 드롭아웃, 바람 교란, 액추에이터 불확실성, 모델 불확실성이 포함된다. 학습된 정책은 교통 밀도와 최소 분리 임계값의 90가지 조합에 걸쳐 평가된다. 분리 상실(loss-of-separation) 빈도와 지속 시간은 일반적으로 교통 밀도와 분리 요구사항이 증가함에 따라 증가하지만, 대부분의 사건은 1초 이내에 해소된다. 안전한 조건 하에서 에이전트는 시간의 약 79% 동안 운동을 유지한다. 충돌 상황에서는 선회가 행동의 33%를 차지하며, 운동 유지 29%, 속도 제어 25%, 수직 기동 13%가 뒤를 잇는다. 6개의 파레토 최적 구성은 안전성과 회랑 용량 간의 트레이드오프를 보여준다. 이 프레임워크는 저하된 감시 조건 하에서 더 안전한 AAM 충돌 해소 전략의 시뮬레이션 기반 평가를 지원한다.

arXiv:2607.21111v1cs.LG공통 태그 Deep Reinforcement Learning, Adversarial Attack

TOUR: 오프라인 강화학습을 위한 궤적 수준 언러닝 벤치마크

TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning

오프라인 강화학습(RL) 에이전트는 고정된 행동 궤적으로 학습되므로, 학습 후 선택된 데이터를 제거해야 할 때 궤적 수준 삭제가 중요하다. 이러한 삭제를 평가하기는 어렵다. 더 낮은 멤버십 점수가 궤적 제거, 다른 공격에 드러나는 잔존 기억, 또는 유용한 행동을 파괴하는 정책 붕괴를 반영할 수 있기 때문이다. 우리는 오프라인 RL에서의 궤적 수준 기억과 언러닝(Trajectory-level memOrization and Unlearning in offline RL, TOUR)을 소개한다. 이 벤치마크는 궤적 수준 분할, 매칭된 비멤버 대조군, 재학습 기준, 유지 성능 앵커, 다중 공격 프라이버시 감사를 결합한다. D4RL locomotion 실험과 탐색적 AntMaze 확장 전반에 걸쳐 TOUR는 일반적인 삭제 베이스라인이 환경에 따라 다른 프라이버시-유틸리티 거동을 보임을 보여준다. 재학습과 미세조정은 균일한 GA+Refit보다 더 강한 유지 유틸리티 기준을 제공하는 경우가 많으며, TrajDeleter는 유용한 비교 대상으로 남지만 동일한 감사 하에서는 일관되게 더 강하지는 않다. 기준 모델, 임계값, 편차, 동등성, 행동 오류, 표현 기반, 쿼리 제한 공격은 추가로 단일 가능도 기반 멤버십 점수가 삭제 품질을 과대평가할 수 있음을 보여준다. 평가된 설정에서 오프라인 RL 언러닝에 대한 결론은 따라서 단일 점수 감사 하에서는 안정적이지 않다. 이들은 매칭된 비멤버 구성, 재학습 상대 보정, 공격 계열, 유지 유틸리티, 그리고 진단 아키텍처 또는 구성요소 수준 증거에 대한 명시적 범위에 의존한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.