도시 교통 혼잡은 자동차 의존도가 높은 도시에서 지속적인 과제로 남아 있으며, 상당한 경제적 및 사회적 비용을 초래합니다. 교통 신호 시스템은 스마트 시티 인프라 내에서 네트워크화된 사이버-물리적 구성요소로 점차 더 많이 배치되고 있으며, 여기서는 분산 센싱과 엣지 인텔리전스를 통해 적응형 교통 관리가 가능해집니다. 본 논문에서는 쿠웨이트의 신호화된 도시 교차로에서 적응형 교통 신호 운영을 위한 엣지 지능형 접근법으로서 강화학습(RL)을 연구합니다. 미래 수요 정보나 중앙 집중식 조율에 의존하지 않고, 국소적으로 관측된 교통 상태를 활용하여 녹색 신호 주기 시간을 동적으로 할당하는 근접 정책 최적화(PPO) 기반 제어기를 개발합니다. 이 제어기는 쿠웨이트의 실제 시간별 교통량 데이터를 바탕으로 구축된 현실적인 시뮬레이션 환경(environment)에서 평가되며, 평균 차량 지연, 대기 행렬 길이, 배출량을 성능 지표로 사용하여 기존의 고정 시간 제어 및 현재 실무 수준을 대표하는 차량 감응식 제어기와 비교됩니다. 기준 조건에서 제안된 제어기는 고정 시간 제어 대비 평균 차량 지연을 46%, 감응식 제어 대비 34% 감소시키는 동시에 차량당 CO2 배출량도 약 23% 저감합니다. 이러한 성능 향상은 ±15%의 수요 변동 하에서도 유지되고 주중에서 주말 교통 패턴으로 일반화되며, 보상(reward) 함수 어블레이션을 통해 입증됩니다. 또한 5개의 무작위 시드에 걸친 낮은 분산은 통계적 신뢰성을 확인해 줍니다. 이러한 결과는 IoT 지원 스마트 시티 교통 시스템의 구성 요소이자 완전 연결형 차량 인터넷(IoV) 기반 도시 이동성으로 나아가는 배치 가능한 선행 기술로서, 학습 기반 엣지 교통 신호 제어의 실용성을 입증합니다.
온-정책(on-policy) 강화학습(RL)을 위한 정책 그래디언트(policy gradient) 방법은 비용이 많이 들고 희소한 목표 도메인(target-domain) 데이터가 잡음이 많은 그래디언트 추정치를 낳을 때 불안정해질 수 있다. 본 연구는 제한적인 고신뢰도(high-fidelity, HF) 목표 도메인 데이터를, 단순화된 시뮬레이터 등에서 얻을 수 있는 풍부하고 저렴하지만 편향된 저신뢰도(low-fidelity, LF) 데이터로 보완함으로써 이 문제를 해결한다. 대부분의 기존 방법은 LF 데이터에 기반한 편향된 목적함수를 직접 최적화한다. 이와 달리, 최근 제안된 다중 신뢰도 정책 그래디언트(multi-fidelity policy gradient, MFPG) 프레임워크는 LF 데이터를 오직 분산을 줄이고 HF 데이터 효율을 높이는 제어 변량(control variate)을 구성하는 데에만 사용하며, 정책 그래디언트 추정량에 편향을 주지 않는다. 그러나 기존에 발표된 MFPG 연구는 소규모 시뮬레이션 과제에서의 REINFORCE로 한정되어 있다. 본 연구는 GPU 병렬 시뮬레이션 및 실제 물리 로봇에서 동작하는 현대적인 액터-크리틱(actor-critic) 학습을 위해 MFPG를 확장한다. 분석과 실험 결과, 근접 정책 최적화(proximal policy optimization, PPO)에 단순하게 확장을 적용하면 신뢰도 간 상관관계(cross-fidelity correlation)를 잃거나 분산이 증가할 수 있음을 보인다. 본 연구가 제안하는 MFPG-PPO는 샘플링, 어드밴티지(advantage) 추정, 제어 변량 구성을 재설계하여 신뢰도 간 상관관계를 유지하고, 추정량의 불확실성을 모니터링하여 분산 증가를 방지함으로써 이러한 실패를 해결한다. 또한 고정된 샘플링 예산을 고신뢰도 및 저신뢰도 데이터 소스에 분배하는 예산 인지(budget-aware) MFPG-PPO를 도입한다. LF에서 HF로의 전이 난이도와 HF 데이터 예산이 다양한 모의 로봇 보행(locomotion) 과제 전반에서, MFPG-PPO는 거의 모든 설정에서 HF 데이터만으로 학습한 PPO보다 성능이 우수하며, 가장 어려운 과제에서 가장 작은 HF 예산으로도 16배 더 많은 HF 데이터로 학습한 PPO의 성능과 꾸준히 대등한 결과를 보인다. 반면, LF 데이터를 사용하는 대부분의 기준선(baseline) 방법은 LF에서 HF로의 직접적인 전이가 성공하는 경우에만 좋은 성능을 보인다. MFPG-PPO는 업데이트당 단 4개의 실제 로봇 에피소드만 사용하고 인간 시연(human demonstration) 없이도 실제 Franka 로봇 암에서 안정적인 학습을 가능하게 한다.
복잡한 동역학으로 인해 해석적(analytical) 전략을 도출하기 어려울 때, 금융 최적 제어 문제에 강화학습(RL)이 점점 더 많이 활용되고 있습니다. 금융 수학 문헌에는 학습을 평가하고 유도할 수 있는 방정식과 제어를 제공하는 이미 풀린 모델들이 많이 존재하며, 본 논문에서는 강화학습이 이러한 결과를 활용할 수 있는지 질문을 던집니다. 우리는 해석적으로 풀린 연속 시간 브로커-트레이더 게임에 근접 정책 최적화(PPO) 에이전트를 배치합니다. PPO는 브로커를 대체하여 정보 트레이더 및 확률적 비정보 주문 흐름과 상호작용하면서 거래 속도를 선택합니다. 우리는 브로커의 연속 시간 보수(payoff)로부터 유한 단계 보상을 도출하고, 격자 세분화(grid refinement)와 정확한 1단계 항등식을 통해 이산적 구현을 검증합니다. 비정보 흐름이 0일 때, 검증을 통해 선택된 PPO-FFNN은 기준 행동(reference action)에 근접합니다. 반면 확률적 비정보 흐름이 존재하는 경우, 지도학습을 통해 액터가 해당 행동을 표현할 수 있음을 확인했음에도 불구하고 테스트된 PPO-FFNN과 PPO-LSTM은 여전히 부정확한 상태를 유지합니다. 몬테카를로 진단에 따르면 크리틱(critic)이 인접한 행동들의 순위를 안정적으로 매기지 못하며, 잠재 기반 보상 형성(potential-based reward shaping) 역시 신뢰할 만한 개선을 제공하지 못합니다. 부분 정보 환경에서는 브로커의 관측 가능한 이력에 기반한 인과적 확실성 등가 제어기(causal certainty-equivalent controller)가 기준 행동에 가깝게 유지되는 반면, PPO는 더 큰 오차와 더 낮은 보수를 보입니다. 마지막으로, 우리는 해석적 정책을 동결하고 체결 비용이 변경된 후 이를 조정하도록 PPO를 학습시킵니다. 비용을 절반으로 줄였을 때 변경된 비용 기준과의 격차를 \(2.22\%\) 좁히는 재현 가능한 개선이 나타납니다. 따라서 해석적 해는 강화학습을 진단하기 위한 벤치마크이자 적응을 위한 유용한 출발 정책을 모두 제공합니다.
트레이딩을 위한 강화학습(RL)은 상승장 참여와 낙폭(drawdown) 제어 사이의 균형을 맞추는 데 종종 어려움을 겪습니다. 수익만을 추구하는 정책은 상승 추세 자산에 대해 수동적인 매수 포지션(long exposure)으로 귀결될 수 있는 반면, 위험에 대해 과도한 페널티를 부과하는 보상은 변동성 국면에서 지나치게 방어적으로 변할 수 있습니다. 본 논문에서는 근접 정책 최적화(PPO)와 해석 가능한 국면 사전 지식(regime prior)을 결합한 하이브리드 국면 인식 정책인 PPO-HRAP을 제안합니다. 에이전트는 시장 특성과 포트폴리오 상태 변수를 모두 관측하고, 포트폴리오 로그 수익률, VIX 조건부 낙폭 증가 페널티, 목표 익스포저 편차 및 회전율 비용을 결합한 보상을 받으며, PPO 액터 출력과 국면에서 도출된 목표 익스포저를 혼합한 행동을 실행합니다. 2020-2022년의 SPY 분리 테스트 기간 동안, PPO-HRAP은 27.62%의 총수익률, 8.48%의 연율화 수익률, 0.6447의 샤프 비율(Sharpe ratio), 0.8588의 소르티노 비율(Sortino ratio), 0.4592의 칼마 비율(Calmar ratio)을 달성하는 동시에, 매수 후 보유(Buy and Hold) 방식의 최대 낙폭을 34.10%에서 18.47%로 줄였습니다. 5개의 SPY 시드 전반에 걸쳐 PPO-HRAP은 평균 총수익률 $0.2725 \pm 0.0109$, 평균 샤프 비율 $0.6219 \pm 0.0565$로 안정성을 유지했습니다. QQQ 및 DIA에 대한 단일 실행 교차 자산 테스트에서도 제안된 방법이 보고된 세 가지 자산 모두에서 총수익률과 샤프 비율 기준 1위를 기록함을 보여줍니다. 이러한 결과는 학습된 행동과 변동성 인식 국면 사전 지식을 혼합하는 것이 위험 조정 트레이딩 동작을 개선하는 실용적인 방법임을 시사하지만, 현재 정책은 여전히 높은 회전율을 수반하며 SPY를 넘어선 교차 자산 견고성은 단일 실행 증거로 제한되어 있습니다.
Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings
제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.
본 연구에서는 근사 양자 상태 준비(approximate quantum state preparation, QSP)를 위한 양자 아키텍처 탐색(quantum architecture search) 프레임워크를 제안한다. QSP는 큐빗 수에 따라 탐색 공간이 기하급수적으로 증가하여 최적 회로를 찾는 것이 쉽지 않기 때문에 어려운 과제이다. 이 문제를 해결하기 위해 근위 정책 최적화(proximal policy optimization) 기반 에이전트를 통해 심층 강화학습(deep reinforcement learning)을 사용한다. 에이전트의 목표는 사용하는 게이트 수를 최소화하면서 동시에 목표 상태에 대한 최대한 좋은 근사를 찾는 것이다. 각 단계에서 에이전트는 회로에 새 게이트를 추가하고, 근사 상태와 목표 상태 사이의 충실도(fidelity)를 다시 계산한다. 2~5큐빗에 대해 다양한 실험을 수행했다. Bell, GHZ, W, Dicke 상태와 같은 사전 정의된 상태와 완전히 무작위 상태를 모두 고려했다. 제안된 프레임워크는 $10^{-14}$ 수준의 근사 오차를 달성할 수 있다.
Reinforcement learning for large language models (LLMs) typically relies on trust-region masks to stabilize off-policy updates. The dominant PPO-style approach uses the sampled-token importance ratio for two criteria: a proximity criterion, which asks whether the policy has moved too far from the behavior policy, and a direction criterion, which asks whether the update pushes it farther away. Recent work DPPO improves the proximity criterion by replacing PPO's ratio-based test with a probability divergence between the behavior and training policies. However, its direction criterion is still inherited from PPO. A token can be masked only when the sampled-token importance ratio moves away from one. We observe that this ratio-based direction criterion is a single-sample proxy that can disagree in sign with the change of the divergence that defines the proximity criterion. We therefore propose the predictive divergence mask, which asks whether the next policy-gradient step will increase or decrease the same divergence used by the trust region. For the discrete softmax policies used in LLM RL, we derive this prediction in closed form. Because production rollout engines expose only a truncated (top-K) view of the vocabulary, we develop two lightweight top-$K$ estimators for this prediction. Detailed analysis shows the divergence-based direction is better aligned with the realized change of the divergence than the sampled ratio, and the resulting masks improve RL training across model scales and precision settings.
본 논문은 거짓 데이터 주입 및 서비스 거부 공격을 포함한 사이버 공격 하에서 비선형 시스템에 대한 무모델 제어기의 성능을 비교합니다. 네 가지 강화학습(RL) 보상 유형을 정확도, 비용, 복원력 측면에서 분석했습니다. 결과에 따르면 리아푸노프(Lyapunov) 보상이 낮은 추적 오차로 최고의 복원력을 제공합니다. 지수 모드 또한 적절한 학습 조건 하에서 수용 가능한 복원력과 함께 좋은 상충 관계(trade-off)를 제공합니다. 점진적 및 선형 보상은 더 빠르게 수렴하지만 강인성이 다소 떨어집니다. RL-MPC는 강력한 정상 상태 복원력을 보이지만 학습 시간이 더 오래 걸리는 반면, RL-PID 제어기는 훨씬 짧은 학습 시간으로 더 빠릅니다. 근접 정책 최적화(PPO)는 KPI 분산을 크게 줄여 심층 결정론적 정책 그래디언트(DDPG)보다 우수한 성능을 보였습니다. 이 연구는 잘 설계된 강화학습 보상이 사이버 위협에 대한 성능과 복원력을 어떻게 향상시킬 수 있는지 강조합니다.