PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25012v1cs.LG

Bias-Controlled Primal-Dual Natural Actor-Critic: Optimal Rates for Constrained Multi-Objective Average-Reward RL

무한 수평선 평균 보상(average-reward) 강화학습(RL)에서 충돌하는 다중 목표와 안전 제약을 오목 스칼라화(concave scalarization)로 풀 때, 노이즈가 있는 평균 보상·비용 추정으로 인해 policy-gradient와 actor-critic 업데이트에 편향(bias)이 누적되는 문제를 다룬다. MLMC 기반 primal-dual Natural Actor-Critic 알고리즘으로 스칼라화 목표, 제약 평가, actor-critic 추정의 편향을 mixing-time 정보 없이 제어하며, 전역 수렴과 제약 위반률 Õ(1/√T)의 최적 비율을 보인다.

arXiv:2606.25680v1cs.RO

Power-Budgeted Underwater Vehicle Control via Constrained Reinforcement Learning

Underwater vehicles operate from a fixed onboard energy budget that propulsion rapidly depletes, so a controller that completes its task while drawing less thruster power directly extends mission range and endurance. Reinforcement learning yields capable model-free controllers for station-keeping and trajectory tracking, but optimizing task accuracy alone drives the policy toward oscillatory, energy-wasting actuation. The established remedy subtracts an energy penalty from the reward, yet this sets the task-power trade-off through a single weight with no physical units: a target power level cannot be specified, the weight must be re-tuned for every vehicle and task, and a mismatched weight can even raise power. This paper instead formulates energy-efficient underwater control as a constrained Markov decision process in which average thruster power is subject to an explicit budget, solved with a PPO-Lagrangian algorithm. The power level is set by declaring a budget in physical units, and a single dual variable is updated online to meet it for each vehicle and task, without manual weight search. Across three vehicles and four tasks in the MarineGym simulator, the energy-constrained policy draws the least power in all twelve settings, reducing it by 14--65\% (up to 64.9\%) over a task-only baseline and below an energy-reward baseline everywhere, while remaining the smoothest in ten settings and preserving task accuracy except in one deliberately power-limited regime. Imposing energy as an explicit constraint thus offers a tuning-free route to energy-efficient underwater control that needs no per-vehicle, per-task weight search.

arXiv:2510.09041v3cs.LG

자율주행 차량을 위한 강인한 주행 제어: 지능형 일반합 제약 적대적 강화학습 접근법

Robust Driving Control for Autonomous Vehicles: An Intelligent General-sum Constrained Adversarial Reinforcement Learning Approach

심층 강화학습(DRL)은 자율주행 정책 개발에서 뛰어난 성공을 거두었다. 그러나 적대적 공격에 대한 취약성은 실제 배치를 가로막는 중요한 장벽으로 남아 있다. 기존 강인성 방법들이 성공을 거두었음에도 불구하고, 여전히 세 가지 핵심 문제를 겪고 있다: (i) 이러한 방법들은 근시안적인 적대적 공격에 대해 학습되어, 보다 전략적인 위협에 대응하는 능력이 제한된다, (ii) 실제로 안전에 치명적인 사건(예: 충돌)을 유발하기 어렵고, 대신 종종 경미한 결과에 그친다, (iii) 강인한 제약이 부족해 학습 중 학습 불안정성과 정책 표류(policy drift)가 발생할 수 있다. 이를 해결하기 위해, 전략적 표적 적대자와 강인한 주행 에이전트로 구성된 새로운 강인한 자율주행 접근법인 지능형 일반합 제약 적대적 강화학습(IGCARL)을 제안한다. 전략적 표적 적대자는 DRL의 시간적 의사결정 역량을 활용해 전략적으로 조율된 다단계 공격을 수행하도록 설계되었다. 또한 일반합(general-sum) 목적함수를 채택해 안전에 치명적인 사건을 유도하는 데 명시적으로 초점을 맞춘다. 강인한 주행 에이전트는 적대자와 상호작용하며 학습하여 적대적 공격에 대비한 강인한 자율주행 정책을 개발한다. 적대적 환경에서 안정적인 학습을 보장하고 공격으로 인한 정책 표류를 완화하기 위해, 에이전트는 제약 기반 공식화 하에서 최적화된다. 광범위한 실험 결과, IGCARL은 최신 방법 대비 성공률을 최소 27.9% 향상시켰으며, 적대적 공격에 대한 우수한 강인성을 보여주고 DRL 기반 자율주행의 안전성과 신뢰성을 높인다.