PyTorchKR Papers

최신 논문

총 17편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13737v1cs.LG

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.02520v1cs.LG

단계별 제약 조건이 있는 CMDP를 위한 인스턴스 의존적 후회도

Instance-Dependent Regret for CMDPs with Step-Wise Constraints

본 논문에서는 단계별 안전 제약 조건(step-wise safety constraints)을 갖는 에피소드형 테이블 형식의 제약 마르코프 결정 과정(CMDP)에서의 온라인 학습을 연구합니다. 이러한 환경에서 제약 조건은 실행 가능한 정책 하에서 누적 보상의 분산을 결정하고, 결과적으로 학습 난이도를 형성하는 안전한 부분 그래프(safe subgraph)를 유도합니다. 그러나 이러한 구조를 활용하려면 제약 위반을 제어하면서 어떤 행동이 안전한지 학습해야 합니다. 우리는 후보 안전 부분 그래프를 학습하고 그 안에서 분산 적응형 낙관적 계획을 수행하는 효율적인 알고리즘인 SVAE(Safe Variance-Adaptive Exploration)를 제안합니다. SVAE는 높은 확률로 $K$개의 에피소드에 대해 $\widetilde{\mathcal{O}}(\sqrt{SAH\min\{\mathbb{V}_Σ,K\mathrm{Var}^{\star}\}}+S\sqrt{AH^3\min\{K,\mathcal{C}\}}+S^2AH^2)$ 차수의 누적 후회도(cumulative regret)를 달성하며, 여기서 $H$는 단일 에피소드의 기간(horizon), $S$와 $A$는 각각 상태 및 행동의 수입니다. 여기서 $\mathrm{Var}^{\star}$는 안전한 정책들 중 최대 수익 분산이고, $\mathbb{V}_Σ$는 첫 번째 불안전한 행동을 마주하기 전까지 누적된 분산이며, $\mathcal{C}$는 잠재적으로 안전하다고 잘못 간주된 행동을 제거하는 데 따르는 통계적 복잡도를 나타냅니다. 추가적으로 SVAE는 $\widetilde{\mathcal{O}}(H\sqrt{SAK}+S^2AH^2)$의 단계별 제약 위반과 $K$에 대해 다항 로그(polylogarithmic) 비례하는 갭 의존적(gap-dependent) 위반 상한을 달성합니다. 마지막으로, 이러한 인스턴스 특정 수치들에 대한 의존성이 불가피함을 보여주는 하한(lower bound)을 확립합니다.

arXiv:2602.16543v2cs.LG

로봇 시스템용 블랙박스 안전 강화학습 제어기에 대한 시연 기반 관측 공격

Demonstration-Guided Observation Attacks on Black-Box Safe Reinforcement Learning Controllers for Robotic Systems

안전 강화학습(Safe RL)은 안전 제약 조건 하에서 작업 보상을 최적화하는 로봇 제어기를 학습하지만, 관측 섭동(observation perturbation)은 안전 위반을 유발할 수 있습니다. 기존의 안전 지향적 공격은 피해자(victim) 네트워크, 그래디언트, 비평자(critic), 또는 명시적인 사양에 대한 접근을 요구하는 경우가 많은데, 이는 제어기가 블랙박스로 배포되고 나면 거의 충족되지 않는 가정입니다. 본 논문에서는 미지의 안전 강화학습 제어기를 분석하기 위한 시연 기반 관측 공격(demonstration-guided observation attack)을 제안합니다. 이 프레임워크는 역 제약 강화학습(inverse constrained reinforcement learning)을 통해 상태 제약과 대리 정책(surrogate policy)을 복원하고, 시연 전이(transition)로부터 동역학을 학습합니다. 이들의 합성 그래디언트는 피해자 파라미터, 그래디언트 또는 쿼리 없이 유계 관측 섭동을 생성하며, 시연만이 유일한 피해자 특정 정보로 활용됩니다. 피해자당 3개의 예산(budget)을 적용한 4개의 Bullet 작업과 1개의 MetaDrive 지도 전반에서, 본 공격은 15개의 환경-예산 조건 중 12개에서 동일한 접근 권한을 가진 모든 기준선 모델을 능가했으며, 그중 7개 조건에서는 피해자의 보상 및 비용 비평자에 접근할 수 있는 특권 기준 공격(privileged reference attack)마저 능가했습니다. 따라서 안전한 학습을 지원하기 위해 공개된 시연은 배포된 블랙박스 제어기에 대한 공격 표면(attack surface)을 제공합니다. 방어 연구에 따르면 상태 적대적 정규화(state-adversarial regularization)는 공격 비용을 감소시키는 반면, 테스트된 적대적 훈련 및 시연 오염 기법은 일관되지 않은 보호만을 제공하는 것으로 나타났습니다.

arXiv:2609.27312v1cs.RO

안전성을 경쟁력으로 전환하기: 안전 필터링 강화학습을 통한 최소 착취성 로봇 정책

Turning Safety into Competence: Minimally Exploitable Robot Policies via Safety-Filtered Reinforcement Learning

경쟁적인 작업에 배치된 로봇은 안전성(safety)을 저해하지 않으면서 상대를 제압할 수 있어야 합니다. 안전 강화학습(safe RL)을 포함한 기존 접근 방식들은 작업 성공을 달성함과 동시에 실패를 피하도록 단일 정책을 학습(training)합니다. 이러한 결합은 학습을 복잡하게 만들고, 의도적인 공격에 의해 학습된 정책이 악용(exploitable)될 수 있는 여지를 남깁니다. 본 논문에서는 안전성 통합과 경쟁 작업 학습을 분리하는 2단계 강화학습 프레임워크인 Safety to Competence(S2C)를 제안합니다. 경쟁적인 상호작용을 안전 필수 마르코프 게임(safety-critical Markov games)으로 정형화하고, 모든 플레이어가 안전한 기동을 준수할 때 완벽한 필터링이 정책의 비착취성(non-exploitability)을 보존함을 증명합니다. S2C는 적대적 강화학습을 통해 강건한 안전 필터를 학습하고, 작업 정책 학습 중 이를 환경(environment)에 포함시키며, 실제 배치 시에도 동일한 필터를 유지합니다. 시뮬레이션된 터치다운 게임에서 S2C는 8가지 안전 강화학습 베이스라인을 능가하여 가장 높은 승률과 Elo 레이팅, 그리고 가장 낮은 착취성을 달성했습니다. 인간 상대를 대상으로 한 하드웨어 스트레스 테스트에서도 S2C의 뛰어난 역량이 입증되었습니다.

arXiv:2607.21646v1cs.LG

비정상 강화학습에서 안전성 제약으로서의 조정 속도

Adjustment Speed as a Safety Constraint for Nonstationary Reinforcement Learning

비정상성 하에서 강화학습의 안전성을 보장하려면, 학습 시스템이 요구되는 회복 지평(recovery horizon) 내에서 예측된 환경 변화에 안전하게 적응할 수 있는지 판단해야 한다. 기존의 안전 강화학습(safe reinforcement learning) 방법은 일반적으로 정상(stationary) 환경을 가정하며, 적응 속도를 안전성 문제로 명시적으로 고려하지 않는다. 그러나 환경이 시간에 따라 변화할 때, 적응이 지연되면 일시적인 불안전 행동이 발생할 수 있다. 본 논문은 비정상 강화학습을 위한 안전성 제약으로 조정 속도를 제안한다. 핵심 아이디어는 적응 가능성(adaptation feasibility)의 관점에서 안전성을 정의하는 것이다: 안전을 유지하는 데 필요한 적응이 학습 시스템의 보정된 회복 용량(calibrated recovery capacity)을 초과하면, 미래 상태나 영역이 불안전해질 수 있다. 제안된 프레임워크는 학습된 컨텍스트 표현과 단기 지평 컨텍스트 예측을 사용하여 적응 수요를 추정하고, 이를 에이전트의 달성 가능한 적응 용량과 비교한다. 예측된 적응 수요가 보정된 회복 용량을 초과하면, 프레임워크는 위반 발생 전에 불안전 행동을 줄이기 위해 허용 가능한 행동 집합을 선제적으로 축소하고 행동 수준(action-level) 쉴드를 활성화한다. 비정상 운전 환경에서의 실험은 제안된 접근법이 주로 컨텍스트 변화와 정렬된 단기 지평 윈도우에서 안전 위반을 줄임을 보여준다. Ablation 연구는 쉴드가 피크 및 꼬리(tail) 위험 억제에 더 보수적이며, 최적화 수준의 조정이 단기 전환 조건(switch-conditioned) 위반을 추가로 줄임을 더 보여준다. 이 결과는 적응 가능성이 비정상성 하 강화학습을 위한 실용적인 안전 원칙임을 뒷받침하며, 선제적 개입이 환경 변화 기간 동안 안전성을 개선할 수 있음을 보여준다.

arXiv:2509.25582v4cs.LG

안전한 문맥 내 강화학습

Safe In-Context Reinforcement Learning

문맥 내 강화학습(ICRL)은 새롭게 부상하는 강화학습(RL) 패러다임으로, 사전학습(pre-training) 이후 에이전트가 매개변수 업데이트 없이 상호작용 이력의 확장되는 컨텍스트에 의존하여 분포 밖(out-of-distribution) 테스트 과제에 적응할 수 있다. ICRL이 인상적인 일반화를 보여주었지만, 이 적응 과정에서의 안전성(safety)은 아직 탐구되지 않아, 테스트 시점 행동이 안전할 것으로 기대되는 실세계 배포에서의 적용 가능성을 제한한다. 본 연구에서는 SCARED(Safe Contextual Adaptive Reinforcement via Exact-penalty Dual)를 제안한다. 이는 제약 마르코프 결정 과정(constrained Markov decision process) 프레임워크 하에서 ICRL의 안전한 적응을 촉진하는 최초의 방법이다. 매개변수 업데이트 없는 적응 과정 동안, 우리의 에이전트는 보상을 최대화할 뿐만 아니라 누적 비용을 사용자가 지정한 안전 예산(safety budget) 이내로 유지한다. 또한 에이전트가 안전 예산에 능동적으로 반응함을 보인다. 안전 예산이 높을수록 에이전트는 더 공격적으로 행동하고, 안전 예산이 낮을수록 더 보수적으로 행동한다. 도전적인 벤치마크(benchmark) 전반에서 SCARED는 기존 ICRL 및 안전 meta-RL 기준선(baseline)을 능가하며, 안전하고 견고한 문맥 내 적응을 일관되게 가능하게 한다.

arXiv:2506.02255v2cs.LG

SafeOR-Gym: 실용적 운영연구 문제를 위한 안전 강화학습 알고리즘 벤치마크 스위트

SafeOR-Gym: A Benchmark Suite for Safe Reinforcement Learning Algorithms on Practical Operations Research Problems

대부분의 기존 안전 강화학습(RL) 벤치마크는 로봇공학 및 제어 태스크에 초점을 맞추고 있어, 구조화된 제약, 혼합 정수(mixed-integer) 결정, 산업적 복잡성을 수반하는 고위험(high-stakes) 도메인과의 관련성이 제한적이다. 이러한 공백은 에너지 시스템, 제조, 공급망과 같은 중요 영역에서 안전 강화학습의 발전과 배포를 저해한다. 이 한계를 해결하기 위해, 우리는 복잡한 제약 하에서 안전 강화학습을 위해 맞춤 설계된 9개의 운영연구(OR) 환경으로 구성된 벤치마크 스위트 SafeOR-Gym을 제안한다. 각 환경은 비용 기반 제약 위반, 계획 지평(planning horizons), 하이브리드 이산-연속 행동 공간을 특징으로 하는 현실적인 계획, 스케줄링 또는 제어 문제를 포착한다. 이 스위트는 OmniSafe가 제공하는 제약 마르코프 결정 과정(CMDP) 인터페이스와 원활하게 통합된다. 우리는 이러한 환경들에서 여러 최신(state-of-the-art) 안전 강화학습 알고리즘을 평가하였으며, 성능의 폭넓은 범위를 드러낸다: 일부 태스크는 다룰 만한(tractable) 반면, 다른 태스크는 현재 접근법의 근본적인 한계를 드러낸다. SafeORGym은 실세계 의사결정 문제를 위한 안전 강화학습의 향후 연구를 촉진하는 것을 목표로 하는 도전적이고 실용적인 테스트베드(testbed)를 제공한다.

arXiv:2607.13175v1cs.LG

SteinGate: Stein Discrepancy를 통한 꼬리 민감 안전 강화학습

SteinGate: Tail-Sensitive Safe Reinforcement Learning via Stein Discrepancy

안전 강화learning은 일반적으로 기대 누적 비용의 상한을 두어 안전성을 강제하지만, 이 기준은 드물지만 치명적인 꼬리 이벤트를 감지하는 데 실패하는 경우가 많다. 이러한 한계를 극복하기 위해 본 논문은 SteinGate를 제안한다. SteinGate는 클리핑된(clipped) 비용으로 인해 발생하는 경계 원자(boundary atoms)를 고려하면서, 취약한 꼬리 적합(tail fitting) 대신 커널화 Stein Discrepancy(Kernelized Stein Discrepancy)를 이용한 견고한 일관성 검사로 대체하는 경계 인식(boundary-aware) 분포적 안전성 증명서(distributional safety certificate)이다. SteinGate는 관측된 정책 롤아웃 비용이 안전한 기준 분포와 일치하는지를 평가하며, 비모수적(non-parametric) 안전성 증명서를 제공한다. 이 증명서는 학습 체제를 동적으로 조정하는 데 사용된다. 롤아웃이 안전 기준과 일치할 때는 보상을 개선하는 정책 업데이트를 우선하고, 비용 꼬리가 벗어날 때는 복구(recovery) 행동으로 전환한다. 연속 제어(continuous-control) 벤치마크 실험에서 SteinGate는 최첨단(state-of-the-art) 기준선 대비 경쟁력 있는 수익(return)을 유지하면서, 학습 중 제약 위반의 빈도와 심각도를 모두 크게 줄인다.

arXiv:2607.12784v1cs.RO

안전 강화학습에서 효율적 탐험을 위한 방향성 제약

Directional Constraints for Efficient Exploration in Safe Reinforcement Learning

강화학습은 로봇 연구 분야를 혁신하며, 시뮬레이션에서 복잡한 로봇 기술의 견고한 학습을 가능하게 했다. 그러나 개방형 환경에서의 실세계 배포는 위험하거나 해로운 행동을 방지하기 위해 강력한 안전성 보장이 필요하다. 안전 강화학습 방법은 안전 제약을 강제함으로써 이러한 요구를 해결한다. 그럼에도 불구하고, 제약 하에서의 학습은 종종 학습 속도를 저하시키고 최적이 아닌 과제 성능으로 이어질 수 있는데, 이는 에이전트가 제약 없는 설정에 비해 더 복잡한 제약 최적화 문제를 풀어야 하기 때문이다. 이 문제를 해결하기 위해, 본 연구에서는 기존 강화학습 알고리즘과 통합되어 시스템의 사전 지식에서 유도되거나 데이터로부터 직접 학습된 제약을 강제할 수 있는 최신의 신뢰할 수 있는 안전 층인 ATACOM 프레임워크의 확장을 제안한다. 제안 방법인 ATACOM Directional Constraints(ATACOM-DC)는 제약 경계에 접근하는 행동과 벗어나는 행동을 구분하는 방향성 제약을 도입하고, 필요할 때만 제약 강제를 활성화함으로써 안전성-성능 트레이드오프를 크게 개선한다. 시뮬레이션에서 다양한 도전적인 로봇 제어 과제에 걸쳐 제안 방법을 평가하고, 제약 위반 비용과 달성한 과제 성능을 모두 분석한다. 코드 및 추가 자료는 https://atacom-dc.robot-learning.net 에서 확인할 수 있다.

arXiv:2607.08925v1cs.LG

SafeExplorer: 복구 개입이 있는 강화학습을 위한 비편향 정책 그래디언트

SafeExplorer: An Unbiased Policy Gradient for Reinforcement Learning with Recovery Interventions

물리적 로봇에서 직접 강화학습 에이전트를 학습시키면 모든 낙하 사고가 큰 비용을 초래한다. 낙하는 플랫폼에 손상을 줄 수 있으며 시뮬레이터 리셋처럼 되돌릴 수 없기 때문이다. 따라서 제약 마르코프 결정 과정(MDP) 공식화에서처럼 낙하를 보상과 트레이드오프하는 것이 아니라, 학습 중 낙하를 최소화하는 것이 목표다. 표준적인 완화 방법은 에이전트가 설계자가 지정한 안전 영역(에이전트가 머물러야 하는 상태 공간의 부분 집합)을 벗어날 때마다 별도의 복구 정책에 제어권을 넘긴다. 그러나 이로 인해 생성된 혼합 정책 롤아웃은 모든 온-정책 업데이트에 암묵적으로 바이어스를 도입하며, 이 바이어스를 제거할 중요도 샘플링(importance sampling) 보정은 복구 정책이 결정론적일 때 정의되지 않는다. 우리는 근위 정책 최적화(PPO, proximal policy optimization)의 드롭인 수정을 통해 이 바이어스를 해결한다. 핵심은 안전한 타임스텝에서만 점수 함수(score function)를 사용하고 복구 정책의 밀도를 평가하지 않는 비편향 정책 그래디언트 추정기로, 이는 중요도 샘플링이 실패하는 바로 그 지점인 복구 정책이 결정론적인 경우에도 유효하며, 복구 정책이 확률론적인 경우에도 중요도 샘플링보다 경험적으로 우수한 성능을 보인다. 복구 정책은 여전히 안전 영역 경계 근처에서 크레딧 할당(credit assignment)을 느리게 만들기 때문에, 학습을 가속화하는 두 가지 추가 구성 요소를 도입한다: 동역학과 복구가 결정론적일 때 복구를 유발하는 상태에 대한 닫힌 형태의 가치 함수, 그리고 복구가 성공할 때만 복구 행동을 모방하는 모방 손실(imitation loss)이다. 세 가지 환경, 다섯 가지 시드 벤치마크에서, 제안된 알고리즘은 HalfCheetah, Ant, Unitree Go1에서 표준 PPO 대비 학습 시간 낙하 횟수를 각각 233배, 48배, 26배 감소시키면서 PPO의 최종 보상을 달성하거나 초과한다. 또한 복구 정책이 신뢰할 수 없는 Ant 환경에서는 최고 최종 보상의 80%에 도달하는 유일한 방법이다.

arXiv:2603.15136v2cs.LG

Safe Flow Q-Learning: 도달가능성 기반 플로우 정책을 활용한 오프라인 안전 강화학습

Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies

Hamilton-Jacobi 도달가능성에서 영감을 받은 안전 가치 함수와 원스텝 플로우 정책을 결합한 Safe Flow Q-Learning(SafeFQL)을 제안하며, 이를 통해 오프라인 안전 강화학습(RL)에서 배포 시 거부 샘플링 없이 실시간 제어가 가능하다. 보트 내비게이션과 Safety Gymnasium MuJoCo 태스크에서 기존 방법 대비 추론 지연 시간을 크게 줄이면서도 안전 제약 위반을 감소시키고 동등 이상의 성능을 달성했다.

arXiv:2607.03903v1cs.LG

CDCP: 다중 작업 오프라인 안전 강화학습을 위한 문맥적 프롬프트 기반 조건부 확산 모델

CDCP: Conditional Diffusion Model with Contextual Prompts for Multi-task Offline Safe Reinforcement Learning

다중 작업 오프라인 안전 강화학습에서 다중 작업 간섭, OOD 행동, 안전 제약이라는 세 가지 난제를 동시에 해결하기 위해, 조건부 확산 모델과 문맥적 프롬프트를 결합한 CDCP 알고리즘을 제안한다. CDCP는 분류기 없는(classifier-free) 가이드 비용-제약 전략으로 OOD 외삽 오류를 제거하고, 텍스트 설명과 궤적 프롬프트를 통합한 문맥적 프롬프팅으로 미지 작업 적응력을 높여 MetaDrive 환경 실험에서 기존 최고 수준 기준선 대비 더 높은 보상과 안전성을 달성했다.

arXiv:2607.03125v1cs.LG

1-자유도 헬리콥터 시스템에서 안전한 강화학습을 위한 물리 정보 신경망 통합

Integrating Physics-Informed Neural Networks for Safe Reinforcement Learning in a 1-DoF Helicopter System

미분 가능한 물리 모델을 PPO 액터 손실 함수에 직접 내장하여, 보상 형성(reward shaping)과 독립적으로 단기 미래 궤적 시뮬레이션을 통해 안전 제약 위반을 사전에 페널티화하는 물리 정보 기반 신경망(PINN) 안전 강화학습 방법을 제안한다. 1자유도 헬리콥터 테스트베드에서 평가한 결과, PINN 기반 소프트 정규화가 목표 추적 성능을 유지하면서 피치 제약 위반을 크게 줄이는 효과를 입증하였다.

arXiv:2606.26527v1cs.LG

적응적 보상 형성 및 정책 비율 재가중 전략을 통한 샘플 효율적 전이 강화학습

Sample-efficient Transfer Reinforcement Learning via Adaptive Reward Shaping and Policy-Ratio Reweighting Strategy

자율 주행 고속도로 차선 변경을 위한 안전 전이 강화학습(RL) 프레임워크로, 순간 안전 비용 기반 적응적 교사 개입, 보상 형성(reward shaping)을 통한 교사 유도 학습, 가능도 비율 기반 샘플 가중 최적화를 결합해 전이 불일치와 위험한 탐험을 완화한다. 다양한 교통 밀도와 NGSIM 데이터셋 실험에서 기준선 대비 안전성 52.2% 이상, 학습 효율 5.0% 이상 향상을 보였다.

arXiv:2606.20376v1cs.LG

CRAX: 고속 안전 강화학습 벤치마킹

CRAX: Fast Safe Reinforcement Learning Benchmarking

안전성은 로보틱스, 자율 주행과 같은 실제 영역에 강화학습(RL) 에이전트를 배포할 때 핵심적인 고려사항이다. 벤치마크는 RL 발전의 중심이어 왔지만, 고정확도 3D 물리를 갖춘 기존 안전성 벤치마크는 계산 속도가 느려 대규모 실험과 빠른 프로토타이핑을 제한한다. 이 공백을 해소하기 위해 우리는 CRAX(Constrained RL Accelerated with JAX)를 제안한다. 현실적인 3D 역학을 갖춘 MuJoCo XLA(MJX) 물리 엔진 위에 구축된 CRAX는 벡터화 연산과 하드웨어 가속을 활용하여, 유사한 CPU 기반 안전성 벤치마크 대비 최대 약 100배의 속도 향상을 달성한다. 이 벤치마크는 6개의 환경 스위트와 3개의 에이전트별 작업을 제공하며, 각각 세 가지 난이도 수준을 포함한다. 6가지 널리 사용되는 안전 RL 방법을 평가한 결과, 어떤 단일 접근법도 모든 작업에서 우위를 점하지 못하며, 성능과 안전성 사이의 트레이드오프가 드러난다. 난이도 수준에 걸친 커리큘럼 학습과 안전성 전이(safety transfer)는 더 어려운 설정에서 직접 학습하는 것보다 성능을 개선할 수 있음을 확인했다.

arXiv:2606.18308v1cs.LG

TRIDENT: 증명 가능한 안전성을 갖는 다중 에이전트 강화학습을 위한 하이브리드-안전성-물리 결합 해제

TRIDENT: Breaking the Hybrid-Safety-Physics Coupling for Provably Safe Multi-Agent Reinforcement Learning

네트워크 사이버-물리 시스템에서 하이브리드 이산-연속 행동, 학습 시간 안전 제약, 물리 기반 역학이 맞물려 기성 모듈 조합을 무력화하는 3중 결합 문제를 TRIDENT가 Richardson-Romberg 그래디언트 보정, Lyapunov 제약 순차 신뢰 영역 업데이트, 물리 정보 잔여 비평가의 공동 설계로 해소하고 제약된 내시 균형 수렴과 누적 위반 상한을 증명한다. 다중 UAV 모바일 엣지 컴퓨팅, 자율 교차로 관리, 하이브리드 SMAC 변형에서 MADDPG 대비 학습 시간 위반 95.5%, MACPO 대비 76.3%를 줄이고 무제약 기준선 대비 보상을 13.5% 개선했다.

arXiv:2606.11266v1cs.LG

충돌 전 인지: 고정된 비전-언어 모델을 활용한 예측형 안전 강화학습

Seeing Before Colliding: Anticipatory Safe RL with Frozen Vision-Language Models

제약 강화학습(constrained-RL) 알고리즘이 최적화하는 비용 신호는 거의 항상 반응적입니다. 시뮬레이터는 충돌이 시작된 후에만 0이 아닌 비용을 발생시키며, PPO-Lagrangian의 라그랑주 승수는 에피소드 예산이 초과된 후에야 증가합니다. 충돌이 순간적이고 되돌릴 수 없는 레이스 속도에서는, 비용이 누적되기를 기다리는 어떤 안전 메커니즘도 구조적으로 너무 늦습니다. 우리는 고정된 비전-언어 모델을 예측형 비용 항으로서 CMDP 라그랑주 업데이트에 통합하는 VLM-Safe-RL 프레임워크를 제안합니다. 이 프레임워크는 네 가지 기여를 포함합니다: (i) CMDP의 인수분해를 존중하는 독립적인 보상/비용 경로인 Decoupled Dual-Path CLIP; (ii) 단계별 VLM 비용을 예측형 항으로 통합하는 증강된 승수 업데이트인 VLM-Lagrange; (iii) CLIP 마진(margin)에 대한 로지스틱 노이즈 모델에서 도출된 베이즈 최적 가중치(weight)인 Confidence Gating; 그리고 (iv) 결합된 알고리즘인 VLMPPOLag. Safety-Gymnasium FormulaOne L2에서의 주요 평가($n=5$ 시드, $10^6$ 스텝, 예산 $d_{\text{lim}}=25$) 결과, VLMPPOLag+Conf은 기본 예산 비교에서 대다수 시드에 대해 실질적인 수익($J_r \approx 40$)을 유지하면서 비용을 예산 내로 유지하는 유일한 구성이었습니다. 반면 5가지 제약 인식 베이스라인(PPOLag, CPO, CPPOPID, CPO-CLG, PPOLag-RND)은 각각 최소 하나의 요구사항을 충족하지 못했습니다. 이 메커니즘은 홀드아웃 MetaDrive Medium으로 일반화되었으며(재해율 $41\% \to 26\%$, 95% 부트스트랩 CI $[-26,-5]$pp), Bullet Safety-Gym으로의 방향성이 일관된 전이를 보여줍니다. 우리는 메커니즘이 작동하지 않는 곳(MetaDrive Easy/Hard, Qwen2-VL 백본)을 솔직하게 보고하며, Hard 실패의 원인을 VLM 신호 자체가 아닌 라그랑주 조절 병리(Lagrangian-regulation pathology)로 추적했습니다. 우리의 아는 한, 이는 CMDP 라그랑주 업데이트 내에서 고정된 VLM 신호를 예측형 비용 항으로 사용하는 첫 번째 연구입니다.