arXiv:2311.00880

SCPO: Safe Reinforcement Learning with Safety Critic Policy Optimization

Jaafar Mhamed, Shangding Gu

제출 2023-11-01

원문 초록

Incorporating safety is an essential prerequisite for broadening the practical applications of reinforcement learning in real-world scenarios. To tackle this challenge, Constrained Markov Decision Processes (CMDPs) are leveraged, which introduce a distinct cost function representing safety violations. In CMDPs' settings, Lagrangian relaxation technique has been employed in previous algorithms to convert constrained optimization problems into unconstrained dual problems. However, these algorithms may inaccurately predict unsafe behavior, resulting in instability while learning the Lagrange multiplier. This study introduces a novel safe reinforcement learning algorithm, Safety Critic Policy Optimization (SCPO). In this study, we define the safety critic, a mechanism that nullifies rewards obtained through violating safety constraints. Furthermore, our theoretical analysis indicates that the proposed algorithm can automatically balance the trade-off between adhering to safety constraints and maximizing rewards. The effectiveness of the SCPO algorithm is empirically validated by benchmarking it against strong baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.11065v1cs.LG공통 태그 Reinforcement Learning, Benchmarking

CityDeploy-Bench: 다중 송신기 네트워크 배치를 위한 물리 기반 공간 집합 계획 벤치마킹

CityDeploy-Bench: Benchmarking Physics-Grounded Spatial Set Planning for Multi-Transmitter Network Deployment

도시 규모의 무선 배치 자동화는 복잡한 도심 전파 환경과 네트워크 전역의 간섭 속에서 여전히 어려운 과제로 남아 있다. 본 논문에서는 다중 송신기 배치 문제를 통합된 광선 추적(ray-tracing) 검증기 하에서 물리 기반 공간 집합 계획(physics-grounded spatial set planning) 문제로 재구성한 벤치마크인 CityDeploy-Bench를 소개한다. 이 벤치마크는 유틸리티(utility) 표현과 계획 다이내믹스를 분리함으로써, 다양한 플래너(planner)에 대해 직접적인 스칼라 보상, 관계형 모델, 그리고 고차 상호작용 구조 간의 통제된 비교를 가능하게 한다. 실험 결과, 물리적 결합(coupling)이 커질수록 계획 행동에서 명확한 전환이 나타난다. 배치 품질은 학습된 유틸리티가 송신기 간의 집합적 상호작용을 포착하는지에 점점 더 의존하게 되며, 반면 더 강력한 탐색만으로는 누락된 관계형 구조를 보완할 수 없다. 이는 다중 송신기 배치가 독립적인 공간적 의사결정들의 집합이 아니라, 물리적으로 상호작용하는 집합에 대한 조정(coordination) 문제임을 보여준다. 우리는 의사결정 학습(decision learning)과 물리 기반 무선 네트워크 설계를 연결하는 연구를 위한 재현 가능한 테스트베드로서 CityDeploy-Data와 벤치마크 프레임워크를 공개한다.

arXiv:2610.02617v1cs.SE공통 태그 Reinforcement Learning, Benchmarking

WebUIProof: UI-에이전트 실행 하네스를 활용한 WebUI 코드 생성기 벤치마킹

WebUIProof: Benchmarking WebUI Code Generators with UI-Agent Execution Harness

WebUI 코드 생성을 대규모로 평가하는 것은 어렵습니다. 생성 결과물이 컴파일되고 그럴듯해 보일 수 있지만 사용자 상호작용에서는 실패할 수 있으며, 기존 벤치마크는 주로 기능적 정확성을 놓치는 정적 검사(빌드 성공, 스크린샷)와 자유 형식 프롬프트에 크게 의존합니다. 본 논문에서는 일반 WebUI(예: 대시보드, 게임, 대화형 도구)와 3D 대화형 시뮬레이션(예: 입자/은하계 시스템, 물리 역학)의 두 가지 작업군에 걸쳐 WebUI 생성을 위한 구조화된 명세와 조밀하고 실행 가능한 상호작용 테스트를 제공하는 실행 지향적 벤치마크인 WebUIProof를 소개합니다. WebUIProof는 반복적인 계획-행동-관찰(plan-act-observe) 루프를 사용해 헤드리스 브라우저에서 실행 가능한 상호작용 테스트를 구동하는 UI-에이전트(UI-agent) 하네스를 포함합니다. 이는 DOM 요소를 찾고, 행동을 수행하며, 그 결과로 나타나는 UI/DOM 변화를 관찰하고, 지정된 단언문(assertions)을 확인합니다. 8개의 상용 대규모 언어 모델(LLM)에 대해 평가를 진행한 결과, 페이지가 성공적으로 렌더링되더라도 상호작용 기반 요구사항에서 빈번한 실패가 발생함을 관찰했으며, 특히 3D 시뮬레이션 인터페이스에서 이러한 현상이 두드러졌습니다. 마지막으로, UI-에이전트 하네스가 결과 수준의 학습(training) 신호를 제공할 수 있음을 보여줍니다. 실행 가능한 상호작용 테스트에서 파생된 강화학습(RL) 보상으로 소형 모델(예: Qwen2.5 14B 및 MIMO 7B)을 학습시키면 빌드 실패를 줄이면서 기능적 완성도를 향상시킬 수 있습니다.

arXiv:2610.00557v1cs.CR공통 태그 Reinforcement Learning, Benchmarking

모든 것에 적합한 단일 아키텍처는 없다: 계층적 레드팀 에이전트의 교차 환경 평가

No One Architecture Fits All: A Cross-Environment Evaluation of Hierarchical Red Team Agents

자율 레드팀 에이전트는 전략을 계획하고 다단계 공격을 실행함으로써 AI 기반 사이버 방어를 스트레스 테스트하는 데 점점 더 많이 활용되고 있습니다. 강화학습(RL)과 대규모 언어 모델(LLM)은 이러한 에이전트가 요구하는 계획 및 실행에 대해 상호보완적인 메커니즘을 제공하며, 이전 연구들은 이들을 하이브리드 계층 구조로 결합해 왔습니다. 그러나 특정 아키텍처는 일반적으로 단일 환경 내에서 개발 및 평가되므로, 관찰된 이점이 전반적으로 더 강력한 의사결정 메커니즘을 반영하는 것인지 아니면 특정 설정에 대한 정렬에 불과한 것인지는 명확하지 않았습니다. 본 연구에서는 RL 계획기와 RL 실행기로 구성된 구조(RL+RL), 그리고 LLM 계획기와 LLM 실행기로 구성된 구조(LLM+LLM)라는 두 가지 동질적 계층형 레드팀 아키텍처에 대한 통제된 교차 환경 비교를 통해 이러한 공백을 해결합니다. CybORG CAGE-4 환경 및 두 가지 네트워크 규모의 Cyberwheel 환경에서, 단일 통합 무력화(disruption) 지표 하에 18개 구성을 바탕으로 전문가 자율 방어자를 상대로 두 아키텍처를 모두 평가했습니다. 그 결과 뚜렷한 환경 의존적 역전 현상을 발견했습니다. RL+RL은 조밀한 보상이 주어지는 소규모 CAGE-4(가장 강력한 LLM 구성의 18.0% 대비 78.5% 무력화 성공률)와 100대 호스트 규모의 Cyberwheel 네트워크(50.5% 대비 81.0%)에서 우세했던 반면, 사전학습된 사이버 보안 LLM 에이전트는 권한 상승이 관문 역할을 하는 더 큰 규모의 1010대 호스트 Cyberwheel 네트워크에서 우세했습니다(RL의 0.0% 대비 55.0%). 킬체인(kill-chain) 분석을 통해 전체 성공률에 가려져 있던 아키텍처별 병목 현상으로 이러한 역전을 설명합니다. 1010대 호스트 Cyberwheel 네트워크에서 RL은 호스트를 탐색하고 침해하지만 권한 상승 단계에서 정체되는 반면, CAGE-4에서는 LLM 에이전트가 특권 접근 권한을 획득하고도 이를 실제 운영상의 타격으로 전환하지 못합니다. 이러한 결과는 단일 환경에서 도출된 결론이 일반화되지 않을 수 있음을 시사하며, 하이브리드 계획기-실행기 설계는 특정 아키텍처가 보편적으로 우월하다는 가정보다는 구체적인 실패 모드를 기반으로 타당성을 확보해야 함을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.