arXiv:2205.06750

Provably Safe Reinforcement Learning: Conceptual Analysis, Survey, and Benchmarking

Hanna Krasowski, Jakob Thumm, Marlon Müller, Lukas Schäfer, Xiao Wang, Matthias Althoff

제출 2022-05-13

원문 초록

Ensuring the safety of reinforcement learning (RL) algorithms is crucial to unlock their potential for many real-world tasks. However, vanilla RL and most safe RL approaches do not guarantee safety. In recent years, several methods have been proposed to provide hard safety guarantees for RL, which is essential for applications where unsafe actions could have disastrous consequences. Nevertheless, there is no comprehensive comparison of these provably safe RL methods. Therefore, we introduce a categorization of existing provably safe RL methods, present the conceptual foundations for both continuous and discrete action spaces, and empirically benchmark existing methods. We categorize the methods based on how they adapt the action: action replacement, action projection, and action masking. Our experiments on an inverted pendulum and a quadrotor stabilization task indicate that action replacement is the best-performing approach for these applications despite its comparatively simple realization. Furthermore, adding a reward penalty, every time the safety verification is engaged, improved training performance in our experiments. Finally, we provide practical guidance on selecting provably safe RL approaches depending on the safety specification, RL algorithm, and type of action space.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Reinforcement Learning (RL), Benchmarking

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.15956v1cs.AI공통 태그 Reinforcement Learning (RL), Benchmarking

ADAPT: 소등된 산업 환경 내 내비게이션을 위한 전이 인식 보상 기반 오디오-깊이 행동 계획

ADAPT: Audio-Depth Action Planning with Transition-Aware Rewards for Lights-Out Industrial Navigation

체화된 내비게이션(embodied navigation)을 위한 비전-언어-행동(vision-language-action) 모델은 일반적으로 RGB 관측에 의존하므로, 가시광 조명을 사용할 수 없는 소등된(lights-out) 산업 환경에서는 적용 가능성이 제한됩니다. 본 연구에서는 목표 위치 파악을 위한 공간 오디오(spatial audio)와 장애물 인식 기하학을 위한 깊이(depth) 정보를 활용하여 조명 독립적인 내비게이션을 연구합니다. 이러한 설정을 지원하기 위해 24개의 산업 환경 장면과 점진적으로 까다로워지는 4가지 음향 조건을 갖춘 벤치마크인 DarkNav-Bench를 도입합니다. 나아가 공간 오디오 인지 기능을 갖추고 강화학습(RL)을 통해 폐루프(closed-loop) 내비게이션에 최적화된 오디오-깊이 행동 계획 프레임워크인 ADAPT를 제안합니다. 주요 강화학습 기여인 전이 인식 보상 셰이핑(TARS)은 위치-방향 그래프 상에서 자세 인식 최단 행동 잠재량(pose-aware shortest-action potential)을 정의합니다. 기존의 측지선 진행 보상과 달리, TARS는 실행 가능한 이동과 제자리 회전을 모두 고려하여 정책 최적화를 위한 행동 일관적 피드백을 제공합니다. 실험 결과, ADAPT는 학습 기반 내비게이션 베이스라인과 제로샷 멀티모달 모델 모두를 상대로 확인된 장면과 확인되지 않은 장면 전반에서 일관되게 우수한 성능을 보였습니다. 확인되지 않은 환경에서 본 모델은 Clean 조건 하에 90.6%의 성공률을 달성했으며, 가장 까다로운 Localized Noise 설정에서도 60.0%의 성공률을 유지했습니다. 이러한 결과는 소등된 산업 환경에서 신뢰할 수 있는 RGB-free 내비게이션을 구현하는 데 있어 공간 오디오와 깊이가 상호 보완적인 양식(modality)으로서 지닌 잠재력을 입증합니다.

arXiv:2610.13737v1cs.LG공통 태그 Reinforcement Learning (RL), Safe Reinforcement Learning

SafeDiSTL: 안전한 다중 에이전트 강화학습을 위한 공동 제약조건 분해

SafeDiSTL: Decomposing Joint Constraints for Safe Multi-Agent Reinforcement Learning

협력적 다중 에이전트 태스크는 종종 공유 목표나 집합적 안전성(collective safety)에 대한 제약조건을 부과합니다. 팀 수준의 위반 비용 함수는 이러한 제약조건 결과를 측정할 수 있지만, 어떤 에이전트의 행동이 해당 위반에 가장 큰 영향을 미치는지 구분하지 못합니다. 본 논문에서는 결합 제약조건 측정 하에서도 신용 할당(credit assignment)이 가능한 제약 다중 에이전트 강화학습(MARL) 프레임워크인 SafeDiSTL을 제안합니다. 우리는 신호 시간 논리(Signal Temporal Logic, STL) 강건성을 활용하여 실행 최댓값(running-maximum) 비용 증분을 통해 에피소드 수준의 위반을 측정합니다. 매끄러운 전체 에피소드 강건성과 미분 가능한 동역학은 행동 민감도(action sensitivity)를 제공하며, 이는 동일한 결정 시점에 각 비용 증분을 에이전트 전반에 걸쳐 분배합니다. 이러한 민감도는 각 비용 증분에서 에이전트의 기여도를 가중할 때 지연된 영향을 고려합니다. 우리는 협력적 화물 운송, 연결 항법, 네트워크 트래픽 제어 태스크에서 본 프레임워크를 연구합니다. 제약 baselines과 비교했을 때, SafeDiSTL은 운송 태스크에서 안전 성공률을 1.6~5.1배 달성하고, 항법 안전 성공률을 11.1% 향상시키며, 트래픽 태스크에서 50~68% 더 높은 처리량을 보입니다. 실험 결과는 학습된 정책이 제약 없는 정책의 성능을 유지하면서도 공유 제약조건을 다루는 데 있어 크게 향상되었음을 입증합니다.

arXiv:2610.13857v1cs.CV공통 태그 Survey, Benchmarking

위성 영상을 활용한 건물 피해 평가 과제 재고

Revisiting the Task of Building Damage Assessment by Satellite Imaging

지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.

arXiv:2610.04906v2cs.CL공통 태그 Reinforcement Learning (RL), Benchmarking

장기적 작업 수행 에이전트를 위한 검증 가능한 환경의 스케일링

Scaling Verifiable Environments for Long-horizon Work Agents

작업 수행 에이전트(work agent)는 디지털 아티팩트를 다루며 전문적인 지식 집약적 업무를 수행하므로, 장기적(long-horizon) 상호작용과 신뢰할 수 있는 검증을 지원하는 학습(training) 환경이 필요합니다. 그러나 수작업으로 제작된 환경은 막대한 엔지니어링 오버헤드를 유발하여 환경 스케일링을 저해하는 반면, 합성 방식은 작업 공간의 복잡성, 현실성 또는 근거 기반의 검증 가능성을 희생합니다. 이러한 격차를 해소하기 위해, 실제 리소스로부터 검증 가능한 작업 에이전트 환경을 구축하는 확장 가능한 합성 프레임워크인 WorkForge를 소개합니다. WorkForge는 전문가의 워크플로에서 출발하여 각 워크플로에 필요한 리소스, 의사결정 및 결과물을 먼저 식별합니다. 그런 다음 관련된 실제 파일들을 검색하여 작업 공간(workspace)으로 구성합니다. WorkForge는 작업 공간을 검사하여 해당 내용에 대한 구체적이고 확인 가능한 사실들을 추출합니다. 이러한 사실적 앵커(factual anchor)는 작업 공간이 지원할 수 있는 태스크 유형과 그 결과를 검증할 수 있는 방식을 확정합니다. 따라서 WorkForge는 이러한 사실적 앵커로부터 각 태스크의 지침, 해결 계획, 그리고 상호보완적인 프로그래밍 방식 및 의미론적 검증기(verifier)를 직접 도출함으로써, 검증 과정이 관찰 가능한 작업 공간의 증거를 추적할 수 있도록 유지합니다. 나아가, 60개 파일 형식을 포괄하는 작업 공간을 바탕으로 40개 전문 도메인에 걸쳐 16.7K개의 검증 가능한 환경을 구축했습니다. Qwen3.5-35B-A3B-Base를 사후 학습(post-training)한 결과, GDPVal은 45.5에서 73.6으로, APEX Score는 5.0에서 21.3으로 향상되었으며, Qwen3.5-27B 또한 매우 경쟁력 있는 성능을 달성하여 강력한 경쟁 모델들을 능가했습니다. 분석 결과는 제안된 방법의 효과를 입증하며, 데이터양과 상호작용 지평(interaction horizon) 모두에서 일관된 스케일링 동작을 보여줍니다.

arXiv:2610.10740v1cs.LG공통 태그 Reinforcement Learning (RL), Benchmarking

테이블 데이터 기반 대화형 작업 모호성 해소: 정보 누출을 고려한 정식화, 벤치마크 스위트 및 학습

Conversational Task Disambiguation over Tabular Data: Leakage-Aware Formulation, Benchmark Suite, and Training

테이블 데이터 기반 대화형 작업 모호성 해소는 테이블이나 데이터베이스에서 솔루션을 생성하기 전에, 대화를 활용하여 사용자의 의도된 작업에 대한 누락된 정보를 해결합니다. 기존의 평가 및 학습은 정보 누출을 고려한 기반이 부족합니다. 작업 성공 여부에는 에이전트의 모호성 해소 능력과 솔루션 생성 능력이 혼재되어 있으며, 사용자 시뮬레이터가 실제 사용자가 제공할 범위를 넘어 공개하는 정보인 오라클 누출(oracle leakage)이 반영될 수도 있습니다. 또한 기존 데이터셋은 모호성과 접근 경계에 대한 공통 표현이 부족합니다. 본 논문에서는 모호성과 그 해결 방식을 공식화하고, 에이전트를 질문 정책(asking policy)과 솔루션 정책(solution policy)으로, 환경을 오라클과 검증기(verifier)로 분해하는 '모호한 검증 가능 작업(ambiguous verifiable task)' 개념을 제안합니다. 이 프레임워크는 솔루션 생성과 별개로 작업 모호성 해소를 평가하기 위한 베이스라인과 지표, 오라클 누출에 대한 형식적 정의, 별도의 판별 모델이 필요 없는(judge-free) 누출 진단 방법, 그리고 질문 정책을 위한 학습 목표를 제공합니다. 저자들은 에이전트, 오라클, 검증기가 접근할 수 있는 대상을 명시하는 공통 표현 아래 6개의 모호한 데이터셋을 통합한 벤치마크 스위트 AmbiTab을 통해 text-to-SQL에서 이 프레임워크를 구현합니다. 명확화 전략과 오라클 누출을 평가하고, 강화학습(RL)을 통해 질문 정책을 학습합니다. 학습된 질문 정책은 6개 데이터셋 모두에서 모호성 해소 지표를 향상시키고 5개 데이터셋에서 작업 성공률을 높였으며, 제안된 누출 진단 방법을 통해 학습이 오라클 누출에 미치는 영향을 측정합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.