arXiv:2605.25267v2 cs.LG

안전한 인컨텍스트 강화학습을 위한 잠재 Q-배리어 실드

Latent Q-Barrier Shielding for Safe In-Context Reinforcement Learning

Minjae Kwon, Amir Moeini, Shangtong Zhang, Lu Feng

제출 2026-11-18

한국어 초록

안전한 인컨텍스트 강화학습(ICRL)은 테스트 시점의 파라미터 업데이트 없이 상호작용 이력으로부터 온라인으로 적응하면서, 안전 예산 내에서 에피소드 비용을 제어한다. 분포 외(OOD) 배포 변화 하에서, 사전 학습만 거친 안전 ICRL은 남은 예산이 예측된 미래 비용에 대한 명시적인 행동 수준 검사가 아니라 고정된 정책 조건화를 통해서만 행동에 영향을 미치기 때문에 보상-안전 간 절충이 좋지 않을 수 있다. 우리는 배포 전에 컨텍스트 표현, 잠재 동역학, 앙상블 비용 크리틱을 학습하는 잠재 Q-배리어 실드를 제안한다. 파라미터 업데이트 없이, 이 실드는 이력으로부터 컨텍스트를 추론하고 남은 예산과 예측된 미래 비용을 사용하여 후보 행동을 걸러 내거나 부드럽게 재가중한다. 우리는 명시적인 벨만 오차 항과 잠재 예측 오차 항을 포함하여, 실현된 후보 집합에 대한 조건부 단일 단계 배리어 마진 경계를 증명한다. 5개의 안전 ICRL 벤치마크에서 이 실드는 강력한 안전 ICRL 기준선 대비 배포 시점의 보상-안전 절충을 개선한다. 짧은 컨텍스트 윈도우 이후 5개 중 4개 벤치마크에서 더 높은 반환값을 달성하면서 5개 모두에서 평균 에피소드 비용을 같거나 낮게 유지한다. 코드는 https://github.com/kmj1122/q-barrier 에서 확인할 수 있다.

원문 초록

Safe in-context reinforcement learning (ICRL) adapts online from interaction history without test-time parameter updates while controlling episode cost under a safety budget. Under out-of-distribution (OOD) deployment shifts, pretraining-only safe ICRL can give poor reward-safety tradeoffs because the remaining budget affects behavior only through frozen policy conditioning, not an explicit action-level check against predicted future cost. We propose a latent Q-Barrier shield that learns a context representation, latent dynamics, and an ensemble cost critic before deployment. Without parameter updates, the shield infers context from history and filters or softly reweights candidate actions using the remaining budget and predicted future cost. We prove a conditional one-step barrier-margin bound over realized candidate sets, with explicit Bellman and latent-prediction error terms. Across five safe ICRL benchmarks, the shield improves deployment-time reward-safety tradeoffs over a strong safe-ICRL baseline: after a short context window, it achieves higher return in four of five benchmarks while matching or lowering average episode cost in all five. Code is available at https://github.com/kmj1122/q-barrier.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.25267v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.