PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02520v1cs.LG

단계별 제약 조건이 있는 CMDP를 위한 인스턴스 의존적 후회도

Instance-Dependent Regret for CMDPs with Step-Wise Constraints

본 논문에서는 단계별 안전 제약 조건(step-wise safety constraints)을 갖는 에피소드형 테이블 형식의 제약 마르코프 결정 과정(CMDP)에서의 온라인 학습을 연구합니다. 이러한 환경에서 제약 조건은 실행 가능한 정책 하에서 누적 보상의 분산을 결정하고, 결과적으로 학습 난이도를 형성하는 안전한 부분 그래프(safe subgraph)를 유도합니다. 그러나 이러한 구조를 활용하려면 제약 위반을 제어하면서 어떤 행동이 안전한지 학습해야 합니다. 우리는 후보 안전 부분 그래프를 학습하고 그 안에서 분산 적응형 낙관적 계획을 수행하는 효율적인 알고리즘인 SVAE(Safe Variance-Adaptive Exploration)를 제안합니다. SVAE는 높은 확률로 $K$개의 에피소드에 대해 $\widetilde{\mathcal{O}}(\sqrt{SAH\min\{\mathbb{V}_Σ,K\mathrm{Var}^{\star}\}}+S\sqrt{AH^3\min\{K,\mathcal{C}\}}+S^2AH^2)$ 차수의 누적 후회도(cumulative regret)를 달성하며, 여기서 $H$는 단일 에피소드의 기간(horizon), $S$와 $A$는 각각 상태 및 행동의 수입니다. 여기서 $\mathrm{Var}^{\star}$는 안전한 정책들 중 최대 수익 분산이고, $\mathbb{V}_Σ$는 첫 번째 불안전한 행동을 마주하기 전까지 누적된 분산이며, $\mathcal{C}$는 잠재적으로 안전하다고 잘못 간주된 행동을 제거하는 데 따르는 통계적 복잡도를 나타냅니다. 추가적으로 SVAE는 $\widetilde{\mathcal{O}}(H\sqrt{SAK}+S^2AH^2)$의 단계별 제약 위반과 $K$에 대해 다항 로그(polylogarithmic) 비례하는 갭 의존적(gap-dependent) 위반 상한을 달성합니다. 마지막으로, 이러한 인스턴스 특정 수치들에 대한 의존성이 불가피함을 보여주는 하한(lower bound)을 확립합니다.

arXiv:2509.25582v4cs.LG

안전한 문맥 내 강화학습

Safe In-Context Reinforcement Learning

문맥 내 강화학습(ICRL)은 새롭게 부상하는 강화학습(RL) 패러다임으로, 사전학습(pre-training) 이후 에이전트가 매개변수 업데이트 없이 상호작용 이력의 확장되는 컨텍스트에 의존하여 분포 밖(out-of-distribution) 테스트 과제에 적응할 수 있다. ICRL이 인상적인 일반화를 보여주었지만, 이 적응 과정에서의 안전성(safety)은 아직 탐구되지 않아, 테스트 시점 행동이 안전할 것으로 기대되는 실세계 배포에서의 적용 가능성을 제한한다. 본 연구에서는 SCARED(Safe Contextual Adaptive Reinforcement via Exact-penalty Dual)를 제안한다. 이는 제약 마르코프 결정 과정(constrained Markov decision process) 프레임워크 하에서 ICRL의 안전한 적응을 촉진하는 최초의 방법이다. 매개변수 업데이트 없는 적응 과정 동안, 우리의 에이전트는 보상을 최대화할 뿐만 아니라 누적 비용을 사용자가 지정한 안전 예산(safety budget) 이내로 유지한다. 또한 에이전트가 안전 예산에 능동적으로 반응함을 보인다. 안전 예산이 높을수록 에이전트는 더 공격적으로 행동하고, 안전 예산이 낮을수록 더 보수적으로 행동한다. 도전적인 벤치마크(benchmark) 전반에서 SCARED는 기존 ICRL 및 안전 meta-RL 기준선(baseline)을 능가하며, 안전하고 견고한 문맥 내 적응을 일관되게 가능하게 한다.