arXiv:2401.15196

Regularized Q-Learning with Linear Function Approximation

Jiachen Xi, Alfredo Garcia, Petar Momcilovic

제출 2024-01-26

원문 초록

Regularized Markov Decision Processes serve as models of sequential decision making under uncertainty wherein the decision maker has limited information processing capacity and/or aversion to model ambiguity. With functional approximation, the convergence properties of learning algorithms for regularized MDPs (e.g. soft Q-learning) are not well understood because the composition of the regularized Bellman operator and a projection onto the span of basis vectors is not a contraction with respect to any norm. In this paper, we consider a bi-level optimization formulation of regularized Q-learning with linear functional approximation. The {\em lower} level optimization problem aims to identify a value function approximation that satisfies Bellman's recursive optimality condition and the {\em upper} level aims to find the projection onto the span of basis vectors. This formulation motivates a single-loop algorithm with finite time convergence guarantees. The algorithm operates on two time-scales: updates to the projection of state-action values are `slow' in that they are implemented with a step size that is smaller than the one used for `faster' updates of approximate solutions to Bellman's recursive optimality equation. We show that, under certain assumptions, the proposed algorithm converges to a stationary point in the presence of Markovian noise. In addition, we provide a performance guarantee for the policies derived from the proposed algorithm.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13901v1stat.ML공통 태그 Q-Learning, Sequential Decision Making

비동기 Q-러닝에 대한 도달 시간 경계

Hitting-Time Bounds for Asynchronous Q-Learning

우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.

arXiv:2610.01781v1cs.AI공통 태그 Q-Learning, Sequential Decision Making

MEC가 없는 마르코프 결정 과정(MDP)에서의 도달 가능성을 위한 Q-러닝

Q-Learning for Reachability in MEC-Free MDPs

도달 가능성(reachability) 명세를 위한 강화학습(RL)은 순차적 의사결정에서 기본이 되는 문제입니다. 기존 연구에서는 최적 정책으로의 점근적 수렴(asymptotic convergence)을 규명했으나, 이는 기저 마르코프 결정 과정(MDP)의 전이 확률을 명시적으로 추정해야만 하는 모델 기반(model-based) 방식을 통해서만 가능했습니다. 본 논문에서는 표준적인 MEC 몫(quotient) 연산을 통해 모든 MDP가 환원될 수 있는 기본 구성 요소인, 비종단 최대 끝 컴포넌트(non-terminal maximal end components, MEC)가 없는 MDP 단편에서 도달 가능성에 대한 점근적 보장을 제공하는 최초의 모델 프리(model-free) 알고리즘인 Quasar를 제시합니다. 본 알고리즘은 고전적인 Q-러닝 접근법을 따라 시간차(temporal-difference) 업데이트를 활용하여 전이 확률을 전혀 학습하지 않고도 최적 정책으로 수렴합니다. 이를 통해 도출된 학습기는 메모리 사용량을 모델 기반 방식에 필요한 O(|S|^2|A|)에서 O(|S||A|)로 줄입니다. 표준화된 정량 검증 벤치마크 세트(Quantitative Verification Benchmark Set)에서 본 알고리즘은 기존의 최신 모델 기반 기법(SOTA)보다 수 자릿수(orders of magnitude) 적은 샘플만으로 최적 정책에 수렴합니다. 이러한 결과는 도달 가능성 학습의 실질적인 적용과 더불어 명세 유도형 강화학습(specification-guided RL)의 실용적 배치를 향한 구체적인 진전을 이룹니다.

arXiv:2609.27446v1cs.LG공통 태그 Q-Learning, Sequential Decision Making

양자 클라우드 오케스트레이션에서 비용과 지연 트레이드오프를 위한 양자 강화학습

Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration

양자-서비스(QaaS) 모델을 통해 제공되는 양자 클라우드 컴퓨팅은 양자 컴puting 자원에 대한 접근을 제공한다. 그러나 근본적으로 이질적인 양자 자원에 동일한 시간 기반 요금제를 적용하면, 특히 실행 비용과 시스템 성능 사이의 트레이드오프를 다룰 때 작업 오케스트레이션이 크게 복잡해진다. 휴리스틱 방법은 사전 정의된 스케줄링 규칙에 의존하는 반면, 고전적 심층 강화학습(DRL) 모델은 이 설정에서 더 많은 학습 가능 파라미터를 요구할 수 있다. 매개변수화 양자 회로(PQC)가 컴팩트한 함수 근사기로서 가질 잠재력에 착안하여, 우리는 PQC를 듀얼링 더블 심층 Q 네트워크(D3QN)와 통합해 비용과 지연을 동적으로 모두 반영하는 비용-지연 인식 양자 클라우드 스케줄링 프레임워크 QRLQ를 제안한다. 시뮬레이션 결과 QRLQ는 휴리스틱 기준선보다 더 낮은 평균 비용과 지연을 달성하며, 가용성 기반 및 회전 기반 휴리스틱 대비 평균 비용을 5–11% 낮추고, 가장 강한·약한 휴리스틱 기준선 대비 평균 지연을 각각 17% 및 82% 줄였다. 동시에 충실도 탐욕 정책 대비 실행 충실도를 2% 이내로 유지한다. 고전 DRL 기준선과 비교하면 QRLQ는 유사한 스케줄링 성능을 달성하면서 학습 가능 파라미터를 72% 더 적게 사용한다. 본 연구는 양자 클라우드 환경에서 작업 오케스트레이션에 양자 강화학습(QRL)을 사용하는 타당성을 탐구하고, 비용-지연 인식 양자 자원 관리의 잠재력을 보여준다.

arXiv:2609.27667v1cs.LG공통 태그 Q-Learning, Sequential Decision Making

위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습

Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization

강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.

arXiv:2607.20834v1cs.LG공통 태그 Q-Learning, Sequential Decision Making

계층적 액션 청킹을 이용한 오프라인 강화학습

Offline RL with Hierarchical Action Chunking

오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.

arXiv:2607.13576v1cs.LG공통 태그 Q-Learning, Sequential Decision Making

베이지안 설득을 위한 구조화 강화학습: 지능형 상호작용 주행에의 적용

Structured Reinforcement Learning for Bayesian Persuasion : Application to Intelligent Interactive Driving

실시간 교통 데이터를 갖춘 지능형 선행 차량이 연결된 차량들의 경로 선택을 조율하는 상호작용 주행은 동적 교통 관리를 위한 유망한 접근법을 제공한다. 의사결정의 조율이라는 과제를 해결하기 위해, 본 논문은 베이지안 설득(Bayesian persuasion)의 전략적 정보 공개 프레임워크를 고려한다. 여기서 주체(principal, 선행 차량)는 신호(signal)를 이용해 전방 실시간 교통 상황 등의 정보를 선택적으로 공개함으로써, 에이전트(연결된 차량)의 부분 관측 가능한 순차적 의사결정을 자신의 목표에 부합하도록 이끌고자 한다. 그러나 에이전트가 장기 보상을 극대화하기 위해 장기적 관점으로 대응함에 따라, 주체의 신호 전략 설계는 계산적으로 어려워진다. 본 논문은 장기적 관점의 에이전트를 설득할 수 있는 계산 효율적인 신호 전략을 합성하기 위한 온라인 구조화 강화학습 프레임워크를 제안한다. 본 논문의 주요 기여는 다음과 같다: (i) 근사적 최적 대응(approximate best response)을 갖는 단조(monotonic) 에이전트에 대해, 더 빠른 온라인 학습을 위한 구조화 정책 학습 알고리즘 MAPL을 제안하고, (ii) 단조 에이전트에 대해 주체의 Q 함수가 초모듈(supermodular) 구조를 갖기 위한 충분 조건을 식별하고, (iii) 주체의 신호 전략의 설득력(persuasiveness)을 보장하기 위한 충분 조건을 식별하고, (iv) 주체(Principal)를 위한 초모듈 Q 학습(SQP)을 제안하며, 이는 주체의 행동 가치(action value)의 초모듈 구조를 활용하여 단조 학습 에이전트를 설득할 수 있는 계산 효율적인 신호 전략을 합성하고, (v) 차선 선택을 위한 베이지안 설득형 주행의 실시간 적용을 고려한 수치 분석을 통해, 제안 방법이 기존 신호 전략 설계 방법론과 비교하여 선행 차량과 연결된 차량 모두의 이동 보상 최적화에 있어 30% 더 비용 효율적임을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.