PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23030v1cs.LG

동적 UBSR 척도를 갖는 MDP의 온라인 정책 평가

Online Policy Evaluation for MDPs with Dynamic UBSR Measures

리스크 인식 강화학습에서 정책 평가를 위한 효율적인 함수 근사(function approximation) 방법을 개발하는 것은 근본적인 과제이다. 기존 접근법은 제한적인 리스크 척도 클래스에만 초점을 맞추거나 시뮬레이터 접근에 의존하여, 완전 온라인 설정에서의 적용 가능성을 제한한다. 본 연구에서는 선형 함수 근사 하에서 동적 유틸리티 기반 쇼트폴 리스크(UBSR) 척도를 갖는 마르코프 결정 과정(MDP)에서의 정책 평가를 위한 계산적으로 효율적인 온라인 학습 알고리즘을 제안한다. 구체적으로, UBSR-TD 알고리즘을 도입하고, 거의 확실(almost surely) 수렴하는 조건을 수립하며, 수렴을 가속하기 위해 설계된 여러 변형을 개발한다. 우리의 공식화는 리스크 중립 MDP에 대한 기존 정책 평가 알고리즘이 시간차(temporal-difference) 오차에 손실 함수를 통합함으로써 동적 UBSR 설정에 쉽게 적응될 수 있음을 보여준다. 수치 실험은 이론적 결과를 뒷받침하며, 유통기한 불확실성을 갖는 부패성 재고 관리 문제에 대한 적용은 제안된 방법의 실용적 효과를 보여준다.

arXiv:2408.02295v4cs.LG공식 코드 · Papers with Code

불확실성 인식 강화학습을 위한 일반화 가우시안 시간차 오차

Generalized Gaussian Temporal Difference Error for Uncertainty-aware Reinforcement Learning

기존의 불확실성 인식 시간차(TD) 학습은 TD 오차를 영평균(zero-mean) 가우시안으로 모델링하는 경우가 많다. 이 가정은 부트스트래핑과 탐험(exploration)으로 인해 발생하는 heavy-tailed 및 이분산(heteroscedastic) 잔차를 놓칠 수 있다. 우리는 일반화 가우시안 분포(GGD)에 기반한 상태 조건부 형상(shape) 헤드를 도입하고, 수치적으로 수정된 GGD 손실(loss)을 비정상(nonstationary) TD 잔차에 대한 온라인 대리(surrogate)로 사용한다. 때로 혼동되는 두 가지 수학적 사실을 구분한다: 정확한 GGD 가능도(likelihood)는 모든 $β>0$에 대해 정규화되어 있지만, 그 지수 밀도 커널(kernel)은 $β\in(0,2]$에서 양의 정부(positive definite)이다. 학습된 형상을 이용해 단순한 단조 가중 휴리스틱을 구성하고, 앙상블(ensemble) TD 오차의 분산과 표본 초과 첨도(sample excess kurtosis)로부터 Batch Inverse Error Variance(BIEV) 정규화(regularization)를 제안한다. 연속 및 이산 제어 벤치마크(benchmark) 전반에서 형상 인식 변형이 여러 설정에서 가우시안 기반 변형보다 개선되지만, 이득은 과제와 체제(regime)에 따라 달라진다.

arXiv:2607.04990v2cs.LG

비단조 포함을 통한 비볼록 희소 강화학습

Non-Convex Sparse Reinforcement Learning via Non-Monotone Inclusions

강화학습의 LSTD 정책 평가에서 기존 ℓ₁ 정규화의 추정 바이어스 문제를 해결하기 위해, 비볼록 사영 미니맥스 오목(PMC) 패널티를 결합하고 이를 비단조 포함(non-monotone inclusion) 문제로 재정식화하여 전진-반사-후진 분할(FRBS) 알고리즘으로 푸는 방법을 제안한다. 약 민티 변분 부등식 조건 하에서 FRBS의 수렴이 보장되며, 벤치마크 실험에서 잡음 특징이 많은 환경일수록 기존 특징 선택 방법들을 크게 능가하는 성능을 보인다.

arXiv:2606.24981v1cs.LG

A Single Stepsize Suffices for Unprojected Linear TD(0): Simultaneous Robust and Fast Rates via Polyak--Ruppert Averaging

단일 궤적 Markovian 샘플링 하에서 투영(projection) 없는 선형 TD(0)에 Polyak–Ruppert 평균을 적용하고, 혼합 시간에만 의존하는 단일 스텝사이즈로 반복값의 고확률 유계(boundedness)와 동시 수렴을 증명한다. 곡률(curvature) 파라미터 ω를 몰라도 동일 스텝사이즈가 곡률 무관 견고율 Õ(τ_mix/√T)과 곡률 의존 빠른 수렴율 Õ(τ_mix²/(ωT)) 중 더 나은 쪽을 보장하며, 핵심 기법은 기하학적 혼합 Markov chain용 Poisson 방정식 분해와 자기 유계(self-bounding) 귀납 논증이다.