리스크 인식 강화학습에서 정책 평가를 위한 효율적인 함수 근사(function approximation) 방법을 개발하는 것은 근본적인 과제이다. 기존 접근법은 제한적인 리스크 척도 클래스에만 초점을 맞추거나 시뮬레이터 접근에 의존하여, 완전 온라인 설정에서의 적용 가능성을 제한한다. 본 연구에서는 선형 함수 근사 하에서 동적 유틸리티 기반 쇼트폴 리스크(UBSR) 척도를 갖는 마르코프 결정 과정(MDP)에서의 정책 평가를 위한 계산적으로 효율적인 온라인 학습 알고리즘을 제안한다. 구체적으로, UBSR-TD 알고리즘을 도입하고, 거의 확실(almost surely) 수렴하는 조건을 수립하며, 수렴을 가속하기 위해 설계된 여러 변형을 개발한다. 우리의 공식화는 리스크 중립 MDP에 대한 기존 정책 평가 알고리즘이 시간차(temporal-difference) 오차에 손실 함수를 통합함으로써 동적 UBSR 설정에 쉽게 적응될 수 있음을 보여준다. 수치 실험은 이론적 결과를 뒷받침하며, 유통기한 불확실성을 갖는 부패성 재고 관리 문제에 대한 적용은 제안된 방법의 실용적 효과를 보여준다.
기존의 불확실성 인식 시간차(TD) 학습은 TD 오차를 영평균(zero-mean) 가우시안으로 모델링하는 경우가 많다. 이 가정은 부트스트래핑과 탐험(exploration)으로 인해 발생하는 heavy-tailed 및 이분산(heteroscedastic) 잔차를 놓칠 수 있다. 우리는 일반화 가우시안 분포(GGD)에 기반한 상태 조건부 형상(shape) 헤드를 도입하고, 수치적으로 수정된 GGD 손실(loss)을 비정상(nonstationary) TD 잔차에 대한 온라인 대리(surrogate)로 사용한다. 때로 혼동되는 두 가지 수학적 사실을 구분한다: 정확한 GGD 가능도(likelihood)는 모든 $β>0$에 대해 정규화되어 있지만, 그 지수 밀도 커널(kernel)은 $β\in(0,2]$에서 양의 정부(positive definite)이다. 학습된 형상을 이용해 단순한 단조 가중 휴리스틱을 구성하고, 앙상블(ensemble) TD 오차의 분산과 표본 초과 첨도(sample excess kurtosis)로부터 Batch Inverse Error Variance(BIEV) 정규화(regularization)를 제안한다. 연속 및 이산 제어 벤치마크(benchmark) 전반에서 형상 인식 변형이 여러 설정에서 가우시안 기반 변형보다 개선되지만, 이득은 과제와 체제(regime)에 따라 달라진다.
강화학습의 LSTD 정책 평가에서 기존 ℓ₁ 정규화의 추정 바이어스 문제를 해결하기 위해, 비볼록 사영 미니맥스 오목(PMC) 패널티를 결합하고 이를 비단조 포함(non-monotone inclusion) 문제로 재정식화하여 전진-반사-후진 분할(FRBS) 알고리즘으로 푸는 방법을 제안한다. 약 민티 변분 부등식 조건 하에서 FRBS의 수렴이 보장되며, 벤치마크 실험에서 잡음 특징이 많은 환경일수록 기존 특징 선택 방법들을 크게 능가하는 성능을 보인다.
단일 궤적 Markovian 샘플링 하에서 투영(projection) 없는 선형 TD(0)에 Polyak–Ruppert 평균을 적용하고, 혼합 시간에만 의존하는 단일 스텝사이즈로 반복값의 고확률 유계(boundedness)와 동시 수렴을 증명한다. 곡률(curvature) 파라미터 ω를 몰라도 동일 스텝사이즈가 곡률 무관 견고율 Õ(τ_mix/√T)과 곡률 의존 빠른 수렴율 Õ(τ_mix²/(ωT)) 중 더 나은 쪽을 보장하며, 핵심 기법은 기하학적 혼합 Markov chain용 Poisson 방정식 분해와 자기 유계(self-bounding) 귀납 논증이다.