PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13901v1stat.ML

비동기 Q-러닝에 대한 도달 시간 경계

Hitting-Time Bounds for Asynchronous Q-Learning

우리는 유한 마르코프 결정 과정(Markov decision process)의 단일 궤적(trajectory)으로부터 표준 비동기 Q-러닝의 마지막 반복값(last iterate)을 연구한다. 이 궤적은 상태-행동 연쇄(state-action chain)가 기약적(irreducible)이고 주기적(periodic)일 수 있는 고정된 행동 정책(behavior policy)을 따른다. 할인율(discount factor) $γ$에 대해 $H=(1-γ)^{-1}$로 표기하고, $μ_{\min}$을 최소 정상 상태-행동 확률(stationary state-action probability), $\mathfrak h_\star$를 역방향 상태-행동 연쇄의 최대 기대 적중 시간(hitting time)으로 정의한다. 우리는 $0<\varepsilon\le1$에 대해, 상수 스텝 크기(step size)를 사용하는 0으로 초기화된 Q-러닝이 $\widetilde{O}(H^4/(μ_{\min}\varepsilon^2)+\mathfrak h_\star)$개의 전이(transition)를 사용하여 높은 확률로 최대 $\varepsilon$의 sup-노름(sup-norm) 오차를 달성함을 증명한다. 통계적 항은 표준 Q-러닝의 4차 유효 지평(effective horizon) 의존성을 그대로 유지하며, 초기화 비용은 $\mathfrak h_\star$에 가산적으로 더해진다. 비주기적(aperiodic) 행동 연쇄의 경우, 혼합 시간(mixing time)과의 비교를 통해 $\widetilde{O}(t_{\mathrm{mix}}/μ_{\min})$의 과도 항(transient term)을 얻는다. 경험적 상태-행동 카운트 규칙(empirical state-action count rule)은 이후의 학습 실행(training run)을 위한 상수 스텝 크기를 선택하며, 모델 매개변수, 목표 정확도, 신뢰 수준에 대한 사전 지식 없이도 동일한 비율을 달성한다. 출력값은 마지막 학습 반복값이며, 두 단계 모두 샘플 수에 포함된다. 증명은 두 개의 결정론적 벨만 외피(Bellman envelope)를 사용하여 통계적 오차와 고정 정책 초기화 오차를 분리하며, TD 학습(TD learning)의 역시간 적중 비용 보정(reverse-time hitting-cost compensation)을 상태-행동 전파(state-action propagation)에 맞게 적용한다. 임의의 예측 가능한(predictable) 스텝 크기에 대해 탐험(exploration) 하한이 성립한다. 기존의 통계적 하한 및 파일럿으로 선택된 상수 스텝으로의 확장과 결합하면, 명시된 대규모 샘플 매개변수(parameter) 클래스에서 로그 인자(logarithmic factor)까지 일치하는 평균제곱 비율(mean-square rate)을 얻는다.

arXiv:2409.14557v5stat.ML공식 코드 · Papers with Code

샘플 효율적인 강화학습을 위한 외생적 구조 활용

Exploiting Exogenous Structure for Sample-Efficient Reinforcement Learning

우리는 상태 공간이 외생적(exogenous) 및 내생적(endogenous) 구성요소로 분할되는, Exo-MDP로 알려진 구조화된 마르코프 결정 과정(MDP) 클래스를 연구한다. 외생적 상태는 에이전트(agent)의 행동과 무관하게 확률적으로 변화하는 반면, 내생적 상태는 두 상태 구성요소와 행동 모두에 기반하여 결정론적으로 변화한다. Exo-MDP는 재고 관리, 자원 관리, 차량 호출(ride-sharing)을 포함한 많은 운영 과학(operations research) 설정을 포착한다. 우리의 첫 번째 기여는 구조적 측면으로, 이산 MDP, Exo-MDP, 이산 선형 혼합 MDP 사이의 표현적 동치 관계를 확립한다. 두 번째 기여는 통계적 측면이다. 유효 차원 $r$이 내생적 상태 및 행동 공간에 비해 작을 때 Exo-MDP 학습의 미니맥스 후회(minimax regret)를 규명한다. 외생적 상태가 관측되지 않을 때, Exo-MDP의 유효 차원이 $r$인 경우 수평선(horizon) $H$의 $K$개 에피소드에 걸쳐 $Θ(Hr \sqrt{K})$ 차수의 일치하는 상한 및 하한 후회 경계를 증명한다. 외생적 상태가 관측되는 경우 미니맥스 후회는 $Θ(H\sqrt{ r K})$로 개선되어, 외생적 상태 관측으로 인한 $Θ(\sqrt{r})$의 통계적 격차를 밝혀낸다. 이러한 결과는 Exo-MDP가 샘플 복잡도(sample complexity)를 행동 공간 및 내생적 상태 공간으로부터 분리함을 보여준다. 우리는 재고 관리 및 자원 할당에 대한 실험을 통해 이러한 통찰을 검증한다.

arXiv:2610.01781v1cs.AI

MEC가 없는 마르코프 결정 과정(MDP)에서의 도달 가능성을 위한 Q-러닝

Q-Learning for Reachability in MEC-Free MDPs

도달 가능성(reachability) 명세를 위한 강화학습(RL)은 순차적 의사결정에서 기본이 되는 문제입니다. 기존 연구에서는 최적 정책으로의 점근적 수렴(asymptotic convergence)을 규명했으나, 이는 기저 마르코프 결정 과정(MDP)의 전이 확률을 명시적으로 추정해야만 하는 모델 기반(model-based) 방식을 통해서만 가능했습니다. 본 논문에서는 표준적인 MEC 몫(quotient) 연산을 통해 모든 MDP가 환원될 수 있는 기본 구성 요소인, 비종단 최대 끝 컴포넌트(non-terminal maximal end components, MEC)가 없는 MDP 단편에서 도달 가능성에 대한 점근적 보장을 제공하는 최초의 모델 프리(model-free) 알고리즘인 Quasar를 제시합니다. 본 알고리즘은 고전적인 Q-러닝 접근법을 따라 시간차(temporal-difference) 업데이트를 활용하여 전이 확률을 전혀 학습하지 않고도 최적 정책으로 수렴합니다. 이를 통해 도출된 학습기는 메모리 사용량을 모델 기반 방식에 필요한 O(|S|^2|A|)에서 O(|S||A|)로 줄입니다. 표준화된 정량 검증 벤치마크 세트(Quantitative Verification Benchmark Set)에서 본 알고리즘은 기존의 최신 모델 기반 기법(SOTA)보다 수 자릿수(orders of magnitude) 적은 샘플만으로 최적 정책에 수렴합니다. 이러한 결과는 도달 가능성 학습의 실질적인 적용과 더불어 명세 유도형 강화학습(specification-guided RL)의 실용적 배치를 향한 구체적인 진전을 이룹니다.

arXiv:2609.13676v2cs.AI

윈도우 기반 A-K-MDP

Windowed A-K-MDP

마르코프 결정 과정(MDP)은 생물다양성 보존 분야에서 의사결정을 지원하는 데 사용되지만, 작은 상태 공간(state space)에서조차 정책은 보존 관리자가 해석하기 어려울 수 있습니다. K-MDP 방법은 최대 K개의 추상화된 상태(abstract state)를 갖는 더 단순한 MDP를 구축하여 이 문제를 해결합니다. 본 논문에서는 이진 탐색을 사용해 이산화 제수(discretisation divisor)를 선택하는 데 의존했던 기존에 제안된 A-K-MDP 알고리즘이 더 우수한 추상 상태를 건너뛸 수 있음을 보여줍니다. 이 문제를 해결하기 위해, 지정된 제수 윈도우 내에서 유도되는 모든 구별 가능한 실행 가능한 분할을 생성하고 이상적인 가치 손실(J = 0)에 도달하거나 후보군을 모두 소진할 때까지 후보들을 평가하는 알고리즘인 Windowed A-K-MDP를 제안합니다. 33개의 K-MDP 인스턴스에 걸쳐 Windowed 방식은 25개에서 성능을 개선했고 8개에서는 동일한 결과를 보였습니다.

arXiv:2604.06039v2math.OC

강화학습을 위한 가치 미러 하강법

Value Mirror Descent for Reinforcement Learning

강화학습(RL)에서 준최적(nearly optimal) 가치 함수를 계산하기 위한 가치 반복(value iteration) 형태의 방법들은 광범위하게 연구되어 왔다. 생성 모델(generative model) 샘플링 환경에서 이러한 방법들은 특히 할인율(discount factor)에 대한 의존도 측면에서 정책 최적화(policy optimization) 접근법보다 더 우수한 샘플 복잡도(sample complexity)를 달성할 수 있다. 실제로는 오프라인 학습(offline training)에 주로 사용된다. 본 논문에서는 상태 공간 S, 행동 공간 A, 할인율 $\gamma\in(0,1)$ 및 $[0,1]$ 범위의 비용을 갖는 할인된 마르코프 결정 과정(discounted Markov decision process)을 고려한다. 우리는 볼록 최적화(convex optimization)의 미러 하강법(mirror descent)을 고전적인 가치 반복 프레임워크에 통합한 새로운 가치 최적화 방법인 가치 미러 하강법(value mirror descent, VMD)을 도입한다. 전이 커널(transition kernel)을 알고 있는 결정론적 환경에서 VMD가 선형 수렴함을 보인다. 생성 모델을 갖는 확률적 환경을 위해, 확률적 가치 반복 형태의 방법에서 흔히 사용되는 분산 감소(variance reduction) 기법을 통합한 확률적 변형인 SVMD를 개발한다. 일반적인 볼록 정규화 항을 갖는 강화학습 문제에 대해, SVMD는 $\tilde{O}(|S||A|(1-\gamma)^{-3}\epsilon^{-2})$의 최적에 가까운 샘플 복잡도를 달성한다. 나아가, 모델 오지정(model misspecification)이 존재하는 경우에도 생성된 정책과 최적 정책 사이의 브레그만 다이버전스(Bregman divergence)가 반복(iteration) 전반에 걸쳐 유계(bounded)로 유지됨을 규명한다. 이 특성은 기존의 확률적 가치 반복 형태의 방법들에는 없지만, 오프라인 학습 이후 효과적인 온라인(지속) 학습(online/continual learning)을 가능하게 하는 데 중요하다. 강볼록(strongly convex) 정규화 항 하에서 SVMD는 $\tilde{O}(|S||A|(1-\gamma)^{-5}\epsilon^{-1})$의 샘플 복잡도를 달성하여 고정밀 영역에서의 성능을 향상시킨다. 또한, 생성된 정책이 최적 정책으로 수렴함을 증명한다. 종합적으로 제안된 방법과 그 분석, 그리고 이에 따른 이론적 보장은 강화학습 및 최적화 분야 문헌에 새로운 기여를 제시한다.

arXiv:2607.22982v1cs.LG

Finite-Time Analysis of the Natural Policy Gradient in Finite-Horizon Markov Decision Processes

자연 정책 그래디언트(NPG)는 신뢰 영역 정책 최적화(Trust Region Policy Optimization) 및 근위 정책 최적화(Proximal Policy Optimization)와 같이 널리 사용되는 방법의 기반이 되는, 잘 정립된 강화학습 알고리즘이며, 이들 방법 모두 강력한 실증적 성공을 보여주었다. 본 논문에서는 동역학이 알려져 있고 수평선 의존적 전이 커널(horizon-dependent transition kernels)을 갖는 유한 수평선 마르코프 결정 과정(Markov Decision Processes)에서 정확한 NPG를 연구한다. 이 설정에서 해당 알고리즘에 대한 최초의 유한 시간 수렴 보장을 제공하며, 상수 및 증가하는 학습률(step size) 체제를 모두 고려한다. 상수 학습률 $η_t=η$에 대해, NPG가 $t$회 반복 후 $\mathcal{O}(H^{2}/t)$의 속도로 아선형(sublinear) 수렴함을 증명한다. 여기서 $H$는 수평선 길이이다. 또한 이 상수 학습률 분석을 전체 지지(full support) 투영 분포 하의 정확한 모집단 투영 오라클(population-projection oracle)에서의 선형 MDP로 확장하여, 테이블(tabular) 설정과 동일한 아선형 속도를 재현한다. 더 나아가 증가하는 학습률에 대해서는, 이 알고리즘이 문제 의존 상수 $\vartheta_ρ> 1$에 대해 $\mathcal{O}\left(\left(1-\frac{1}{\vartheta_ρ}\right)^t\right)$의 선형 수렴 속도를 달성함을 증명하며, $η_0>0$ 및 $H \geq 2$인 형태 $η_t=η_0(H/(H-1))^t$의 수평선만 의존하는(horizon-only) 강건 스케줄(robust schedule)이 동일한 기하(geometric) 속도를 달성한다.

arXiv:2607.15080v1cs.LG

장기 시간 범위 마르코프 결정 과정에서 공변량 균형 평가

Evaluating covariate balance for long time horizon Markov decision processes

본 글은 최적 치료 권고를 도출하기 위해 오프라인 강화학습(RL)을 적용한 연구에서 숨겨진 교란(hidden confounding) 및 모델 오명(model miss-specification) 존재 여부를 탐지하기 위해 공변량 균형 진단의 적용을 살펴본다. 결과는 치료 권고를 위한 기존 오프라인 강화학습 연구에 바이어스 위험이 높거나, 기존 공변량 균형 지표가 이러한 연구를 평가하기에 충분하지 않음을 보여준다. 어느 경우든, 기존 오프라인 강화학습 연구는 통계적으로 견고하다고 결론 내릴 수 없다. 결론은 치료 권고 문제에 대한 보다 방법론적으로 견고한 오프라인 강화학습 적용을 얻기 위한 향후 연구 방향을 제안한다.

arXiv:2503.18607v2cs.LG

전환 비정상 마르코프 결정 과정에서의 강화학습: 알고리즘 및 수렴 분석

Reinforcement Learning in Switching Non-Stationary Markov Decision Processes: Algorithms and Convergence Analysis

우리는 전환 비정상 마르코프 결정 과정(SNS-MDP) 프레임워크를 제안한다. 이 프레임워크에서 환경은 잠재 마르코프 사슬에 의해 지배되는 유한 개의 MDP 집합 사이를 전환하며, 에이전트는 외부 상태만을 관측한다. 이러한 전환의 장기적 효과가 은닉 마르코프 사슬의 정상 분포로 매개변수화된 정상 동역학과 등가임을 보인다. 고정된 정책에 대해 SNS 가치 함수의 닫힌 형 표현을 유도하고, 지속적인 비정상성에도 불구하고 표준 시간차(temporal-difference, TD) 학습이 이에 거의 확실하게 수렴함을 증명한다. 또한 정책 반복(policy iteration)이 등가 평균 환경의 최적 정책에 수렴함을 확립하고, 표 형식(tabular) Q-학습이 최적 Q-함수에 거의 확실하게 수렴함을 증명한다. 이 프레임워크는 마르코프적 채널 잡음을 갖는 무선 통신 네트워크에서 검증되며, 급격히 시간에 따라 변하는 시스템에서의 의사결정을 위한 실용적 효과를 보여준다.

arXiv:2607.10201v1eess.SY

선진 경제와 신흥 경제에서의 사회적으로 공정한 재생에너지 예산 배분 MDP 정책 비교

Comparing Socially-Equitable Renewable Energy Budget Allocation MDP Policies in Mature and Emerging Economies

공정한 재생에너지 계획은 순차적 의사결정 문제이지만, 공공 계획자가 활용할 수 있는 의사결정 변수는 선진 경제와 신흥 경제 간에 크게 다르다. 선진 경제에서는 정부가 주로 발전 설비를 직접 구축하는 반면, 신흥 경제에서는 인센티브와 할당제를 통해 민간 투자를 유도한다. 우리는 사회적으로 공정한 재생에너지 예산 배분을 마르코프 결정 과정(MDP)으로 정식화하고, 문제에 종속되지 않는 단일 솔버 인터페이스를 사용하여 두 환경, 즉 미국 8개 도시(선진 경제)와 인도네시아 서자바(신흥 경제)에서 동일한 정책들을 비교한다. 결과에 따르면, 두 환경 모두에서 후퇴 지평선 가치 반복(receding-horizon value-iteration) 정책이 우세하다. 미국에서는 재생에너지 보급률 66%를 달성하는 동시에 서비스 부족 저소득 인구를 무작위 기준선 대비 96% 감소시킨다. 서자바에서는 저접근성 격차를 해소하면서 가장 많은 민간 자본을 유입시킨다. 더 흥미롭게도, 미국에서는 약간 준최적(sub-optimal)에 불과한 단순한 시장 추구 휴리스틱(market-chasing heuristic)이 인도네시아에서는 모든 저접근성 지역을 소외시켜 파국적인 결과를 초래할 수 있는데, 이는 계획자가 민간 개발자를 통해 행동할 때 매력적인 시장을 추구하는 목표와 소외 계층에 서비스를 제공하는 목표가 괴리되기 때문이다.

arXiv:2607.06935v1math.OC

강화학습의 수학적 방법론

Mathematical methods of reinforcement learning

강화학습(RL)은 확률론, 최적화, 작용소 이론의 도구들에 점점 더 깊이 기반을 두고 있다. 이 서베이는 현대 강화학습 알고리즘의 설계와 분석을 뒷받침하는 수학적 구조를 체계적으로 정리한다. 마르코프 결정 과정(MDP)과 벨만 작용소(Bellman operator)에서 출발하여, 수렴 보장과 수렴 속도를 이끌어 내는 수축 사상(contraction mapping), 단조성(monotonicity), 고정점 이론을 가치 반복(value iteration), 정책 반복(policy iteration), 시간차(temporal-difference) 방식에 걸쳐 강조한다. 이어서 최적화 관점을 전개하는데, 확률적 근사(stochastic approximation)와 마팅게일(martingale) 방법, 볼록 쌍대성(convex duality), 그리고 미러/근위(mirror/proximal) 방법과 정규화의 연결 관계를 다룬다. 함수 근사(function approximation)는 선형 및 비선형 설정 모두를 다루며, 안정화(stabilization), 오차 분해(error decomposition), 그리고 종속 데이터 및 혼합 과정에 대한 집중 부등식(concentration inequality)을 통한 샘플 복잡도(sample complexity)를 포함한다. 나아가 오프-정책 평가/학습, 제약 강화학습과 제약 MDP(CMDP)를 다룬다. 전반에 걸쳐 공통된 작용소 및 변분적 관점 하에 알고리즘 템플릿을 통합하고, 유한 샘플 경계와 점근적 결과를 함께 조명한다. 이 논문은 강화학습에 관심 있는 확률론, 최적화, 통계학 연구자들에게 통합된 수학적 진입점을 제공하고자 한다.

arXiv:2607.08340v1cs.LG

Dueling Q-Learning의 스펙트럼 분석

Spectral Analysis of Dueling Q-Learning

Dueling Q-learning의 Q-함수를 행동-공통(action-common) 및 행동-차별(action-differential) 성분으로 분해하는 중심화된(centered) 표 형식(tabular) 표현을 분석하여, 비정규화·비사영(unregularized, unprojected) 상수 스텝 크기 재귀식에 대해 전환 선형 시스템(switching linear system) 및 결합 스펙트럼 반경(joint spectral radius, JSR)을 활용한 수렴 보장을 도출한다. 결정론적 버전에 대한 정확한 SLS 표현과 확률론적 버전에 대한 유한 시간 오차 한계를 제시함으로써, 가치 업데이트와 이점 업데이트가 두 부분공간에 서로 다른 이득(gain)으로 작용하는 메커니즘을 이론적으로 규명한다.

arXiv:2511.06229v3cs.LG

신용 할당을 고려한 미시적 교통 시뮬레이션의 동적 기종점 행렬 추정을 위한 심층 강화학습

Deep Reinforcement Learning for Dynamic Origin-Destination Matrix Estimation in Microscopic Traffic Simulations Considering Credit Assignment

미시적 교통 시뮬레이션의 동적 기종점 행렬 추정(DODE) 문제를 마르코프 결정 과정(MDP)으로 재정의하고, 신용 할당(credit assignment) 문제를 해결하기 위해 다중 이진 행동 공간을 가진 PPO 기반 심층 강화학습(DRL) 프레임워크를 제안한다. Nguyen-Dupuis 네트워크 실험과 Santa Clara·San Jose 실제 고속도로 네트워크 사례 연구에서 기존 최강 기준선 대비 링크 교통량 MSE를 각각 23.7%, 59.2~88.3% 감소시켰다.

arXiv:2602.03778v2cs.LG

Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity

Tail-end risk measures such as static conditional value-at-risk (CVaR) are used in safety-critical applications to prevent rare, yet catastrophic events. Unlike risk-neutral objectives, the static CVaR of the return depends on entire trajectories without admitting a recursive Bellman decomposition in the underlying Markov decision process. A classical resolution relies on state augmentation with a continuous variable. However, unless restricted to a specialized class of admissible value functions, this formulation induces sparse rewards and degenerate fixed points. In this work, we propose a novel formulation of the static CVaR objective based on augmentation. Our alternative approach leads to a Bellman operator with: (1) dense per-step rewards; (2) contracting properties on the full space of bounded value functions. Building on this theoretical foundation, we develop risk-averse value iteration and model-free Q-learning algorithms that rely on discretized augmented states. We further provide convergence guarantees and approximation error bounds due to discretization. Empirical results demonstrate that our algorithms successfully learn CVaR-sensitive policies and achieve effective performance-safety trade-offs.

arXiv:2606.29681v1cs.AI

Sample-Efficient Learning of Probabilistic Causes for Reachability in Markov Decision Processes with Probabilistic Guarantees

Probabilistic model checking for Markov decision processes (MDPs) provides quantitative guarantees, but often offers limited insight into why undesired outcomes occur. Probability-raising (PR) causality addresses this by identifying states whose visitation increases the probability of reaching designated states. Existing PR-cause identification methods, however, use MDP modifications not well-suited for learning: the gap between conditional and unconditional reachability probabilities can be hard to detect from transition samples, and construction requires reachability probabilities of the MDP, which are unavailable when transition probabilities are unknown. We study unknown MDPs and propose a learning approach with probabilistic guarantees for PR-cause identification. Our key ingredient is a restart-based MDP modification that reduces PR-cause checking to two conditional reachability queries without using reachability values of the original MDP. We prove correctness, establish sample-complexity bounds, and develop an anytime learning-and-checking algorithm based on two-sided value iteration that progressively classifies states as causal, non-causal, or undecided. Experiments on two benchmarks demonstrate reliable and fast identification of PR causes.

arXiv:2606.19092v1stat.AP

마르코프 결정 과정을 활용한 제2형 당뇨병 관리의 컨텍스트 인식 추적 관찰 간격 최적화

Context-Aware Optimization of Follow-Up Intervals for Type 2 Diabetes Care Using Markov Decision Processes

만성 질환 관리는 질병 진행 상황과 조절 상태를 추적 관찰하기 위해 정기적인 환자와 의료진 간의 상호작용에 의존합니다. 제2형 당뇨병(T2D)의 경우, 현재 가이드라인은 모든 환자에게 후속 1차 진료 방문 간의 고정된 시간 간격을 규정하고 있어, 임상적 궤적 및 환자 특성의 이질성을 간과하고 있습니다. 본 연구는 10개의 1차 진료 클리닉에 소속된 22,154명의 T2D 환자로부터 수집한 전자 건강 기록(EHR) 데이터를 활용하여 하위 집단별 추적 관찰 간격 결정을 최적화하는 컨텍스트 마르코프 결정 과정(CMDP) 모델을 제안합니다. 컨텍스트는 다음과 같은 방식으로 식별됩니다: i) 주성분 분석(PCA)을 활용하여 개인의 건강 궤적을 나타내는 변수의 차원 축소, ii) 클러스터링을 사용하여 주성분 및 추가적인 환자 수준의 특징을 기반으로 환자를 컨텍스트에 할당. 저위험 및 고위험 하위 집단을 각각 나타내는 두 가지 뚜렷한 컨텍스트가 도출되었습니다. CMDP에서 도출된 정책은 다음을 권장합니다: (i) 현재 방문에서 검사 수치가 측정되지 않은 경우 1개월 이내 추적 관찰, (ii) 검사 수치가 높거나 최근 입원한 경우 최대 3개월, (iii) 지속적인 혈당 조절이 이루어진 경우 6~12개월이나, 고위험 컨텍스트에 속한 환자에게는 더 짧은 추적 관찰 간격을 적용. 최적 정책은 벤치마크 대비 더 낮은 기대 누적 비용을 달성했습니다 (예를 들어, 높은 동반질환 컨텍스트에서는 CMDP 정책이 비용을 약 34.8% 감소시켰고, 낮은 동반질환 컨텍스트에서는 약 6.4% 감소시켰으며, 이는 미국 당뇨병 협회(ADA)와 유사한 고정 간격 추적 관찰 정책 대비 수치입니다). 이러한 연구 결과는 컨텍스트 인식 접근 방식이 적응형 추적 관찰 전략 수립에 어떻게 기여할 수 있는지를 보여주며, 기계 학습과 확률적 결정 모델을 통합하여 1차 진료에서의 만성 질환 관리를 발전시킬 잠재력을 가지고 있습니다.

arXiv:2606.17377v1cs.LG

다중 시간척도 학습을 통한 성능 주도 환경 추상화

Performance-Driven Environment Abstraction with Multi-Timescale Learning

우리는 대규모 마르코프 결정 과정(MDP)에서의 의사결정을 위한 성능 주도 환경 추상화를 연구합니다. 기하학적 또는 위상적 구조를 보존하는 대신, 우리는 의사결정 품질을 직접 최적화하는 추상화를 추구합니다. 우리는 추상화를 상태 공간을 집계하고 각 집계된 상태 내에서 공유된 행동 분포를 강제하여 얻는 제어된 근사로 모델링합니다. 고정된 분할에 대해, 우리는 가치 함수 근사 오차를 행동 공유로 인해 도입된 손실과 분리하는 성능 보장을 확립합니다. 이 분석을 바탕으로, 우리는 정책과 트리 구조 환경 추상화를 공동으로 적응시키는 다중 시간척도 강화학습 프레임워크를 개발합니다. 결과 알고리즘은 Q-값 불일치를 기반으로 상태 공간의 영역을 정제하고 축소하여, 추상화 크기 및 복잡성에 대해 성능의 균형을 맞춥니다. 실험 결과는 액터-크리틱(actor-critic) 기준선과 비교하여 상당한 상태 압축, 개선된 샘플 효율성, 그리고 더 빠른 재계획을 보여줍니다.