PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.06935v1math.OC

강화학습의 수학적 방법론

Mathematical methods of reinforcement learning

강화학습(RL)은 확률론, 최적화, 작용소 이론의 도구들에 점점 더 깊이 기반을 두고 있다. 이 서베이는 현대 강화학습 알고리즘의 설계와 분석을 뒷받침하는 수학적 구조를 체계적으로 정리한다. 마르코프 결정 과정(MDP)과 벨만 작용소(Bellman operator)에서 출발하여, 수렴 보장과 수렴 속도를 이끌어 내는 수축 사상(contraction mapping), 단조성(monotonicity), 고정점 이론을 가치 반복(value iteration), 정책 반복(policy iteration), 시간차(temporal-difference) 방식에 걸쳐 강조한다. 이어서 최적화 관점을 전개하는데, 확률적 근사(stochastic approximation)와 마팅게일(martingale) 방법, 볼록 쌍대성(convex duality), 그리고 미러/근위(mirror/proximal) 방법과 정규화의 연결 관계를 다룬다. 함수 근사(function approximation)는 선형 및 비선형 설정 모두를 다루며, 안정화(stabilization), 오차 분해(error decomposition), 그리고 종속 데이터 및 혼합 과정에 대한 집중 부등식(concentration inequality)을 통한 샘플 복잡도(sample complexity)를 포함한다. 나아가 오프-정책 평가/학습, 제약 강화학습과 제약 MDP(CMDP)를 다룬다. 전반에 걸쳐 공통된 작용소 및 변분적 관점 하에 알고리즘 템플릿을 통합하고, 유한 샘플 경계와 점근적 결과를 함께 조명한다. 이 논문은 강화학습에 관심 있는 확률론, 최적화, 통계학 연구자들에게 통합된 수학적 진입점을 제공하고자 한다.

arXiv:2606.26333v1cs.LG

Mesh-RL: 결합된 서브그리드 강화학습

Mesh-RL: Coupled subgrid reinforcement learning

희소 보상 환경에서 시간차(TD) 학습의 가치 정보가 국소적으로만 전파되어 장거리 크레딧 할당이 느린 문제를, 유한 요소법·영역 분해에서 영감을 받아 환경을 중첩 서브그리드로 나누고 경계 일관성 TD 업데이트로 전역 가치 전파를 보장하는 Mesh-RL로 해결한다. 위험 밀집 격자 세계에서 Q-learning, SARSA, Dyna-Q 모두 수렴 속도·누적 보상·학습 안정성이 개선되었고, 메시 해상도를 높이면 탐험이 유지되며 원거리 상태로의 가치 전파가 더 빨라진다.

arXiv:2606.18183v1stat.ML

마르코프 노이즈 하에서 선형 특징을 갖는 시간차 학습을 위한 확산 근사

A Diffusion Approximation for Temporal-Difference Learning with Linear Features under Markovian Noise

선형 함수 근사를 사용한 시간차(TD) 학습은 정책 평가의 핵심 방법입니다. 이에 대한 고전적인 연속 시간 기술은 상미분 방정식(ODE)으로, 점근적 평균 역학은 포착하지만 오차 바닥을 결정하는 확률적 변동은 무시합니다. 우리는 마르코프 노이즈 하에서 선형 TD(0)에 대한 확률 미분 방정식(SDE) 근사를 소개합니다. 결과 모델은 사영된 벨만 연산자에 의해 지배되는 수축 역학을 마르코프 샘플링의 영향과 구별합니다. 그 결과, 이 모델은 마르코프 장기 공분산과 사영된 벨만 연산자의 수축 기하학 사이의 상호작용을 통해 고정 스텝 사이즈 오차 바닥을 설명합니다.