확산 과정의 확률적 제어를 위한 적응적 분할 및 학습
Adaptive Partitioning and Learning for Stochastic Control of Diffusion Processes
한국어 초록
우리는 무한 연속 상태 공간, 유계 연속 행동, 다항식적으로 증가하는 보상을 갖는 제어된 확산 과정에 대한 강화학습을 연구한다. 이러한 설정은 금융, 경제학, 운영연구에서 자연스럽게 등장한다. 연속적·고차원 영역의 난제를 극복하기 위해, 상태-행동 공간을 적응적으로 분할하는 모델 기반 알고리즘을 제안한다. 알고리즘은 각 분할 안에서 표류(drift), 변동성(volatility), 보상에 대한 추정량을 유지하며, 추정 바이어스가 통계적 신뢰 구간을 넘을 때마다 이산화를 정교화한다. 이 적응적 방식은 탐험과 근사를 균형 있게 하여 무한 영역에서 효율적인 학습을 가능하게 한다. 우리 분석은 문제 수평(horizon), 상태 차원, 보상 증가 차수, 그리고 무한 확산 과정에 맞춘 새로 정의한 줌링 차원(zooming dimension) 개념에 의존하는 regret 상한을 제시한다. 이 상한은 유계 설정에서의 기존 결과를 특수 경우로 되찾으며, 더 넓은 클래스의 확산형 문제로 이론적 보장을 확장한다. 마지막으로 다자산 평균-분산(mean-variance) 포트폴리오 선택과 같은 고차원 문제 적용을 포함한 수치 실험으로 접근법의 효과를 검증한다.
원문 초록
We study reinforcement learning for controlled diffusion processes with unbounded continuous state spaces, bounded continuous actions, and polynomially growing rewards: settings that arise naturally in finance, economics, and operations research. To overcome the challenges of continuous and high-dimensional domains, we introduce a model-based algorithm that adaptively partitions the joint state-action space. The algorithm maintains estimators of drift, volatility, and rewards within each partition, refining the discretization whenever estimation bias exceeds statistical confidence. This adaptive scheme balances exploration and approximation, enabling efficient learning in unbounded domains. Our analysis establishes regret bounds that depend on the problem horizon, state dimension, reward growth order, and a newly defined notion of zooming dimension tailored to unbounded diffusion processes. The bounds recover existing results for bounded settings as a special case, while extending theoretical guarantees to a broader class of diffusion-type problems. Finally, we validate the effectiveness of our approach through numerical experiments, including applications to high-dimensional problems such as multi-asset mean-variance portfolio selection.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2512.14991v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.