공통 노이즈의 바서슈타인 불확실성 하의 평균장 제어를 위한 강건한 $Q$-학습
Robust $Q$-learning for mean-field control under Wasserstein uncertainty in common noise
본 논문에서는 공통 노이즈 법칙의 바서슈타인 불확실성 하의 이산 시간 평균장 제어 문제를 위한 강건한 $Q$-학습 알고리즘을 제시합니다. 이 알고리즘은 양자화 및 투영 기법을 공통 노이즈 공간에서의 바서슈타인 쌍대 재정식화와 결합합니다. 우리는 동기식 및 비동기식 학습 방식 모두에 대해 수렴성과 유한 시간 반복 경계를 확립합니다. 시스템 리스크 및 전염병 모델에 대한 수치 실험은 비동기식 구현을 이상적인 벨만 반복과 비교하고, 공통 노이즈 오지정 하에서의 강건성-성능 트레이드오프를 보여주며, 비동기식 $Q$-학습 알고리즘의 관찰된 수렴 거동을 보고합니다.