PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22579v1cs.LG

모델 불일치 하의 정상 강건 평균장 게임

Stationary Robust Mean-Field Games under Model Mismatches

다중 에이전트 강화학습(MARL)을 실세계에 배포하는 것은 종종 학습 시뮬레이터와 실제 환경 간의 모델 불일치로 인해 제한되며, 이러한 불일치는 전략적 상호작용을 통해 더욱 증폭될 수 있어 배포 시 심각한 성능 저하를 초래할 수 있다. 분포적 강건성(distributional robustness)은 불확실성 집합에서 추출된 최악의 경우 전이 모델에 대해 정책을 최적화함으로써 원칙적인 대응을 제공하지만, 표준 강건 MARL 프레임워크는 에이전트 수가 증가할수록 점점 더 다루기 어려워진다. 본 논문은 분포적 모델 불확실성을 인구 결합(population-coupled) 동역학에 직접 통합하는 무한 수평선(infinite-horizon) 정상 평균장(mean-field) 게임 프레임워크를 개발한다. 우리는 수축적(contractive) 벨만 연산자를 갖는 강건 동적 계획법(dynamic programming) 원리를 수립하고, 고정점 논증을 통해 정상 강건 평균장 균형의 존재성을 증명한다. 또한 수렴 보장을 갖는 최초의 구체적 알고리즘을 개발한다. 이어서 평균장 해를 경험적 분포에 의존하는 모호성 집합(ambiguity set)을 갖는 유한 인구 강건 게임과 연결하고, 평균장 균형 정책이 인구 크기가 증가함에 따라 근사 균형 행동을 유도함을 보인다. 수축적 강건-동역학 체제 하에서, 우리는 더 나아가 명시적 비점근적(non-asymptotic) 오차 한계를 얻는다. 수치 실험은 또한 다양한 불확실성 모델에서 강건성의 정성적·정량적 영향을 보여주며 우리의 이론적 결과를 검증한다.