arXiv:2504.13228 cs.LG 공식 코드 · Papers with Code

Modelling Mean-Field Games with Neural Ordinary Differential Equations

Anna C. M. Thöni, Yoram Bachrach, Tal Kachman

제출 2025-04-17

한국어 초록

평균장 게임 이론은 매우 큰 규모에서 무한한 규모에 이르는 플레이어 집단 때문에 모델링이 어려운 게임을 근사하는 데 의존합니다. 이러한 종류의 게임은 관련 편미분 방정식 시스템을 통해 해석적으로 풀 수 있지만, 이 접근법은 모델-프리(model-free)가 아니며 해의 존재성 또는 유일성 상실로 이어질 수 있고, 모델링 편향을 초래할 수 있습니다. 모델과 게임 사이의 의존성을 줄이기 위해, 우리는 신경 평균장 게임(neural mean-field games)을 제안합니다. 이는 평균장 게임 이론과 심층학습을 신경 확률 미분 방정식(neural stochastic differential equations) 형태로 결합한 것입니다. 그 결과 모델은 데이터 기반이고 경량이며, 평균장 이론만으로는 포착하기 어려운 광범위한 전략적 상호작용을 학습할 수 있습니다. 또한 이 모델은 자동 미분(automatic differentiation)에 기반하므로, 유한차분법(finite differences) 기반 접근법보다 더 강건하고 객관적입니다. 우리는 복잡성, 관측 가능성, 잡음의 존재 여부가 서로 다른 두 평균장 게임을 해결함으로써 이 접근법의 효율성과 유연성을 강조합니다. 마지막으로, 실제 데이터에 기반한 바이러스 동역학을 시뮬레이션하여 모델의 강건성을 보여줍니다. 여기서 우리는 실제 데이터로부터 학습하는 모델의 능력이 유행병 발발의 진화를 정확하게 모델링하는 데 도움이 됨을 입증합니다. 이러한 결과를 바탕으로, 우리는 이 모델이 유연하고 일반화 가능하며, 데이터의 기저 분포를 학습하는 데 필요한 관측 수가 적다는 점을 보입니다.

원문 초록

Mean-field game theory relies on approximating games that would otherwise have been intractable to model. While the games can be solved analytically via the associated system of partial derivatives, this approach is not model-free, can lead to the loss of the existence or uniqueness of solutions and may suffer from modelling bias. To reduce the dependency between the model and the game, we combine mean-field game theory with deep learning in the form of neural ordinary differential equations. The resulting model is data-driven, lightweight and can learn extensive strategic interactions that are hard to capture using mean-field theory alone. In addition, the model is based on automatic differentiation, making it more robust and objective than approaches based on finite differences. We highlight the efficiency and flexibility of our approach by solving three mean-field games that vary in their complexity, observability and the presence of noise. Using these results, we show that the model is flexible, lightweight and requires few observations to learn the distribution underlying the data.

요약

많은 수의 플레이어가 상호작용하는 동적 게임을 다루는 평균장 게임(mean-field game, MFG) 이론은 복잡한 다중 에이전트 시스템을 분석하는 강력한 틀을 제공하지만, 전통적인 해석적 접근은 편미분방정식(partial differential equation, PDE) 시스템에 지나치게 의존해 모델-프리(model-free) 학습이 어렵고, 해의 존재성이나 유일성이 약해질 수 있으며, 현실 데이터와의 괴리로 인한 모델링 편향도 피하기 어렵습니다. 이러한 한계를 완화하기 위해 제안된 신경 평균장 게임(neural mean-field games)은 MFG 이론을 신경 확률 미분방정식(neural stochastic differential equations)과 결합하여, 고정된 수학적 모형에 갇히지 않고 데이터로부터 전략적 상호작용을 직접 학습할 수 있는 프레임워크를 형성합니다. 이 접근의 핵심은 개별 플레이어의 최적 반응과 집단 분포의 진화를 동시에 고려하면서도, 이를 신경망 기반의 연속 동역학으로 표현해 계산 복잡도를 낮추는 데 있습니다. 특히 자동 미분(automatic differentiation)을 활용함으로써 유한차분법(finite differences)에 의존할 때 발생할 수 있는 수치적 불안정성과 근사 오차를 줄이고, 보다 강건하고 객관적인 최적화 과정을 구현합니다. 이 논문의 방법론은 평균장 게임의 고전적 구조를 유지하면서도, 그 안의 핵심 미지수인 가치 함수와 분포 진화를 신경망이 유연하게 근사하도록 설계되었다는 점에서 의미가 큽니다. 배경 이론에서 설명되듯이, 개별 플레이어는 러닝 코스트(running cost)와 터미널 코스트(terminal cost)를 포함한 비용을 최소화하려고 하며, 그 결과는 Nash 균형(Nash equilibrium)이라는 자기일관적 상태로 귀결됩니다. 그러나 이러한 균형은 Hamilton-Jacobi-Bellman(HJB) 방정식과 Fokker-Planck(FP) 방정식이 결합된 전방-후방 시스템을 풀어야만 얻을 수 있어, 이론적으로는 아름답지만 실제 계산과 적용에는 큰 제약이 따릅니다. 신경 평균장 게임은 바로 이 결합 구조를 데이터 중심의 학습 문제로 재해석하여, 평균장 이론의 해석 가능성과 딥러닝의 표현력을 하나의 틀 안에 통합합니다. 그 결과, 상호작용이 복잡하거나 관측이 제한적이거나 잡음이 포함된 상황에서도 학습 가능한 동적 모델로 확장될 수 있습니다. 이러한 설계는 단순히 계산 기법을 바꾸는 데 그치지 않고, MFG가 현실 세계의 집단 행동을 설명하는 방식 자체를 더 유연하게 만듭니다. 저자들은 서로 다른 난이도와 관측 조건, 잡음 수준을 갖는 두 개의 평균장 게임을 통해 이 프레임워크의 효율성과 적응성을 강조하며, 실제 바이러스 동역학 데이터에 대한 시뮬레이션으로 강건성까지 보여 줍니다. 특히 제한된 관측만으로도 데이터의 잠재 분포를 학습할 수 있다는 점은, 기존의 해석적 평균장 이론이 잘 포착하지 못하던 실제적 불확실성과 비정상성을 다루는 데 중요한 함의를 가집니다. 종합하면, 이 연구는 평균장 게임을 신경 확률 동역학과 결합해 데이터 기반으로 재구성함으로써, 이론적 엄밀성과 실용적 유연성을 동시에 추구하는 새로운 방법론적 방향을 제시합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.