평균장 게임(MFG)은 연속 시간 생성 모델링에 대한 통합적 관점을 제공한다. 하나의 변분 문제의 특수 사례로서 Continuous Normalizing Flows, OT-Flow, Score-based Models, Schrödinger Bridges 등 12개의 주요 모델을 환원하는 비용 튜플(cost tuple)을 통해 말이다. 그러나 이 공간의 두 차원은 전혀 탐색되지 않은 채 남아 있다. 상호작용 항 $\mathcal{I}$는 많은 기존 모델에서 0으로 설정되어 있고, 풍부한 MFG 솔버(solver) 계열은 생성 모델링에 적용된 적이 없다. 우리는 MFGLab이라는 오픈 소스 PyTorch 라이브러리로 두 공백을 모두 해소한다. 이 라이브러리의 주요 API는 비용 튜플이며, 12개 모델 모두 네 개의 조합 가능한 비용 함수로 지정되고, 학습 루프, log-야코비안, 역 ODE 샘플러는 자동으로 공유된다. 또한 모드 커버리지(mode coverage)를 장려하기 위해 미분 가능한 엔트로피 함수형(differentiable entropy functional)을 사용하는 새로운 비용 설계 DI-Flow를 제안하고, 확률적 역학(stochastic dynamics) 행에서 신경망 학습을 상당히 능가하는 학습 기반 MFG 솔버를 제공한다. 두 개의 2차원 벤치마크에서의 실험은 통합 API가 수작업 구현 대비 손실 없이 동등함을 확인한다.
플로우 기반 생성 모델의 강건성 분석을 위해 새로운 Wasserstein-1 경로 공간 발산과 Wasserstein 불확실성 전파(WUP) 정리를 도입하여, KL 기반 방법과 달리 경로 측도의 절대 연속성 없이도 스코어 기반 생성 모델 및 플로우 매칭의 일반화 경계를 통일적으로 도출한다. 나아가 군 대칭(group-symmetric) 타깃에 프레임워크를 특화하여 등변(equivariant) 아키텍처가 데이터 증강으로는 제거할 수 없는 모델 형태 오류를 원천 차단한다는 첫 정량적 이론적 근거를 제시한다.
노이즈가 있는 비선형 관측으로만 간접 관측되는 확률적 동역학 시스템(SDE)에서 계수 추정과 관측에 따른 사후 갱신을 함께 다루기 위해, pathwise Zakai equation의 score 구조를 이용한 제어 SDE 표현과 변분 추론을 결합한 상각화(amortized) 경로 생성 방법을 제안한다. 다중모드 사후, 혼돈 동역학, 희소 관측을 갖는 비선형 시스템 실험에서 학습된 조건부 경로 생성기가 필터링 주변분포와 궤적 의존 함수량의 불확실성 정량화를 가능하게 함을 보였다.
이 원고는 Wiley의 허가를 받아 게시된 것으로, 곧 출판될 Cover와 Thomas의 *Elements of Information Theory*(정보 이론의 기초) 제3판에 수록될 예정인 장의 프리프린트를 담고 있습니다. 새로운 판의 목차(EIT-3 ToC)는 다음에서 확인할 수 있습니다: https://docs.google.com/document/d/1L-m4oQEJw1PJhoxBeMwrrBD8S_HmvzMEkPbYvS24980/edit?usp=sharing . 피드백은 [email omitted] 문의해 주십시오. 학습과 정보 이론은 모델 학습과 근본적인 성능 한계의 규명에서 서로 교차합니다. 이 원고는 학부 고학년 또는 대학원 1학년 수준의 정보 이론과 통계학 기초 지식만 필요로 하며, 모델 학습 측면에 대해 간결하고 이해하기 쉽게 다룹니다. 장마다 제공되는 연습문제를 통해 이 자료는 수업용으로도 자기 주도 학습용으로도 적합합니다. 이 장은 모델 학습에서 발산(divergence) 척도의 역할에 초점을 맞추며, 선형 및 로지스틱 회귀부터 자기회귀 모델, 변분 오토인코더(VAE), 확산 모델, 생성적 적대 신경망(GAN), 그리고 점수 기반 모델에 이르는 다양한 예시를 다룹니다. 또한 증거 하한(ELBO), f-발산, 피셔 발산을 소개합니다. 특히 생성적 확산 모델을 다룰 때, 기존 문헌에서 일반적으로 제시되는 방식보다 더 체계적이고 명시적인 유도 과정을 제공합니다.
많은 데이터 기반 의사결정 문제는 과거 데이터에서 추정된 명목 분포(nominal distribution)를 사용하여 공식화되지만, 성능은 궁극적으로 변화(shift)되었거나, 문맥 의존적이거나, 부분 관측되거나, 스트레스 유발 가능성이 있는 배포 분포(deployment distribution)에 의해 결정됩니다. 이 튜토리얼은 현대 생성 모델, 특히 플로우(flow) 기반 및 스코어(score) 기반 방법을 의사결정에 관련된 분포를 구성하는 수학적 도구로 제시합니다. 운영 과학(operations research) 관점에서, 이들의 주요 가치는 무제한 샘플 합성이 아니라 전송 맵(transport map), 속도장(velocity field), 스코어장(score field), 안내된 확률적 역학을 통해 분포를 나타내고 변환하는 데 있습니다. 우리는 푸시포워드 맵(pushforward map), 연속성, 포커-플랑크 방정식(Fokker-Planck equation), 바서슈타인 기하학(Wasserstein geometry), 확률 공간 최적화에 기반한 통합 프레임워크를 제시합니다. 이 프레임워크 내에서 생성 모델은 명목 불확실성을 학습하고, 강건성(robustness)을 위해 스트레스(stress) 또는 최악의(least-favorable) 분포를 구성하며, 부가 정보와 부분 관측 하에서 조건부 또는 사후 분포를 생성하는 데 사용될 수 있습니다. 또한 반복적 플로우 모델에 대한 순방향-역방향 수렴(convergence), 전송 맵 공간에서의 1차 미니맥스 분석, 생성 사전(generative prior)을 사용한 사후 샘플링에 대한 오류 전달 경계 등 대표적인 이론적 보장을 강조합니다. 이 튜토리얼은 분포 변화 하에서 시나리오 생성, 강건 의사결정, 불확실성 정량화(uncertainty quantification) 및 관련 문제에 생성 모델을 활용하는 방법에 대한 원칙에 입각한 소개를 제공합니다.