arXiv:2604.26160v2 stat.ME

Fitting Large Nonlinear Mixed Effects Models Using Variational Expectation Maximization

Mohamed Tarek, Pedro Afonso

제출 2026-09-24

한국어 초록

비선형 혼합효과(Nonlinear Mixed Effects, NLME) 모델은 계층적·종단 데이터를 분석하기 위해 약동학(pharmacometrics) 및 관련 분야에서 널리 쓰인다. 그러나 매개변수와 랜덤 효과(random effects) 수가 늘면, 주변 가능도(marginal likelihood)를 최대화하는 전통적 방법은 계산 비용이 커진다. 본 논문은 NLME 모델 적합을 위한 확장 가능한 대안인 변분 기대 최대화(Variational Expectation Maximization, VEM) 알고리즘을 다룬다. VEM은 확률 그래프 모델(probabilistic graphical models) 맥락에서 처음 도입되었고 이후 변분 오토인코더(variational autoencoders)를 통해 널리 알려졌으나, NLME 모델링에는 광범위하게 적용되지 않았다. 유연한 변분군(variational families)과 역전파 자동 미분(reverse-mode automatic differentiation)을 활용하면 VEM은 주변 가능도를 효율적으로 최대화할 수 있으며, 15,000개 이상의 모집단(population) 매개변수를 갖는 NLME 모델까지 확장 가능하다. 본 연구는 VEM을 상세히 기술하고 다른 NLME 적합 알고리즘과 비교하며, 계산 실험을 통해 확장성을 보인다. Pumas 통계 소프트웨어로 두 가지 시험 모델을 적합했다: 1) 표준 warfarin 모델, 2) 불필요하게 과매개변수화된 DeepNLME Friberg 모델(모집단 매개변수 15,410개, 랜덤 효과 16개). warfarin 모델은 VEM의 정확성을 보이기 위해 끝까지 적합했고, DeepNLME Friberg 모델은 장난감(toy)이지만 대규모인 모델에서 VEM의 확장성을 보여준다. VEM은 실용적인 반복당 비용으로 수백 번의 반복에 걸쳐 로그 가능도(log likelihood)를 꾸준히 개선하는 반면, FOCE는 하루 안에 한 번의 반복도 완료하지 못했다. 해당 모델은 작은 데이터셋에 대해 의도적으로 과매개변수화되어 과적합(over-fits)하므로, 이 실험이 확립하는 것은 VEM이 이 규모의 모델 목적 함수를 실용적 비용으로 최적화한다는 점이다. 진정으로 유용한 대규모 모델에 VEM을 적용하는 것은 향후 연구로 남긴다.

원문 초록

Nonlinear Mixed Effects (NLME) models are widely used in pharmacometrics and related fields to analyze hierarchical and longitudinal data. However, as the number of parameters and random effects increases, traditional methods for maximizing the marginal likelihood become computationally expensive. This paper explores the Variational Expectation Maximization (VEM) algorithm, a scalable alternative for fitting NLME models. Originally introduced in the context of probabilistic graphical models and later popularized through variational autoencoders, VEM has not been extensively applied to NLME modeling. By leveraging flexible variational families and reverse-mode automatic differentiation, VEM can efficiently maximize the marginal likelihood, scaling to NLME models with over 15,000 population parameters. This work provides a detailed description of VEM, compares it to other NLME fitting algorithms, and highlights its scalability through computational experiments. Using the Pumas statistical software, we fit two test models: 1) a standard warfarin model, and 2) an unnecessarily over-parameterized DeepNLME Friberg model with 15,410 population parameters and 16 random effects. The warfarin model was fitted to completion to demonstrate the correctness of VEM, while the DeepNLME Friberg model instead demonstrates VEM's scalability on a toy but large model. VEM improves the log likelihood steadily over hundreds of iterations at a practical per-iteration cost, while FOCE fails to complete even one iteration within a day. The model is deliberately over-parameterized for its small dataset and over-fits it, so what this experiment establishes is that VEM optimizes the objective of a model of this size at a practical cost. Applying VEM to large models that are genuinely useful is left to future work.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.26160v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.