Fitting Large Nonlinear Mixed Effects Models Using Variational Expectation Maximization
비선형 혼합효과(Nonlinear Mixed Effects, NLME) 모델은 계층적·종단 데이터를 분석하기 위해 약동학(pharmacometrics) 및 관련 분야에서 널리 쓰인다. 그러나 매개변수와 랜덤 효과(random effects) 수가 늘면, 주변 가능도(marginal likelihood)를 최대화하는 전통적 방법은 계산 비용이 커진다. 본 논문은 NLME 모델 적합을 위한 확장 가능한 대안인 변분 기대 최대화(Variational Expectation Maximization, VEM) 알고리즘을 다룬다. VEM은 확률 그래프 모델(probabilistic graphical models) 맥락에서 처음 도입되었고 이후 변분 오토인코더(variational autoencoders)를 통해 널리 알려졌으나, NLME 모델링에는 광범위하게 적용되지 않았다. 유연한 변분군(variational families)과 역전파 자동 미분(reverse-mode automatic differentiation)을 활용하면 VEM은 주변 가능도를 효율적으로 최대화할 수 있으며, 15,000개 이상의 모집단(population) 매개변수를 갖는 NLME 모델까지 확장 가능하다. 본 연구는 VEM을 상세히 기술하고 다른 NLME 적합 알고리즘과 비교하며, 계산 실험을 통해 확장성을 보인다. Pumas 통계 소프트웨어로 두 가지 시험 모델을 적합했다: 1) 표준 warfarin 모델, 2) 불필요하게 과매개변수화된 DeepNLME Friberg 모델(모집단 매개변수 15,410개, 랜덤 효과 16개). warfarin 모델은 VEM의 정확성을 보이기 위해 끝까지 적합했고, DeepNLME Friberg 모델은 장난감(toy)이지만 대규모인 모델에서 VEM의 확장성을 보여준다. VEM은 실용적인 반복당 비용으로 수백 번의 반복에 걸쳐 로그 가능도(log likelihood)를 꾸준히 개선하는 반면, FOCE는 하루 안에 한 번의 반복도 완료하지 못했다. 해당 모델은 작은 데이터셋에 대해 의도적으로 과매개변수화되어 과적합(over-fits)하므로, 이 실험이 확립하는 것은 VEM이 이 규모의 모델 목적 함수를 실용적 비용으로 최적화한다는 점이다. 진정으로 유용한 대규모 모델에 VEM을 적용하는 것은 향후 연구로 남긴다.