다루기 어려운 정규화 상수를 갖는 완전 관측 및 부분 관측 지수족 그래프 모델에서의 가능도 기반 추론
Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants
기저의 마르코프 랜덤 필드(Markov random field)를 인코딩하는 확률적 그래프 모델(probabilistic graphical model)은 복잡한 의존 구조를 가진 현대의 다변량 데이터셋에서 잠재 표현(latent representation)을 학습하는 생성 모델링(generative modeling)의 근본적인 구성 요소이다. 이 중 지수족 그래프 모델(exponential family graphical model)은 통계적 성질이 비교적 잘 알려져 있고, 유사 가능도(pseudo-likelihood) 방법에 기반하여 고차원 데이터에 대한 계산 확장성을 갖추고 있어 특히 널리 사용된다. 이러한 모델은 통계 물리학의 Ising 모델과 유전체학의 카운트 그래프 모델(count graphical model) 등 여러 분야에서 성공적으로 적용되어 왔다. 또 다른 계열의 모델은 일부 노드를 잠재 변수로 두어, 관측 가능한 노드의 주변 분포가 지수족에서 벗어나 더 복잡한 의존성을 포착할 수 있도록 한다. 이러한 접근법은 볼츠만 머신(Boltzmann machine)과 그 제한된 버전(restricted Boltzmann machine)과 같은 인공지능 생성 모델의 토대를 이룬다. 완전 관측 및 부분 관측 사례 모두에서 가능도 기반(즉, 최대 가능도 및 완전 베이즈) 추론의 근본적인 장벽은 가능도를 다루기 어렵다는 점이다. 일반적인 우회책은 Besag(1974)의 선구적인 연구를 따라 유사 가능도 기반 접근법을 채택하는 것이다. 본 논문의 목표는 로그 수준의 희소성(logarithmically sparse) 설정에서 이러한 모델에 대한 완전 가능도 기반 분석이 계산적으로 효율적인 방식으로 가능함을 보이는 것이다. 핵심적인 혁신은 다루기 어려운 그래프 모델의 기저에 있는 다루기 쉬운 독립 모델(independence model)을 활용하여 정규화 상수(normalizing constant)와 그 그래디언트를 추정하는 데 있다. 광범위한 수치 실험 결과, 이를 뒷받침하는 이론, 그리고 유사 가능도 기반 접근법과의 비교를 통해 제안한 방법의 적용 가능성을 입증한다.