기저의 마르코프 랜덤 필드(Markov random field)를 인코딩하는 확률적 그래프 모델(probabilistic graphical model)은 복잡한 의존 구조를 가진 현대의 다변량 데이터셋에서 잠재 표현(latent representation)을 학습하는 생성 모델링(generative modeling)의 근본적인 구성 요소이다. 이 중 지수족 그래프 모델(exponential family graphical model)은 통계적 성질이 비교적 잘 알려져 있고, 유사 가능도(pseudo-likelihood) 방법에 기반하여 고차원 데이터에 대한 계산 확장성을 갖추고 있어 특히 널리 사용된다. 이러한 모델은 통계 물리학의 Ising 모델과 유전체학의 카운트 그래프 모델(count graphical model) 등 여러 분야에서 성공적으로 적용되어 왔다. 또 다른 계열의 모델은 일부 노드를 잠재 변수로 두어, 관측 가능한 노드의 주변 분포가 지수족에서 벗어나 더 복잡한 의존성을 포착할 수 있도록 한다. 이러한 접근법은 볼츠만 머신(Boltzmann machine)과 그 제한된 버전(restricted Boltzmann machine)과 같은 인공지능 생성 모델의 토대를 이룬다. 완전 관측 및 부분 관측 사례 모두에서 가능도 기반(즉, 최대 가능도 및 완전 베이즈) 추론의 근본적인 장벽은 가능도를 다루기 어렵다는 점이다. 일반적인 우회책은 Besag(1974)의 선구적인 연구를 따라 유사 가능도 기반 접근법을 채택하는 것이다. 본 논문의 목표는 로그 수준의 희소성(logarithmically sparse) 설정에서 이러한 모델에 대한 완전 가능도 기반 분석이 계산적으로 효율적인 방식으로 가능함을 보이는 것이다. 핵심적인 혁신은 다루기 어려운 그래프 모델의 기저에 있는 다루기 쉬운 독립 모델(independence model)을 활용하여 정규화 상수(normalizing constant)와 그 그래디언트를 추정하는 데 있다. 광범위한 수치 실험 결과, 이를 뒷받침하는 이론, 그리고 유사 가능도 기반 접근법과의 비교를 통해 제안한 방법의 적용 가능성을 입증한다.
확률적 추론(inference)은 일반적으로 트리폭(treewidth)이 낮은 그래피컬 모델(graphical model)에서만 계산적으로 다룰 수 있어(tractable), 트리폭이 높은 환경에서의 실질적인 적용에 한계가 있습니다. 기존의 많은 방법은 대칭성과 같은 특정한 모수적(parametric) 구조를 활용하여 효율성을 향상시킵니다. 그러나 이러한 방법들은 대개 해당 구조가 사전에 명시적으로 존재해야 하므로, 더 넓은 범위의 그래피컬 모델에 적용하기 어렵습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 모수적 구조가 사전에 명시적으로 존재할 것을 요구하지 않고 잠재된 모수적 구조를 활용함으로써 다루기 쉬운(tractable) 추론을 제어하는 프레임워크를 제안합니다. 제안하는 접근 방식은 먼저 그래피컬 모델을 기저 텐서 네트워크(base tensor network)라고 부르는 특정 텐서(tensor) 네트워크 표현으로 재매개변수화합니다. 이 표현은 모수적 구조를 통해 추론의 다루기 쉬운 특성을 제어할 수 있게 하는 두 가지 핵심적인 성질을 제공합니다: 1) 첫째, 추론 복잡도는 주로 기저 텐서(base tensor)라는 단일 텐서의 모수적 구조에 의해 결정됩니다. 본 연구에서는 전체 기저 텐서 네트워크를 효율적으로 축약(contraction)할 수 있는 몇 가지 다루기 쉬운 기저 텐서 클래스를 규명합니다. 2) 둘째, 기저 텐서를 분해하면 다시 기저 텐서 네트워크들의 모음이 생성됩니다. 이를 통해 추론 문제를 충분한 모수적 구조를 지닌 다루기 쉬운 구성 요소들로 기저 텐서를 분해하는 문제로 자연스럽게 귀결시킬 수 있습니다. 본 연구에서는 이 절차를 모수적 텐서 분해(parametric tensor decomposition)라고 부릅니다. 기저 텐서 내의 모수적 구조를 활용함으로써, 본 프레임워크는 이러한 구조가 명시적으로 존재하는 환경을 넘어 추론에 대한 새로운 관점을 제시합니다.
본 연구는 그래프 구조와 연관된 주어진 희소성 패턴을 갖는 이론적 상관 행렬의 생성 문제를 다룬다. 양의 준정부호(positive semidefiniteness) 제약 하에서 초기 행렬을 타원체(elliptope) 위로 투영하는 새로운 볼록 최적화(optimization) 프레임워크를 제안한다. 여러 수치적 기법을 구현하고 비교한다. 이 문제는 더 넓은 행렬 완성(matrix completion) 범주에 속하며, 부재한 간선에 해당하는 비대각(off-diagonal) 원소는 0으로, 대각 원소는 1로 고정된다. 이 구조적 제약을 넘어, 본 접근법은 비대각 원소 분포의 평균을 제어할 수 있어 기존 방법보다 더 큰 유연성을 제공하며, 현실적인 데이터를 더 잘 반영하는 상관 행렬 생성을 가능하게 한다. 이 절차는 실행 가능 집합(feasible set) 위의 균일 분포를 산출하도록 설계된 것이 아니라, 그래프 모델 추론(inference)을 위한 통계적 방법의 벤치마킹(benchmark)에 적합한 상관 행렬을 구성하는 원칙적이고 조정 가능한 방법을 제공한다. 일반 설정과 추가적인 평균 제약 하에서 모두, 해의 존재에 대한 이론적 보장을 확립한다. 시뮬레이션 연구를 통해 생성된 행렬의 그래프 구조와 관련된 특성을 보여준다. 본 방법론을 신경과학과 금융 분야의 두 실제 데이터셋에 적용하고, 생성적 적대 신경망(GAN) 기반 상관 행렬 생성과의 비교를 제공한다.
인과 그래프 모델에서 검증을 형식화한다: 주어진 관측 공식이 목표 개입 분포를 식별하는지를 판정하는 문제이다. 이는 식별과 상보적인 문제를 연다. 어떤 식별 공식이 존재하는지가 아니라, 주어진 공식이 식별하는지를 묻는다. 식별에 대한 건전하고 완전한 해법이 있더라도 검증을 해결하지 못함을 보인다. 실용적 해법의 첫 단계로 falsifier를 제안하고, 이것이 정규 지수족 모델에 대해 거의 확실하게 올바른 verifier를 유도함을 증명하며, 이렇게 얻은 verifier를 사용해 gateway test를 개발한다. 이 검정은 front-door 공식에 사용 가능한 모든 집합을 찾는다.
효율적인 국소 샘플러(local sampler)를 허용하는 그래피컬 모델 하에서 상수 깊이 회로 $\mathsf{AC}^0$를 학습하는 준다항 시간(quasipolynomial-time) 알고리즘을 제시하며, 이는 선행 연구의 다항 성장(polynomial growth) 조건 없이도 임의의 유계 차수 그래프에 적용된다. 핵심 기법은 고전적 Glauber 동역학을 시뮬레이션하고 절단(truncation)하여 깁스 분포(Gibbs distribution)의 저차 근사를 구성하는 것으로, 이를 통해 각각의 샘플링 임계값에 근접하는 영역에서 하드코어 모델(hard-core model) 및 이징 모델(Ising model)에 대한 학습 보장을 달성한다.
고차원 이징 모델 추정에서는 목표 샘플 크기가 종종 제한적이며, 관련성을 알 수 없는 보조 이진 데이터셋을 효과적으로 활용하는 것은 여전히 어려운 과제이다. 이를 해결하기 위해, 우리는 손실 기반 소스 선별 규칙과 2단계 추정 절차를 결합한 전이학습 방법인 Trans-Ising을 제안한다. 본 방법은 먼저 홀드아웃 목표 의사가능도(held-out target pseudolikelihood)를 사용하여 유익한 보조 소스를 식별함으로써 부정적 전이(negative transfer)를 방지한다. 이후 풀링된 노드별 ℓ1-정규화 로지스틱 회귀를 통해 초기 추정기를 계산하고, 접힌 오목 페널티(folded-concave penalty)를 적용하는 목표 전용 보정 단계를 수행한다. 이론적으로는 고정 노드 ℓ2 및 ℓ1 오차 한계, 정확한 그래프 선택 일관성, 그리고 선별 규칙의 조건부 일관성을 확립한다. 광범위한 시뮬레이션 및 실제 데이터 분석을 통해, Trans-Ising이 목표 전용 추정과 단순 데이터 풀링 모두보다 낮은 추정 오차를 달성함을 입증한다.
우리는 최대 조상 그래프(MAG)의 마르코프 동치류를 특정 엣지 마크를 포함하는 MAG로만 제한하는 문제를 연구하며, 이를 전문가 지식 또는 방향 지식이라 부른다. 이러한 마르코프 동치류의 제한은 제한된 필수 조상 그래프(restricted essential ancestral graph)로 유일하게 표현될 수 있다. 우리의 기여는 여러 측면에 걸쳐 있다. 첫째, Ali et al. (2009)의 추측을 포함하여 전체 마르코프 동치류에 대한 특정 성질들을 증명한다. 둘째, 필수 조상 그래프에 방향 지식을 추가하기 위한 새로운 건전한 그래프 방향화 규칙들을 제시한다. 또한 Zhang (2008b)의 일부 방향화 규칙은 방향 지식으로 마르코프 동치류를 제한하는 데 필요하지 않음을 보인다. 셋째, 이 방향 지식을 포함하는 알고리즘을 제공하고, 특정 조건 하에서 알고리즘의 출력이 제한된 필수 조상 그래프임을 보인다. 마지막으로, 명시된 조건 외의 경우에 대해 그래프가 제한된 필수 그래프인지 확인하는 알고리즘을 제공하고 그 실행 시간을 논의한다. 이 연구는 잠재적 교란(latent confounding)을 허용하는 환경으로 Meek (1995)를 일반화한 것으로 볼 수 있다.