PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2404.17763v3stat.ME공식 코드 · Papers with Code

다루기 어려운 정규화 상수를 갖는 완전 관측 및 부분 관측 지수족 그래프 모델에서의 가능도 기반 추론

Likelihood Based Inference in Fully and Partially Observed Exponential Family Graphical Models with Intractable Normalizing Constants

기저의 마르코프 랜덤 필드(Markov random field)를 인코딩하는 확률적 그래프 모델(probabilistic graphical model)은 복잡한 의존 구조를 가진 현대의 다변량 데이터셋에서 잠재 표현(latent representation)을 학습하는 생성 모델링(generative modeling)의 근본적인 구성 요소이다. 이 중 지수족 그래프 모델(exponential family graphical model)은 통계적 성질이 비교적 잘 알려져 있고, 유사 가능도(pseudo-likelihood) 방법에 기반하여 고차원 데이터에 대한 계산 확장성을 갖추고 있어 특히 널리 사용된다. 이러한 모델은 통계 물리학의 Ising 모델과 유전체학의 카운트 그래프 모델(count graphical model) 등 여러 분야에서 성공적으로 적용되어 왔다. 또 다른 계열의 모델은 일부 노드를 잠재 변수로 두어, 관측 가능한 노드의 주변 분포가 지수족에서 벗어나 더 복잡한 의존성을 포착할 수 있도록 한다. 이러한 접근법은 볼츠만 머신(Boltzmann machine)과 그 제한된 버전(restricted Boltzmann machine)과 같은 인공지능 생성 모델의 토대를 이룬다. 완전 관측 및 부분 관측 사례 모두에서 가능도 기반(즉, 최대 가능도 및 완전 베이즈) 추론의 근본적인 장벽은 가능도를 다루기 어렵다는 점이다. 일반적인 우회책은 Besag(1974)의 선구적인 연구를 따라 유사 가능도 기반 접근법을 채택하는 것이다. 본 논문의 목표는 로그 수준의 희소성(logarithmically sparse) 설정에서 이러한 모델에 대한 완전 가능도 기반 분석이 계산적으로 효율적인 방식으로 가능함을 보이는 것이다. 핵심적인 혁신은 다루기 어려운 그래프 모델의 기저에 있는 다루기 쉬운 독립 모델(independence model)을 활용하여 정규화 상수(normalizing constant)와 그 그래디언트를 추정하는 데 있다. 광범위한 수치 실험 결과, 이를 뒷받침하는 이론, 그리고 유사 가능도 기반 접근법과의 비교를 통해 제안한 방법의 적용 가능성을 입증한다.

arXiv:2401.05330v3stat.ME공식 코드 · Papers with Code

Hierarchical Causal Models

Causal questions often arise in settings where data are hierarchical: subunits are nested within units. Consider students in schools, cells in patients, or cities in states. In these settings, unit-level variables (e.g., a school's budget) may affect subunit-level outcomes (e.g., student test scores), and subunit-level characteristics may aggregate to influence unit-level outcomes. In this paper, we show how to analyze hierarchical data for causal inference. We introduce hierarchical causal models, which extend structural causal models and graphical models by incorporating inner plates to represent nested data structures. We develop a graphical identification technique for these models that generalizes do-calculus. We show that hierarchical data can enable causal identification even when it would be impossible with non-hierarchical data--for example, when only unit-level summaries are available. We develop estimation strategies, including using hierarchical Bayesian models. We illustrate our results in simulation and through a reanalysis of the classic "eight schools" study.

arXiv:2407.07338v4stat.ML공식 코드 · Papers with Code

전문가 지식을 활용한 완전한 인과 설명을 향하여

Towards Complete Causal Explanation with Expert Knowledge

우리는 최대 조상 그래프(MAG)의 마르코프 동치류를 특정 엣지 마크를 포함하는 MAG로만 제한하는 문제를 연구하며, 이를 전문가 지식 또는 방향 지식이라 부른다. 이러한 마르코프 동치류의 제한은 제한된 필수 조상 그래프(restricted essential ancestral graph)로 유일하게 표현될 수 있다. 우리의 기여는 여러 측면에 걸쳐 있다. 첫째, Ali et al. (2009)의 추측을 포함하여 전체 마르코프 동치류에 대한 특정 성질들을 증명한다. 둘째, 필수 조상 그래프에 방향 지식을 추가하기 위한 새로운 건전한 그래프 방향화 규칙들을 제시한다. 또한 Zhang (2008b)의 일부 방향화 규칙은 방향 지식으로 마르코프 동치류를 제한하는 데 필요하지 않음을 보인다. 셋째, 이 방향 지식을 포함하는 알고리즘을 제공하고, 특정 조건 하에서 알고리즘의 출력이 제한된 필수 조상 그래프임을 보인다. 마지막으로, 명시된 조건 외의 경우에 대해 그래프가 제한된 필수 그래프인지 확인하는 알고리즘을 제공하고 그 실행 시간을 논의한다. 이 연구는 잠재적 교란(latent confounding)을 허용하는 환경으로 Meek (1995)를 일반화한 것으로 볼 수 있다.