그래프 신경망을 활용한 상각 반사실적 예측
Amortized Counterfactual Prediction with Graph Neural Networks
한국어 초록
반사실적 추론(counterfactual inference)은 환자가 다른 치료를 받았을 때 회복했을지와 같이, 다른 상황에서 관찰된 결과가 어떻게 달라졌을지를 묻습니다. 이러한 질문은 관찰되지 않은 대안의 결과에 의사결정이 좌우될 때마다 발생합니다. 반사실적 질의에 답하려면 일반적으로 기저 인과 구조에 대한 지식이 필요하지만, 이는 실제 환경에서는 얻기 어려운 경우가 많습니다. 따라서 일반적인 접근 방식은 관찰 데이터로부터 인과 그래프를 먼저 추정한 다음 반사실적 추론을 수행하는 것입니다. 그러나 추정된 인과 그래프의 오류는 다운스트림 반사실적 예측으로 전파될 수 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 인과 그래프를 먼저 추정하지 않고 관찰 데이터로부터 직접 반사실적 질의에 답하는 엔드투엔드 접근법인 Counterfactual Graph Neural Process(CFGNP)를 소개합니다. CFGNP는 그래프 신경망(GNN)을 활용하여 교차 세계 메시지 전달(cross-world message passing)을 대응하는 사실-반사실 변수로 제한함으로써 이중 그래프 구조를 활용합니다. 합성 데이터 및 이미지 기반 벤치마크 전반에서 CFGNP는 기존 접근 방식보다 더 강력한 예측 성능을 달성하며, German Loan 벤치마크에서는 MSE를 $4.51 \times 10^{-2}$에서 $0.19 \times 10^{-2}$로 감소시킵니다. 또한 합성 인과 그래프에서 10개 노드 그래프로만 학습된 모델은 재학습 없이도 최대 30개 노드를 가진 그래프에서 강력한 예측 성능을 유지합니다.
원문 초록
Counterfactual inference asks how an observed outcome might have differed under different circumstances, such as whether a patient would have recovered had they received a different treatment. Such questions arise whenever decisions depend on the outcomes of alternatives that were not observed. Answering counterfactual queries generally requires knowledge of the underlying causal structure, which is often unavailable in practice. A common approach is therefore to first estimate the causal graph from observational data and then perform counterfactual inference. However, errors in the estimated causal graph can propagate to downstream counterfactual predictions. To address this challenge, we introduce the Counterfactual Graph Neural Process (CFGNP), an end-to-end approach that answers counterfactual queries directly from observational data without first estimating a causal graph. CFGNP uses Graph Neural Networks (GNNs) to exploit the dual-graph structure by restricting cross-world message passing to corresponding factual--counterfactual variables. Across synthetic and image-based benchmarks, CFGNP achieves stronger predictive performance than existing approaches, including on the German Loan benchmark, where it reduces MSE from $4.51 \times 10^{-2}$ to $0.19 \times 10^{-2}$. Furthermore, on synthetic causal graphs, a model trained only on 10-node graphs maintains strong predictive performance on graphs with up to 30 nodes, without retraining.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CausalGraphX: 설명 가능한 시스템적 리스크 평가를 위한 반사실적 그래프 신경망 프레임워크
CausalGraphX: A Counterfactual Graph Neural Network Framework for Explainable Systemic Risk Assessment
글로벌 금융 시스템의 상호연결성은 소수 기관의 실패가 치명적인 연쇄 디폴트를 촉발할 수 있는 시스템적 리스크에 취약하게 만든다. 전통적인 리스크 모델은 이러한 네트워크의 복잡한 비선형 역학을 포착하지 못하는 경우가 많다. 그래프 신경망(GNN)은 관계형 데이터 모델링에서 유망함을 보여 왔지만, 주로 상관적 패턴을 학습하고 블랙박스로 작동하여 충격 전파의 인과적 메커니즘에 대한 통찰을 거의 제공하지 못한다. 이 한계는 스트레스 테스트를 수행하고 효과적인 개입 방안을 마련하기 위해 설명 가능한 모델을 요구하는 규제 기관에게 중요하다. 우리는 GNN과 반사실적 추론을 통합하여 시스템적 리스크에 대한 설명 가능한 평가를 제공하는 새로운 프레임워크인 CausalGraphX를 제안한다. CausalGraphX는 그래프 어텐션 메커니즘을 사용하여 기관 취약성의 표현을 학습하고, 이러한 표현이 허위 상관관계가 아닌 인과적 요인을 포착하도록 적대적 정규화 기법을 사용한다. 또한 우리는 반사실적 설명을 생성하기 위한 최적화 기반 접근법을 제안하여, "특정 스트레스 시나리오에서 Bank A의 디폴트를 막기 위해 필요한 최소 자본 주입은 얼마였을까?"와 같은 질문에 답한다. 우리는 대규모 합성 금융 네트워크에서 CausalGraphX를 검증한다. 결과는 CausalGraphX가 희소하고 타당하며 실행 가능한 반사실적 설명을 제공하는 동시에 연쇄 디폴트 예측에서 전통적 및 심층 학습 베이스라인을 크게 능가함을 보여준다.
하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화
Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers
Optimal Expert Annotation for Evaluating Sequential Decision Policies from Text Records
PANDA: 사전 지식 기반 어텐션 이중 경로 아키텍처
PANDA: Prior-guided Attentional Dual-path Architecture
쌍별 상호작용(pairwise interaction)을 넘어 고차 관계(higher-order relation)를 모델링하기 위해 설계된 하이퍼그래프 신경망(Hypergraph Neural Network, HNN)은 일반적으로 고정된 구조적 가중치 또는 정규화된 어텐션에 의존한다. 고정 가중치는 이질적(heterophilic) 환경에서 잘못된 정보를 전파할 수 있으며, 정규화는 메시지 전달(message-passing) 프레임워크에서 하나의 송신자(sender)의 가중치를 높이면 동일한 집계 집합(aggregation set) 내 다른 송신자들의 가중치를 반드시 낮춰야 한다는 의미에서 어텐션 계수를 경쟁적으로 만든다. 본 연구의 주요 기여는 무방향 및 방향 설정 모두에 적용 가능한 2단계 메시지 전달 HNN을 위한 플러그인인 PANDA(Prior-guided AttentioNal Dual-path Architecture, 사전 지식 기반 어텐션 이중 경로 아키텍처)의 도입이다. 메인 경로(main path)는 학습된 수신자 정규화 어텐션과 구조적 인시던스(incidence) 사전 지식(prior) 사이를 보간(interpolate)하며, 비경쟁적인(정규화되지 않은) 보조 경로(auxiliary path)는 각 송신자가 자신만의 변환된 정보를 기여할 수 있도록 한다. 또한 고정된 구조적 계수를 사용할 경우, PANDA가 이전 연구들에서 채택된 특정 복소수 값 합성곱 연산자를 복원함을 보인다. 방향 및 무방향 설정에서 공간적(spatial) 및 스펙트럴(spectral) 방법을 포괄하는 네 가지 HNN에 걸쳐, PANDA를 적용하면 8개의 실세계 벤치마크 데이터셋에서 평균 5.18퍼센트포인트의 성능 향상을 얻는다. 코드는 https://github.com/jainris/panda 에서 확인할 수 있다.
메시지 패싱은 얼마나 중요한가? 신경망 그래프 회귀를 위한 GNN 층의 드롭인 연구
How Much Does Message Passing Matter? A Drop-In Study of GNN Layers for Neural Network Graph Regression
그래프 신경망(GNN)은 신경망 구조의 정확도를 예측하는 등 회귀 모델로서 널리 사용됩니다. 그러나 새로운 메시지 패싱(MP) 층들은 거의 독점적으로 분류(classification) 태스크를 중심으로 개발 및 벤치마킹되고 있으며, 회귀 파이프라인은 일반적으로 어블레이션 없이 단일 MP 층을 채택합니다. 본 연구에서는 그래프 수준의 회귀에서 MP 층의 선택이 얼마나 중요한지 묻습니다. 기존 4가지 GNN 회귀 모델의 아키텍처, 손실(loss), 학습(training) 방식을 고정한 채, 합성곱(convolutional), 동형성(isomorphism) 기반, 어텐션(attention) 기반 설계를 포괄하는 10가지 MP 구성을 대체 적용합니다. 그래프당 10개 미만에서 1,000개 이상의 노드, 수백 개에서 40만 개 이상의 샘플에 이르는 신경망 그래프의 11개 데이터셋에서 이를 평가하며, 순위 상관관계, 예측 오차, 상위 $k$개(top-$k$) 검색, 지연 시간 및 메모리를 측정합니다. MP 선택은 결과를 실질적으로 변화시키며, 최선의 선택은 그래프 크기, 학습 세트 크기 및 회귀 목표에 따라 달라짐을 발견했습니다. GEN, $k$-GNN, PNA와 같은 전통적인 층들은 더 낮은 비용으로 작은 아키텍처 그래프에서 어텐션 기반 층과 비슷하거나 뛰어난 성능을 보이는 반면, GATv2는 소수의 대형 그래프로 구성된 데이터셋에서 우수한 성능을 보입니다.
오버스쿼싱 탈출: 메시지 패싱 네트워크를 위한 주소 지정 가능하고 지지 인식형 전역 메모리
Escaping Oversquashing: Addressable and Support-Aware Global Memory for Message Passing Networks
가상 노드(virtual node)는 오버스쿼싱(oversquashing)에 대응하는 자연스러운 수단으로, 긴 메시지 패싱 경로를 2-홉(two-hop) 전역 경로로 대체한다. 그러나 많은 노드가 하나의 전역 상태를 공유할 때, 이 지름길은 그 자체로 병목이 될 수 있다. 본 연구에서는 이러한 전역 메모리의 두 가지 속성을 다룬다. 첫째, 주소 지정 가능성(addressability)이다: 상수 마진(margin) 주소 코드와 이 마진을 증폭시키는 비선형성 하에서, 곱셈적 쓰기/읽기 맵은 $O(\log M)$ 차원의 주소 코드만으로 $M$개의 선택 가능한 메모리 행을 제공한다. 크로스 어텐션(cross-attention) 슬롯과 제약된 $ELU+1$ 쌍선형(bilinear) 메모리 모두 이 조건을 만족한다. 둘째, 지지 인식(support awareness)이다: 정규화된 크로스 어텐션에는 잠재 쿼리(latent query)가 참조로 사용할 수 있는 자기 키(self-key)가 없다. 학습된 전용 앵커(private anchor)가 이 참조를 제공하여 읽기 값을 유계로 유지하고, 매칭된 소스 질량(source mass)의 강도를 드러낸다. 우리는 Two-Radius와 Tree-NeighborsMatch의 여러 인스턴스에서 이러한 속성들의 장점을 입증한다: 두 가지 주소 지정 가능한 구현 모두 깊이 $5$까지 제어된 과제들을 해결하는 반면, 비슷하거나 더 큰 크기의 풀링된 VN은 약 $10.6\%$에 도달한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.