Collaborative Heterogeneous Causal Inference Beyond Meta-analysis
원문 초록
Collaboration between different data centers is often challenged by heterogeneity across sites. To account for the heterogeneity, the state-of-the-art method is to re-weight the covariate distributions in each site to match the distribution of the target population. Nevertheless, this method could easily fail when a certain site couldn't cover the entire population. Moreover, it still relies on the concept of traditional meta-analysis after adjusting for the distribution shift. In this work, we propose a collaborative inverse propensity score weighting estimator for causal inference with heterogeneous data. Instead of adjusting the distribution shift separately, we use weighted propensity score models to collaboratively adjust for the distribution shift. Our method shows significant improvements over the methods based on meta-analysis when heterogeneity increases. To account for the vulnerable density estimation, we further discuss the double machine method and show the possibility of using nonparametric density estimation with d<8 and a flexible machine learning method to guarantee asymptotic normality. We propose a federated learning algorithm to collaboratively train the outcome model while preserving privacy. Using synthetic and real datasets, we demonstrate the advantages of our method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인과 추론을 위한 개입 점수 기하학
Interventional Score Geometry for Causal Inference
$X$의 결합 밀도 $p(x)$를 두고, $ψ(x)=\nabla_x\log p(x)$를 그 점수 필드(score field)라 하자. $p$와 $ψ$만으로 구성된 기하학은 인과 방향을 식별할 수 없다. 동일한 관측 분포를 갖는 구조 모델은 동일한 점수 기하학을 갖기 때문이다. 본 연구에서는 이에 대한 개입적 대응 개념을 제안한다. 하드 개입 $\operatorname{do}(X_k=ξ)$는 결합 법칙(joint law)을 단순히 재가중하는 것이 아니라, 분포를 부분 다양체 ${x_k=ξ}$로 제한한다. 따라서 그 점수는 남은 $d-1$개의 자유 좌표 위에서 정의되어야 한다. 인과 영향 $X_k\rightsquigarrow X_j$를 $ξ$에 따른 $X_j$의 개입 주변 분포(interventional marginal distribution)의 변화로 정의하고, 주변 개입 점수(marginal interventional score)의 해당 도함수가 영향에 대한 국소적 충분 조건을 제공함을 보인다. 관측 점수(observational score)를 허용 가능한 개입 방향으로 투영하는 것만으로는 일반적으로 인과 반응(causal response)을 복원할 수 없다. 두 모델이 동일한 관측 점수와 허용 집합을 공유하면서도 다르게 반응할 수 있기 때문이다. 따라서 구조적 정보에 의해 제공되는 개입 반응 필드(interventional response field)를 도입한다. 인과 측도(causal metric)는 공통 목표를 갖는 개입군(family of interventions) 위의 Fisher 정보 측도(Fisher information metric)로 정의하여, 목표 간의 부적정(ill-posed) 비교를 피한다. 이 프레임워크는 무작위 시험(randomized trials), 도구 변수(instrumental variables), 조건부 독립 설계(conditional-independence designs)에 대한 기하학적 사전(geometric dictionary)을 제공하며, 각 설계가 무엇을 식별하고 무엇을 식별하지 못하는지를 명확히 한다. 이변량 Gaussian 예시에서는 동일한 관측 점수를 갖지만 서로 다른 개입 점수 도함수를 갖는 두 모델을 제시한다. 이 프레임워크는 설계, 개입, 점수 필드 간의 관계를 체계화하지만, 기저 가정을 넘어서는 식별(identification)을 추가하지는 않는다. Pearl의 인과의 사다리(Ladder of Causation)에서 관측 점수 기하학은 연관(association)에 속하고, 개입으로 색인된 점수 필드는 개입(intervention)에 속하며, 단위 수준 반사실(counterfactual) 기하학은 향후 연구로 남겨둔다.
FedCausal-Dyn: 동적 특징 드리프트 하의 연합학습을 위한 인과-동적 패러다임
FedCausal-Dyn: A Causal-Dynamic Paradigm for Federated Learning under Dynamic Feature Drift
본 논문은 연합학습(federated learning)에서 동적 특징(feature) 드리프트(drift)라는 난제를 다룬다. 이는 데이터 분포가 클라이언트 간, 그리고 시간에 걸쳐 변화하는 현상으로, 금융 기술과 같은 실세계 응용에서 흔히 발생한다. 기존 접근법들은 정적 드리프트를 가정하는 경우가 많아 비정상(non-stationary) 환경에서의 효과가 제한적이다. 이를 극복하기 위해 우리는 인과-동적 패러다임에 기반한 새로운 연합학습 프레임워크 FedCausal-Dyn을 제안한다. 핵심 혁신은 인과-도메인 특징 분리(causal-domain feature separation)로, 전문화된 프로젝션 헤드와 적대적 학습(adversarial training)을 통해 도메인 불변 인과 특징을 허위적(spurious)이고 도메인 특화적인 변동으로부터 분리한다. 이를 통해 신뢰성 있는 동적 프로토타입 집계(reliable and dynamic prototype aggregation)가 가능해지며, 전역 집계 전에 추정된 신뢰도에 따라 로컬 클래스 프로토타입에 가중치를 부여한다. 나아가 인과-특징 기반 협력적 정규화(causal-feature guided collaborative regularization)를 도입하여 프로토타입 대조 정렬(prototype contrastive alignment)과 도메인 불변성을 하나의 통합 목적 함수로 결합한다. 세 가지 연합 도메인 일반화 벤치마크에 대한 광범위한 실험을 통해 FedCausal-Dyn이 일관되게 최고 수준의 성능을 달성하며, 가장 높은 평균 정확도와 가장 안정적인 결과를 보임을 입증한다. 절제 연구(ablation study)를 통해 각 구성 요소의 핵심적인 기여가 확인된다. 본 연구는 동적 특징 드리프트 하의 연합학습에 대한 견고하고 원칙적인 해결책을 제시한다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
방향 비순환 그래프 위의 심층 가우시안 과정
Deep Gaussian Processes on Directed Acyclic Graphs
많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.
보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?
When are bosonic Gaussian states classical to learn?
물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.
유추는 인공의식에 대해 무엇을 말해줄 수 있는가?
What Can Analogy Tell Us About Artificial Consciousness?
누가 또는 무엇이 의식을 가지고 있는가? 주관적 경험은 1인칭 관점에서만 직접 접근할 수 있기 때문에, 다른 개체의 의식에 대한 판단은 부분적으로 유추(analogy)에 의존한다. 역사적으로 이러한 추론은 인간이 아닌 동물에 집중되어 왔으나, 인공지능(AI)의 발전으로 의식을 가진 AI의 가능성이 제기되었다. 본 논문에서는 이러한 증거적 유추를 평가하기 위한 인과적 프레임워크를 개발한다. 핵심적인 구분은 의식 생성에 관여할 가능성이 높은 요인들의 유사성과 하류(downstream) 행동 또는 인지적 효과에서의 유사성 사이의 차이다. 제안하는 프레임워크는 알려지지 않은 원인, 무력화 요인(disabling differences), 의식에 이르는 대안적 경로를 고려하면서 인과적 관련성에 따라 원천-목표(source-target) 유사성에 가중치를 부여한다. 생물학적 시스템에 적용했을 때, 이는 인간과의 인과적 거리가 멀어질수록 유추적 지지가 전반적으로 약화되는 이유를 설명한다. 현대 AI에 적용했을 때, 이는 관련 인과적 대응 관계가 여전히 명확히 확립되지 않았기 때문에 행동적 유사성만으로는 의식에 대한 제한적인 증거만을 제공함을 시사한다. 또한 이 프레임워크는 어떤 증거가 인공의식에 대한 주장을 강화할 수 있는지를 명확히 밝힌다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.