우리는 "본질적 이질성 없음"(NEH, no essential heterogeneity) 가정 하에서 심층 표현 학습과 G-추정을 결합한 구조적 매개 모수에 대한 2단계 추정량을 제안하며, 이 방법을 UNIT이라 부른다. 첫 번째 단계에서 TARNet은 처치군 전반에 걸쳐 공유된 공변량 표현을 학습함으로써 무작위 처치가 매개변수에 미치는 이질적 효과를 추정한다. 산출된 조건부 평균 처치 효과(CATE, conditional average treatment effect) 추정값은 Zheng and Zhou (2015)의 G-추정 방정식에 입력되는 가중치 함수의 이질성 의존 성분에 대한 플러그인 근사값을 제공하며, 이는 측정되지 않은 매개변수-결과 교란이 존재하는 경우에도 구조 모수를 식별한다. 우리는 보다 정확한 1단계 표현 학습이 더 많은 정보를 담은 플러그인 가중치를 산출하여 구조 모수 추정량의 정밀도를 향상시킬 수 있음을 보인다. 비가우시안 공변량과 비선형 매개변수 효과를 갖는 시뮬레이션에서, TARNet 가중치는 바이어스나 커버리지의 손실 없이 고전적 접근법 대비 매개 계수의 2단계 표준 오차를 1.45에서 1.51배(반복 실험 전체의 중앙값, $n \ge 2000$) 감소시킨다.
인과 매개 분석(causal mediation analysis)에서 매개변수를 통한 경로를 제외한 자연 직접 잠재 결과(NDPO)를 최대화하는 처치를 식별하기 위해, 인과 밴딧 환경에서 관측 가능한 개입 분포를 활용한 모집단 수준의 NDPO 식별 가능성을 확립하고 Track-and-Stop 프레임워크 기반의 고정 신뢰도 최적 암 식별(BAI) 알고리즘(TaS-NDPO)을 제안한다. 절단 집합(cutting-set) 방법으로 반무한 최적화 문제를 해결하며, δ-정확성과 점근적 최적성을 이론적으로 증명하고 실세계 광고 데이터셋 IPinYou에서 유효성을 검증한다.
인과 매개 분석(causal mediation analysis)은 처리 효과를 매개변수를 통한 간접 경로와 이를 통하지 않는 직접 경로로 분해한다. 현대 생의학 연구에서는 저차원 잠재 생물학적 과정에 대한 잡음이 있는 대리 변수인 고차원 공변량과 매개변수가 흔히 등장한다. 기존 방법들은 대개 희소성(sparsity), 선형 인자 모델에 의존하거나, 측정이 비선형이고 공변량 및 매개변수 인자가 구조적으로 종속되어 있는 경우 제한적일 수 있는 방식으로 학습된 표현 내 변수들 간의 연결을 무시한다. 본 논문에서는 비선형 고차원 매개 분석을 위한 표현 학습 프레임워크인 MediEncoder를 제안한다. MediEncoder는 처리 및 공변량 표현을 매개변수 표현과 연결하는 교차 인자 네트워크(cross-factor network)를 갖춘 결합된 인코더-디코더 아키텍처를 통해 저차원 공변량 및 매개변수 표현을 공동으로 학습한다. 이렇게 학습된 특징들은 자연 직접 효과(natural direct effect) 및 자연 간접 효과(natural indirect effect)의 교차 적합(cross-fitted) 효율적 영향 함수 기반 추정량에 활용된다. 결과적인 추정량은 적절한 정칙성 조건 하에서 다중 강건(multiply robust)하고 점근적 정규성을 지닌다. 시뮬레이션을 통해 MediEncoder가 경쟁하는 차원 축소 접근법들에 비해 추정 정확도를 향상시킴을 확인하였으며, 알츠하이머병 신경영상 이니셔티브(Alzheimer's Disease Neuroimaging Initiative) 데이터에 대한 적용 사례는 고차원 생의학 인과 매개 분석에서의 실용성을 보여준다.
많은 응용에서 연구자들은 처리(treatment) 또는 노출(exposure)이 관심 결과에 미치는 직접 및 간접 인과 효과에 관심을 가진다. 매개 분석(mediation analysis)은 이러한 인과 효과를 식별하고 추정하기 위한 엄밀한 프레임워크를 제공한다. 이진 처리의 경우, Tchetgen Tchetgen과 Shpitser(2012)는 관심 매개변수의 영향 함수(influence function)를 기반으로 직접 및 간접 효과에 대한 효율적인 추정량을 제시하였다. 이러한 추정량은 잡음 매개변수(nuisance parameters)에 대해 n의 제곱근보다 느린 수렴 속도를 허용하면서도 다중 강건성(multiple-robustness) 및 점근적 정규성과 같은 바람직한 특성을 지닌다. 그러나 연속형 처리가 포함된 환경에서는 강한 모수적 가정 없이 이러한 영향 함수 기반 추정량을 직접 적용하기 어렵다. 본 연구에서는 커널 평활화(kernel smoothing) 접근법을 활용하여 영향 함수 기반 추정 전략에서 영감을 받은, 연속형 처리 환경에 적합한 추정량을 제안한다. 제안하는 접근법은 교차 피팅(cross-fitting)을 채택하여 잡음 함수의 평활성 요건을 완화하고, 잡음 함수를 목표 매개변수보다 느린 속도로 추정할 수 있도록 한다. 또한 영향 함수 기반 추정량과 유사하게, 제안하는 추정량은 다중 강건성을 가지며 점근적으로 정규 분포를 따르므로, 모수적 가정이 정당화되지 않을 수 있는 환경에서도 추론이 가능하다.
Activation patching은 기계론적 해석가능성(mechanistic interpretability)의 핵심 도구이다. 이는 자연 간접 효과(NIE, natural indirect effect)를 추정하여 모델 행동에 대한 인과적 책임을 각 개별 구성 요소에 귀속한다. 인과 매개 분석(causal mediation analysis) 관점에서 activation patching 추정량을 재유도한 결과, NIE는 특정 구성 요소를 통한 인과 효과만 포착하지 않음을 밝혔다. NIE에는 또한 구성 요소의 인과 효과 자체가 모델 내 다른 구성 요소의 상태에 얼마나 의존하는지를 측정하는 상호작용 효과(INT, interaction effects)가 포함된다. 추정량이나 분석 단위를 조정하여 INT를 제거하려는 시도가 자연스러운 대응일 수 있으나, 이러한 잠재적 해결책 각각은 예측 가능한 실패 양상을 갖는다. GPT-2 IOI 회로에서 이러한 실패 양상을 입증한다. 다른 구성 요소의 상태에 조건부인 인과적 중요성을 갖는 구성 요소는 탐지되지 않거나 인위적으로 부풀려지며, INT 분산이 이전에 보고된 충실도(faithfulness) 점수의 불안정성을 설명한다. INT는 clean 활성화와 patched 구성 요소 활성화 사이의 거리에 비례하여 증가하고, 모델이 국소적으로 아핀(affine)일 때는 무시할 수 있는 수준이며, 조합적으로 쌍(pairwise) 및 고차(high-order) 그룹 상호작용으로 분해됨을 증명한다. INT는 불가피하지만 제거해야 할 잡음이 아니라, 해석가능성 연구를 위한 진단 지표이다. INT의 개별 및 그룹 수준의 크기와 부호는 인과 결론이 프롬프트에 의존하는 경우와, 탐욕적(greedy) NIE 기반 구성 요소 순위가 조합적 탐색(combinatorial search)을 통해서만 발견 가능한 메커니즘을 놓치는 경우를 알려준다.