PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26142v2stat.ME

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

Augmented inverse probability weighting (AIPW), targeted maximum likelihood estimation (TMLE), and double/debiased machine learning (DML) are three asymptotically equivalent routes to the same efficient influence function for the average treatment effect. We contribute a worked, shared-nuisance reconciliation on real data: what a practitioner must hold fixed for the routes and their software to agree, and when they do not. Using open data on smoking cessation and weight change (n = 1566), one Super Learner library, and folds matched within schemes, we build all three by hand, in full-sample, cross-fit, and double-cross-fit variants. A semi-synthetic benchmark with known sample-average effects on a fixed design grades interval coverage. The six doubly robust estimates span 3.32--3.39 kg over repeated splits. Single runs of our code and the tmle, AIPW, DoubleML, and tmle3 packages span 3.32--3.49 kg, compatible with fitting-scheme differences and single-split noise. Over 20 seeds, the three implementations sharing our library agree within 0.01 kg in median, although one is a TMLE. Agreement can fail: with in-sample nuisance fits on a binary mortality outcome, and under poor overlap in a job-training example. We recommend diagnosing overlap before choosing an estimator, and provide a reporting checklist and software code.

arXiv:2606.22391v2math.ST

구조 무관 모델 하에서 이중 머신러닝 추정량의 점근적 허용 불가성

On the Asymptotic Inadmissibility of Double Machine Learning Estimators Under Structure-Agnostic Models

구조 무관(structure-agnostic) 모델 하에서 가우시안 시퀀스의 이차 함수형과 이차 밀도 적분 함수형에 대해 이중 머신러닝(Double Machine Learning, DML) 추정량이 미니맥스임에도 점근적으로 허용 불가(inadmissible)함을 보이며, 단조 편향(monotone bias) 클래스에서는 Liu 등의 경험적 고차 영향 함수(HOIF) 기반 2차 U-통계량 추정량이 DML을 점근적으로 지배한다. 기대 조건부 공분산에 대해서는 DML과 HOIF가 모두 미니맥스이나 서로 점근 우위 관계는 없다.

arXiv:2607.21541v1math.ST

준모수 추정에서 블랙박스 학습기의 최적 활용

Optimal use of a black-box learner in semiparametric estimation

부분 선형 모델 $Y = μ_0(X) + β_0 \cdot T + \varepsilon$ 및 $T = π_0(X) + u$를 구조 비의존(structure-agnostic) 설정에서 고려한다. 여기서 $μ_0$와 $π_0$의 구조는 알 수 없으며, 방해 요인(nuisance)들은 블랙박스 가설 클래스(black-box hypothesis class)로 추정한다. 해당 클래스의 학습 가능성(learnability)은 모델 오지정(model misspecification)이 없을 때의 추정 오차 $δ_s$와, $μ_0$ 및 $π_0$에 대한 각각의 $L_2$ 오지정 오차 $δ_{a, μ}$, $δ_{a, π}$로 특성화된다. 목표 선형 계수 $θ_0 = β_0$에 대한 새로운 추정량을 제안하며, 오차율은 \[ \frac{1}{\sqrt{n}} + δ_{a, μ} \cdot δ_{a, π} + [δ_s]^2. \] 대응하는 하한(lower bound)도 증명되어, 이 수렴률은 더 이상 개선할 수 없음을 의미한다. 이중 머신러닝(double machine learning, DML)이 산출하는 곱 형태의 수렴률과 비교하면, 우리의 추정량은 추가 비용이나 가정 없이 차선(suboptimal) 항 $\max(δ_{a, μ}, δ_{a, π})\cdot δ_s$를 제거한다. 기저 통찰에 기반하여—이는 단일 학습기(one-learner) 설정이나 부분 선형 모델에 국한되지 않는다—Transductive Adversarial Moment-calibrated Editing(TAME)을 제안한다. TAME는 추론(inference) 표본에서 블랙박스 회귀 추정치가 유도하는 편향 제거(debiasing) 가중치를 적대적 조건부 모멘트 보정(adversarial conditional moment calibration)을 통해 국소적으로 편집한다. TAME는 임의의 초기 블랙박스 추정치와 결합할 수 있으며, 방해 요인의 난이도가 불균형할 때 DML 보장을 엄밀히 개선할 수 있다. TAME가 도입한 이점을 완전히 활용하는 방법을 논의한다. 여기에는 두 학습기(two learners) 사용의 이득, 모델 선택을 위한 결과적 과소평활(under-smoothing) 원칙, 기타 선형 함수형 추정 문제로의 확장이 포함된다.

arXiv:2010.14694v4econ.EM공식 코드 · Papers with Code

개인 이질성을 위한 심층 학습

Deep Learning for Individual Heterogeneity

본 논문은 해석 가능성을 유지하면서 유연성을 높이고 풍부한 이질성을 포착하기 위해 심층 신경망(DNN)을 구조 모델(structural model)에 통합한다. 경제적(또는 과학적 또는 영역 제한) 구조와 기계 학습은 실증 모델링에서 대체물이 아니라 보완 관계이다. DNN은 복잡하고 비선형적인 이질성을 학습할 수 있는 역량을 제공하는 반면, 구조는 추정치가 해석 가능하고 의사결정 및 정책 분석에 적합하게 유지되도록 보장한다. 우리는 표준 모수 구조 모델에서 출발한 뒤 그 매개변수를 완전히 유연한 함수로 확장하고, 모델 구조가 내장된 DNN을 사용해 이를 추정한다. 소비자 선택에서의 수요 추정에 대한 적용으로 본 프레임워크를 설명한다. 수요 모델을 확장하면 풍부한 이질성을 포착하고 이를 활용해 개인화 가격 책정을 만들 수 있음을 보인다. 구조 없이는 최적화가 불가능하지만, 기계 학습 없이는 이질성을 반영할 수 없다. 동일한 교훈은 정밀 투약(precision dosing), 적응형 치료, 교육 평가, 및 기타 타깃팅 설정에도 적용된다. 제안 방법론에 대한 이론적 정당화를 제공한다. 비점근적 경계와 이중 기계 학습(double machine learning)을 통한 실행 가능한 추론을 위한 새롭고 일반적인 영향 함수(influence function)를 제시하여, 후자가 수많은 새로운 맥락에서 쉽게 적용될 수 있도록 한다. 이 결과는 선행 연구를 일반화하므로 다른 맥락에서도 관심을 가질 만하다.

arXiv:2603.04109v2econ.EM

Testing Full Mediation of Treatment Effects and the Identifiability of Causal Mechanisms

인과 분석(causal analysis)에서 개입(intervention)이나 처치(treatment)가 결과에 영향을 미치는 인과 기제(causal mechanisms)를 이해하는 것은 종종 핵심적인 관심사입니다. 본 논문에서는 (i) 공변량(covariates)에 조건부로 무작위 할당된 처치의 인과 효과가 관측된 중간 결과(매개변수(mediators) 또는 대리 결과(surrogate outcomes)라고 함)에 의해 완전히 매개되거나 독점적으로 작용하는지, 그리고 (ii) 서로 다른 매개변수를 통해 작용하는 다양한 인과 기제가 공변량에 조건부로 식별 가능한지를 평가하기 위한 검정을 제안합니다. 우리는 완전한 매개와 인과 기제의 식별이 모두 성립한다면, 조건부 무작위 처치는 매개변수와 공변량이 주어졌을 때 결과와 조건부 독립(conditionally independent)임을 보여줍니다. 또한, 우리는 무작위 할당되지 않은 처치가 있는 설정으로 프레임워크를 확장합니다. 우리는 이 경우 완전한 매개는 여전히 검정 가능하지만, 인과 기제의 식별은 더 이상 보장되지 않음을 보여줍니다. 우리는 고차원 공변량을 통합할 수 있고 특정 정칙 조건 하에서 $\sqrt{n}$-일치(root-n consistent)하고 점근적 정규성(asymptotically normal)을 갖는 검정을 구현하기 위한 이중 머신 러닝(Double Machine Learning) 프레임워크를 제안합니다. 마지막으로, 모성 정신 건강과 사회적 규범에 대한 무작위 실험을 재조명한 두 가지 실증 적용(empirical applications)과 함께, 우리 방법의 우수한 유한 표본 성능(finite-sample performance)을 입증하는 시뮬레이션 연구를 제시합니다.