PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21541v1math.ST

준모수 추정에서 블랙박스 학습기의 최적 활용

Optimal use of a black-box learner in semiparametric estimation

부분 선형 모델 $Y = μ_0(X) + β_0 \cdot T + \varepsilon$ 및 $T = π_0(X) + u$를 구조 비의존(structure-agnostic) 설정에서 고려한다. 여기서 $μ_0$와 $π_0$의 구조는 알 수 없으며, 방해 요인(nuisance)들은 블랙박스 가설 클래스(black-box hypothesis class)로 추정한다. 해당 클래스의 학습 가능성(learnability)은 모델 오지정(model misspecification)이 없을 때의 추정 오차 $δ_s$와, $μ_0$ 및 $π_0$에 대한 각각의 $L_2$ 오지정 오차 $δ_{a, μ}$, $δ_{a, π}$로 특성화된다. 목표 선형 계수 $θ_0 = β_0$에 대한 새로운 추정량을 제안하며, 오차율은 \[ \frac{1}{\sqrt{n}} + δ_{a, μ} \cdot δ_{a, π} + [δ_s]^2. \] 대응하는 하한(lower bound)도 증명되어, 이 수렴률은 더 이상 개선할 수 없음을 의미한다. 이중 머신러닝(double machine learning, DML)이 산출하는 곱 형태의 수렴률과 비교하면, 우리의 추정량은 추가 비용이나 가정 없이 차선(suboptimal) 항 $\max(δ_{a, μ}, δ_{a, π})\cdot δ_s$를 제거한다. 기저 통찰에 기반하여—이는 단일 학습기(one-learner) 설정이나 부분 선형 모델에 국한되지 않는다—Transductive Adversarial Moment-calibrated Editing(TAME)을 제안한다. TAME는 추론(inference) 표본에서 블랙박스 회귀 추정치가 유도하는 편향 제거(debiasing) 가중치를 적대적 조건부 모멘트 보정(adversarial conditional moment calibration)을 통해 국소적으로 편집한다. TAME는 임의의 초기 블랙박스 추정치와 결합할 수 있으며, 방해 요인의 난이도가 불균형할 때 DML 보장을 엄밀히 개선할 수 있다. TAME가 도입한 이점을 완전히 활용하는 방법을 논의한다. 여기에는 두 학습기(two learners) 사용의 이득, 모델 선택을 위한 결과적 과소평활(under-smoothing) 원칙, 기타 선형 함수형 추정 문제로의 확장이 포함된다.

arXiv:2607.10540v1stat.ML

Representation Learning for Semiparametric Causal Mediation Analysis under No Essential Heterogeneity

우리는 "본질적 이질성 없음"(NEH, no essential heterogeneity) 가정 하에서 심층 표현 학습과 G-추정을 결합한 구조적 매개 모수에 대한 2단계 추정량을 제안하며, 이 방법을 UNIT이라 부른다. 첫 번째 단계에서 TARNet은 처치군 전반에 걸쳐 공유된 공변량 표현을 학습함으로써 무작위 처치가 매개변수에 미치는 이질적 효과를 추정한다. 산출된 조건부 평균 처치 효과(CATE, conditional average treatment effect) 추정값은 Zheng and Zhou (2015)의 G-추정 방정식에 입력되는 가중치 함수의 이질성 의존 성분에 대한 플러그인 근사값을 제공하며, 이는 측정되지 않은 매개변수-결과 교란이 존재하는 경우에도 구조 모수를 식별한다. 우리는 보다 정확한 1단계 표현 학습이 더 많은 정보를 담은 플러그인 가중치를 산출하여 구조 모수 추정량의 정밀도를 향상시킬 수 있음을 보인다. 비가우시안 공변량과 비선형 매개변수 효과를 갖는 시뮬레이션에서, TARNet 가중치는 바이어스나 커버리지의 손실 없이 고전적 접근법 대비 매개 계수의 2단계 표준 오차를 1.45에서 1.51배(반복 실험 전체의 중앙값, $n \ge 2000$) 감소시킨다.

arXiv:2607.03351v1stat.ME

결과 적응형 자동 편향 제거 머신러닝

Outcome-adapted Automatic Debiased Machine Learning

인과 추론에서 처치 효과 등의 모수를 추정하는 AutoDML 프레임워크에서, 결과 예측력은 보존하되 Riesz representer에 대한 정보는 제거하는 공변량 표현이 점근적으로 더 효율적임을 이론적으로 증명하고, 이를 구현한 outcome-adapted AutoDML 추정량을 제안하였다. 제안된 신경망 구현체는 반합성 IHDP 벤치마크에서 기존 이중 강건(doubly robust) 추정량 대비 최고 수준의 평균 처치 효과 추정 정확도를 달성하였다.