PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22391v2math.ST

구조 무관 모델 하에서 이중 머신러닝 추정량의 점근적 허용 불가성

On the Asymptotic Inadmissibility of Double Machine Learning Estimators Under Structure-Agnostic Models

구조 무관(structure-agnostic) 모델 하에서 가우시안 시퀀스의 이차 함수형과 이차 밀도 적분 함수형에 대해 이중 머신러닝(Double Machine Learning, DML) 추정량이 미니맥스임에도 점근적으로 허용 불가(inadmissible)함을 보이며, 단조 편향(monotone bias) 클래스에서는 Liu 등의 경험적 고차 영향 함수(HOIF) 기반 2차 U-통계량 추정량이 DML을 점근적으로 지배한다. 기대 조건부 공분산에 대해서는 DML과 HOIF가 모두 미니맥스이나 서로 점근 우위 관계는 없다.

arXiv:2607.21541v1math.ST

준모수 추정에서 블랙박스 학습기의 최적 활용

Optimal use of a black-box learner in semiparametric estimation

부분 선형 모델 $Y = μ_0(X) + β_0 \cdot T + \varepsilon$ 및 $T = π_0(X) + u$를 구조 비의존(structure-agnostic) 설정에서 고려한다. 여기서 $μ_0$와 $π_0$의 구조는 알 수 없으며, 방해 요인(nuisance)들은 블랙박스 가설 클래스(black-box hypothesis class)로 추정한다. 해당 클래스의 학습 가능성(learnability)은 모델 오지정(model misspecification)이 없을 때의 추정 오차 $δ_s$와, $μ_0$ 및 $π_0$에 대한 각각의 $L_2$ 오지정 오차 $δ_{a, μ}$, $δ_{a, π}$로 특성화된다. 목표 선형 계수 $θ_0 = β_0$에 대한 새로운 추정량을 제안하며, 오차율은 \[ \frac{1}{\sqrt{n}} + δ_{a, μ} \cdot δ_{a, π} + [δ_s]^2. \] 대응하는 하한(lower bound)도 증명되어, 이 수렴률은 더 이상 개선할 수 없음을 의미한다. 이중 머신러닝(double machine learning, DML)이 산출하는 곱 형태의 수렴률과 비교하면, 우리의 추정량은 추가 비용이나 가정 없이 차선(suboptimal) 항 $\max(δ_{a, μ}, δ_{a, π})\cdot δ_s$를 제거한다. 기저 통찰에 기반하여—이는 단일 학습기(one-learner) 설정이나 부분 선형 모델에 국한되지 않는다—Transductive Adversarial Moment-calibrated Editing(TAME)을 제안한다. TAME는 추론(inference) 표본에서 블랙박스 회귀 추정치가 유도하는 편향 제거(debiasing) 가중치를 적대적 조건부 모멘트 보정(adversarial conditional moment calibration)을 통해 국소적으로 편집한다. TAME는 임의의 초기 블랙박스 추정치와 결합할 수 있으며, 방해 요인의 난이도가 불균형할 때 DML 보장을 엄밀히 개선할 수 있다. TAME가 도입한 이점을 완전히 활용하는 방법을 논의한다. 여기에는 두 학습기(two learners) 사용의 이득, 모델 선택을 위한 결과적 과소평활(under-smoothing) 원칙, 기타 선형 함수형 추정 문제로의 확장이 포함된다.

arXiv:2010.14694v4econ.EM공식 코드 · Papers with Code

개인 이질성을 위한 심층 학습

Deep Learning for Individual Heterogeneity

본 논문은 해석 가능성을 유지하면서 유연성을 높이고 풍부한 이질성을 포착하기 위해 심층 신경망(DNN)을 구조 모델(structural model)에 통합한다. 경제적(또는 과학적 또는 영역 제한) 구조와 기계 학습은 실증 모델링에서 대체물이 아니라 보완 관계이다. DNN은 복잡하고 비선형적인 이질성을 학습할 수 있는 역량을 제공하는 반면, 구조는 추정치가 해석 가능하고 의사결정 및 정책 분석에 적합하게 유지되도록 보장한다. 우리는 표준 모수 구조 모델에서 출발한 뒤 그 매개변수를 완전히 유연한 함수로 확장하고, 모델 구조가 내장된 DNN을 사용해 이를 추정한다. 소비자 선택에서의 수요 추정에 대한 적용으로 본 프레임워크를 설명한다. 수요 모델을 확장하면 풍부한 이질성을 포착하고 이를 활용해 개인화 가격 책정을 만들 수 있음을 보인다. 구조 없이는 최적화가 불가능하지만, 기계 학습 없이는 이질성을 반영할 수 없다. 동일한 교훈은 정밀 투약(precision dosing), 적응형 치료, 교육 평가, 및 기타 타깃팅 설정에도 적용된다. 제안 방법론에 대한 이론적 정당화를 제공한다. 비점근적 경계와 이중 기계 학습(double machine learning)을 통한 실행 가능한 추론을 위한 새롭고 일반적인 영향 함수(influence function)를 제시하여, 후자가 수많은 새로운 맥락에서 쉽게 적용될 수 있도록 한다. 이 결과는 선행 연구를 일반화하므로 다른 맥락에서도 관심을 가질 만하다.