예측 오차만으로는 충분하지 않을 때: 인과 추정을 위한 번잡 함수 예측 평가
When Prediction Error Is Not Enough: Evaluating Nuisance-Function Prediction for Causal Estimation
한국어 초록
인과 추론에서 번잡 함수(nuisance-function) 추정량을 평가하는 데 예측 오차가 널리 쓰이지만, 인과 추정량 성능과의 관계는 성능 지표에 따라 달라질 수 있다. Monte Carlo 시뮬레이션으로 부분 선형 모델(partially linear model)에서 이 질문을 연구했다. 일반 최소제곱(OLS), 일반화 가법 모델(GAM), XGBoost, XGBoost를 사용한 이중 머신러닝(DML-XGBoost)을 비교하며 번잡 함수 예측 오차, 바이어스, RMSE, 95% 신뢰구간 커버리지를 평가했다. 또한 노출(exposure)과 결과(outcome) 번잡 함수의 추정 오차 절대곱에 기반한 단순 결합 오차 지표를 검토했다. 시뮬레이션 설정 전반에서 XGBoost는 오라클이 아닌 방법 중 RMSE가 가장 낮았고, DML-XGBoost는 일반적으로 더 나은 신뢰구간 커버리지를 제공했다. 예측 오차는 방법과 설정에 걸쳐 인과 바이어스와 일관되게 대응하지 않았으며, 점 추정 성능이 최고인 방법이 반드시 최고의 신뢰구간 커버리지를 갖지는 않았다. 결합 오차 지표는 인과 바이어스와 약하게만 연관되었고, 인과 성능의 유용한 독립 지표가 되지 못했다. 이 결과는 예측 오차가 번잡 함수 추정을 평가하는 데 유용하지만, 그로부터 얻어진 인과 추정량의 품질을 직접적인 척도로 취급해서는 안 된다는 것을 시사한다.
원문 초록
Prediction error is widely used to evaluate nuisance-function estimators in causal inference, but its relationship with causal estimator performance may differ across performance measures. We studied this question in a partially linear model using Monte Carlo simulations. We compared ordinary least squares (OLS), generalized additive models (GAMs), XGBoost, and Double Machine Learning with XGBoost (DML-XGBoost), evaluating nuisance-function prediction error, bias, RMSE, and 95\% confidence interval coverage. We also examined a simple joint-error measure based on the absolute cross-product of estimation errors from the exposure and outcome nuisance functions. Across the simulated settings, XGBoost had the lowest RMSE among the non-oracle methods, while DML-XGBoost generally provided better confidence interval coverage. Prediction error did not consistently track causal bias across methods and settings, and the method with the best point-estimation performance did not necessarily have the best confidence interval coverage. The joint-error measure was only weakly associated with causal bias and did not provide a useful standalone measure of causal performance. These results suggest that prediction error is useful for assessing nuisance-function estimation, but it should not be treated as a direct measure of the quality of the resulting causal estimator.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00071v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.