일반 기계학습을 이용한 하위집단 식별의 통계적 성능 보장
Statistical Performance Guarantee for Subgroup Identification with Generic Machine Learning
한국어 초록
다양한 학문 분야에서 많은 연구자가 기계학습(ML) 알고리즘을 사용하여 치료로부터 가장 큰 이익을 얻을 가능성이 높은 개인들(``예외적 반응자'')이나 치료로 인해 해를 입는 개인들로 이루어진 하위집단을 식별한다. 이러한 하위집단 식별 문제에 대한 일반적인 접근은 두 단계로 이루어진다. 먼저 연구자들은 ML 알고리즘으로 조건부 평균 처치 효과(CATE)를 추정한다. 다음으로 추정된 CATE를 사용하여 치료의 영향을 긍정적으로든 부정적으로든 가장 크게 받을 것으로 예측되는 개인들을 선택한다. 그러나 CATE 추정치는 편향되고 잡음이 많은 경우가 흔하다. 게다가 동일한 데이터를 하위집단 식별과 그 집단 평균 처치 효과 추정에 모두 사용하면 다중 검정 문제가 발생한다. 이러한 문제를 해결하기 위해 우리는 일반 ML 알고리즘으로 정렬한 집단 평균 처치 효과(GATES)의 추정을 위한 균일 신뢰대를 개발한다. 이 균일 신뢰대를 사용하면 연구자들은 효과 크기를 어떻게 선택하든 관계없이, GATES가 특정 효과 크기를 초과하는 하위집단을 통계적 보장과 함께 식별할 수 있다. 제안하는 방법론은 ML 점수의 일치성이나 단조성을 요구하지 않고, 무작위 처치 배정, 개체의 무작위 표집, 그리고 연속성 및 적률 조건을 사용한다. 우리는 경험적 하위집단 임계값과 고정된 처치 표본 크기에 대한 보정을 포함하여 추정 오차의 위너 표현을 유도한다. 이 표현을 추정하면 ML 모델을 다시 적합하지 않고도 가우시안 추출을 이용하여 점근적으로 정확한 균일 포괄률을 얻을 수 있다. 또한 평균 조정 처치 효과와 기타 평가 지표에 대한 균일 신뢰대도 개발한다. 시뮬레이션 설계와 말기 전립선암 임상시험에 대한 적용 사례를 통해 하위집단 식별 문제를 설명한다.
원문 초록
Across a wide array of disciplines, many researchers use machine learning (ML) algorithms to identify a subgroup of individuals who are likely to benefit from a treatment the most (``exceptional responders'') or those who are harmed by it. A common approach to this subgroup identification problem consists of two steps. First, researchers estimate the conditional average treatment effect (CATE) using an ML algorithm. Next, they use the estimated CATE to select those individuals who are predicted to be most affected by the treatment, either positively or negatively. Unfortunately, CATE estimates are often biased and noisy. In addition, utilizing the same data to both identify a subgroup and estimate its group average treatment effect results in a multiple testing problem. To address these challenges, we develop uniform confidence bands for estimation of the group average treatment effect sorted by generic ML algorithm (GATES). Using these uniform confidence bands, researchers can identify, with a statistical guarantee, a subgroup whose GATES exceeds a certain effect size, regardless of how this effect size is chosen. The proposed methodology uses random treatment assignment, random sampling of units, and continuity and moment conditions, without requiring consistency or monotonicity of the ML score. We derive a Wiener representation of the estimation error, with corrections for the empirical subgroup threshold and the fixed treatment sample size. Estimating this representation gives asymptotically exact uniform coverage using Gaussian draws, without refitting the ML model. We also develop uniform bands for mean-adjusted treatment effects and other evaluation metrics. A simulation design and an application to a clinical trial of late-stage prostate cancer illustrate the subgroup identification problem.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2310.07973v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.