AI-Generated Measurements for Identification and Inference with Missing Data: A Weak Shadow Variable Approach
한국어 초록
경영 및 사회과학 응용에서 결과 변수는 종종 관측되지 않은 결과 그 자체에 의존하는 방식으로 결측된다. 예를 들어 서비스 시스템에서 고객이 평점을 제출하는지 여부는 그들이 부여했을 평점에 달려 있다. 이러한 무작위 결측이 아닌(MNAR) 메커니즘은 관측 과정에 대한 강한 가정 없이는 모집단량의 식별을 어렵게 만든다. 한편 고객 상호작용 이력과 같은 풍부한 비구조화 데이터가 점점 더 이용 가능해지며, 대규모 언어 모델(LLM) 같은 도구를 사용해 구조화된 측정치를 구성하는 데 활용할 수 있다. 본 연구에서는 이러한 측정치를 약한 섀도우 변수(weak shadow variables)로 사용하는 가정을 최소화한 부분 식별 프레임워크를 제안한다. 약한 섀도우 변수는 참 결과와 관측된 공변량이 주어졌을 때 결측과 조건부 독립인, 결과에 정보를 담는 대리 변수(outcome-informative proxies)로 정의된다. 중요한 점은, 이들이 결측된 결과를 정확히 예측할 필요가 없으며 고전 섀도우 변수 문헌의 완전성(completeness) 요건을 충족할 필요도 없다는 것이다. 식별을 위해 선형 프로그램 한 쌍을 통해 모집단량에 대한 sharp bound를 특성화한다. 추정 및 추론을 위해, 표본 오차 하에서도 실행 가능한 국소화 penalized 추정량과 신뢰구간 구성을 위한 부분표본(subsampling) 알고리즘을 제안한다. 실제 고객 서비스 대화를 사용한 반합성(semi-synthetic) 실험에서, 약한 섀도우 변수 구간은 보조 정보가 없는 경우보다 약 89% 더 좁으며, 중점의 추정 오차는 고전 MNAR 방법보다 약 41% 낮다.
원문 초록
Across business and social science applications, outcomes are often missing in ways that depend on the unobserved outcomes themselves. In service systems, for example, whether a customer submits a rating depends on the rating they would have provided. Such missing-not-at-random (MNAR) mechanisms make population quantities difficult to identify without strong assumptions on the observation process. Meanwhile, rich unstructured data, such as customer interaction histories, are increasingly available and can be used to construct structured measurements using tools such as large language models (LLMs). In this work, we develop an assumption-lean partial identification framework that uses such measurements as weak shadow variables, defined as outcome-informative proxies that are conditionally independent of missingness given the true outcome and observed covariates. Importantly, they need not accurately predict missing outcomes or satisfy the completeness requirement in the classical shadow variable literature. For identification, we characterize sharp bounds on population quantities through a pair of linear programs. For estimation and inference, we propose a localized penalized estimator that remains feasible under sampling error, and a subsampling algorithm for constructing confidence intervals. In semi-synthetic experiments using real customer-service dialogues, weak-shadow-variable intervals are about 89\% narrower than those without auxiliary information, while their midpoints have around 41\% lower estimation error than classical MNAR methods.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.16061v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.