LLM 텍스트 측정을 활용한 재범 예측, 동료 효과 추정 및 예측 기반 추론
Recidivism Prediction, Peer Effect Estimation, and Prediction-Powered Inference with LLM Text Measures
본 연구는 LLM을 사용해 서면 텍스트에서 도출된 다변량 행동 측정치가 결과 변수이고 네트워크 형성이 내생적인 경우 동료 효과를 추정하는 새로운 프레임워크를 제시한다. 저보안 교정시설 거주자들 간 20만 건 이상의 서면 교환에 대해 LLM 임베딩과 제로샷(zero-shot) 분류를 구축한다. LASSO와 LoRA 미세조정을 사용할 때 LLM 임베딩은 입소 전 공변량만 사용하는 경우 대비 표본 외 재범 예측을 최대 30%까지 개선하며, 텍스트 표현이 의미 있는 신호를 포착함을 보여준다. 동료 효과 추정을 위해 다변량 결과, 희소 네트워크, 다차원 잠재 동질성(homophily)을 수용하는 새로운 도구변수 추정량을 개발한다. 이 추정량은 동료 효과 문헌에서 널리 쓰이는 밀집 네트워크 가정을 완화하는 희소성 조건 하에서 $\sqrt{N}$-일치성 및 점근적 정규성을 갖음을 보인다. 이어 제한된 인간 주석을 LLM 제로샷 벡터와 결합한 새로운 예측 기반 동료 추론(PPPI, prediction-powered peer inference) 접근법으로 편향이 제거된 추정치와 유효한 추론을 얻는다. 결과는 행동 프로파일에서 유의한 동료 효과를 드러낸다.