인간 응답 데이터를 위한 저비용 통계적 추정량으로서의 대규모 언어 모델 활용
Using Large Language Models as Low-Cost Statistical Estimators for Human-Response Data
사회과학 및 행동과학 전반의 정량적 연구는 비용이 많이 들고, 속도가 느리며, 표본 바이어스에 취약한 인간 피험자 실험에 의존한다. 본 논문에서는 사전학습된 대규모 언어 모델(LLM)이 제곱 손실 하에서 조건부 기댓값의 위험 동등 추정량을 유도함을 보이며, 제한적 함수적 위험 동등성을 확립한다: 제곱 손실 하에서, LLM은 조건부 평균을 통해서만 데이터에 의존하는 임의의 추론에 대해 조건부 기댓값의 제곱 손실 예측에 대한 베이즈 최적 위험과 일치하는 위험을 가진 추정량을 유도한다. 우리는 LLM을 i.i.d. 데이터로 학습된 잘못 명세된 함수적 추정량 $T(\hat{P}_n)$으로 형식화하고, 추정 오차를 표현 바이어스 $ε_{\mathrm{rep}}$와 최적화 오류로 분해하며, 완화된 정규 조건 하에서 LLM의 기대 오차가 환원 불가능한 모집단 분산과 제곱 표현 바이어스의 합으로 수렴함을 증명한다. 표현 바이어스는 핀스커 부등식에 의해 상계가 주어진다. 식별 가능성 오류 $δ$는 유효 바이어스로 전파되어 점근적 위험 하한을 높인다. 우리는 양방향 르 캄 결핍 분석을 통해 제한적 함수적 위험 동등성을 확립한다: 전방 결핍은 점근적으로 소멸하는 반면 역방향 결핍은 정확히 0이다. 유한 표본 집중 경계와 명시적 의사 결정 규칙을 갖춘 보정 프로토콜을 제공한다. 결과는 정확하고 증명 가능한 진술이다: 잘 보정된 LLM은 명시적 범위 조건에 의해 경계가 주어지는 조건부 평균 의존 추론에 대해 베이즈 최적 위험을 달성한다. 실제 응용에서 이는 조건이 충족되고 모델이 잘 보정된 경우, 대규모 언어 모델이 원래 인간 실험에 의존하던 많은 예측 및 의사 결정 과제에서 낮은 비용으로 거의 최적의 통계적 추론을 근사하며 활용될 수 있음을 의미한다.