대규모 언어 모델을 이용한 여론 데이터 대체
Imputation of Public Opinion Data with Large Language Models
한국어 초록
대규모 언어 모델(LLM)은 설문 응답 시뮬레이터로 널리 평가되고 있지만, 응용 설문 연구는 주로 항목 무응답에 직면한다. 대체(imputation)는 이러한 결측값을 채워 부분적으로 관측된 데이터셋의 전체 구조를 복원하며, 예측 정확도와는 근본적으로 다른 고유하고 명확히 정의된 평가 기준을 가진다. 우리는 다양한 결측 메커니즘 하의 네 가지 여론조사에서 500만 개가 넘는 대체 응답에 대해, 적절한 다중 대체 지표와 통계적 기준선을 사용한 LLM 대체의 최초 평가를 제시한다. 이 과제에 대해 84개의 인컨텍스트 학습(ICL) 구성을 조사하고 여섯 개의 오픈 웨이트 LLM에서 최고 성능 구성을 비교하여 ICL을 평가한다. 가장 강력한 ICL 접근법은 제로샷 페르소나 프롬프팅보다 개선되지만 기껏해야 통계적 기준선(MICE PMM, TabPFN)과 대등한 수준에 머문다. ICL 접근법은 설문 주제에 민감하며 2~3 자릿수 더 많은 연산을 소모한다. 또한 LLM 설문 시뮬레이션에서 흔히 쓰이는 예측 지표(macro-F1, TVD)는 대체 품질을 신뢰성 있게 추적하지 못한다. 우리의 연구 결과는 LLM 대체에 대한 목적 적합형 평가의 중요성을 강조하며, 확립된 다중 대체가 여전히 더 나은 기본 선택임을 보여준다.
원문 초록
Large language models (LLMs) are widely evaluated as simulators of survey responses, yet applied survey research mostly faces item nonresponse. Imputation fills in those missing values to restore the overall structure of a partially observed dataset and has its own well-defined evaluation criteria, which differ fundamentally from prediction accuracy. We present the first evaluation of LLM imputation against proper multiple-imputation metrics and statistical baselines on more than 5 million imputed responses from four public opinion surveys under various missingness mechanisms. We evaluate in-context learning (ICL) for this task by investigating 84 ICL configurations and comparing the best-performing configurations on six open-weight LLMs. The strongest ICL approach improves on zero-shot persona prompting but remains, at best, competitive with statistical baselines (MICE PMM, TabPFN). ICL approaches are sensitive to survey topics and consume 2-3 orders of magnitude more compute. Moreover, prediction metrics commonly used in LLM survey simulation (macro-F1, TVD) do not reliably track imputation quality. Our findings highlight the importance of fit-for-purpose evaluation for LLM imputation, where established multiple imputation remains the better default.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.09351v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.